KI-Bots in robots.txt erlaubt

Was das bedeutet

Bestanden: Ihre robots.txt heißt KI-Assistenten willkommen. ChatGPT, Claude, Gemini und Perplexity können alle Ihre Website lesen.

Teilweise: Ihre robots.txt blockiert einige KI-Assistenten. Überprüfen Sie die Regeln für GPTBot, ClaudeBot, Google-Extended und PerplexityBot.

Handlungsbedarf: Ihre robots.txt blockiert KI-Assistenten daran, Ihre Website zu lesen. Geben Sie den Zugriff für GPTBot, ClaudeBot, Google-Extended und PerplexityBot frei, damit ChatGPT und Co. Sie finden können.

KI-Crawler in /robots.txt erlauben

robots.txt erlaubt standardmäßig den Zugriff. KI-Crawler werden also nur durch ein explizites Disallow blockiert — Sie müssen nicht jeden Bot einzeln benennen. Werden Sie nur aktiv, wenn eine Disallow-Regel Crawler von Inhalten fernhält, die in KI-Antworten erscheinen sollen. Hinweis: Google-Extended ist separat geregelt — es steuert, ob Google Ihre Inhalte zum Trainieren und Grounden von Gemini und Vertex AI verwenden darf, nicht aber, ob Google Ihre Website crawlen oder indexieren darf.

Vollständige Anleitung

Schritt für Schritt für Ihre Plattform: warum KI-Systeme dies lesen und wie Sie den Erfolg prüfen: robots.txt: Allowlist für KI-Bots + Sitemap.