Bots de IA permitidos no robots.txt
Seu robots.txt está bloqueando assistentes de IA de lerem seu site. Libere o acesso para GPTBot, ClaudeBot, Google-Extended e PerplexityBot para que o ChatGPT e outras ferramentas possam encontrar você.
O que isso significa
Aprovado: Seu robots.txt aceita assistentes de IA. ChatGPT, Claude, Gemini e Perplexity podem ler seu site.
Parcial: Seu robots.txt bloqueia alguns assistentes de IA. Verifique as regras para GPTBot, ClaudeBot, Google-Extended e PerplexityBot.
Precisa de melhorias: Seu robots.txt está bloqueando assistentes de IA de lerem seu site. Libere o acesso para GPTBot, ClaudeBot, Google-Extended e PerplexityBot para que o ChatGPT e outras ferramentas possam encontrar você.
Permitir rastreadores de IA no /robots.txt
O robots.txt permite o acesso por padrão, portanto os rastreadores de IA só são bloqueados por um Disallow explícito — você não precisa nomear cada bot. Aja apenas se uma regra Disallow impedir que rastreadores acessem o conteúdo que você deseja exibir em respostas de IA. Observação: o Google-Extended é separado — ele controla se o Google pode usar seu conteúdo para treinar e embasar o Gemini e a Vertex AI, e não se o Google pode rastrear ou indexar seu site.
Guia completo
Passo a passo para sua plataforma: por que os mecanismos de IA leem isso e como confirmar o resultado: robots.txt: lista de permissões para bots de IA + Sitemap.
