Bot IA consentiti in robots.txt

Che cosa significa

Superato: Il Suo robots.txt accoglie gli assistenti IA. ChatGPT, Claude, Gemini e Perplexity possono tutti leggere il Suo sito.

Parziale: Il Suo robots.txt blocca alcuni assistenti IA. Verifichi le regole per GPTBot, ClaudeBot, Google-Extended e PerplexityBot.

Da migliorare: Il Suo robots.txt impedisce agli assistenti IA di leggere il Suo sito. Consenta l’accesso a GPTBot, ClaudeBot, Google-Extended e PerplexityBot affinché ChatGPT e gli altri possano trovarLa.

Consentire i crawler IA in /robots.txt

robots.txt consente l’accesso per impostazione predefinita, quindi i crawler IA vengono bloccati solo da un Disallow esplicito — non è necessario indicare ciascun bot per nome. Intervenga solo se una regola Disallow impedisce ai crawler di accedere ai contenuti che desidera visualizzare nelle risposte dell’IA. Nota: Google-Extended è separato — controlla se Google può utilizzare i Suoi contenuti per addestrare Gemini e Vertex AI e ancorarne le risposte ai Suoi contenuti, non se Google può scansionare o indicizzare il Suo sito.

Guida completa

Passo dopo passo per la sua piattaforma: perché i motori IA lo leggono e come verificare il risultato: robots.txt: allowlist dei bot IA + Sitemap.