Bots d’IA autorisés dans robots.txt
Votre robots.txt bloque la lecture de votre site par les assistants d’IA. Ouvrez l’accès à GPTBot, ClaudeBot, Google-Extended et PerplexityBot pour que ChatGPT et consorts puissent vous trouver.
Ce que cela signifie
Réussi : Votre robots.txt accueille les assistants d’IA. ChatGPT, Claude, Gemini et Perplexity peuvent tous lire votre site.
Partiel : Votre robots.txt bloque certains assistants d’IA. Vérifiez les règles pour GPTBot, ClaudeBot, Google-Extended et PerplexityBot.
À améliorer : Votre robots.txt bloque la lecture de votre site par les assistants d’IA. Ouvrez l’accès à GPTBot, ClaudeBot, Google-Extended et PerplexityBot pour que ChatGPT et consorts puissent vous trouver.
Autoriser les robots d’exploration d’IA dans /robots.txt
robots.txt autorise l’accès par défaut ; les robots d’exploration d’IA ne sont donc bloqués que par une règle Disallow explicite — vous n’avez pas besoin de nommer chaque robot. N’intervenez que si une règle Disallow empêche les robots d’accéder aux contenus que vous souhaitez voir apparaître dans les réponses de l’IA. Remarque : Google-Extended fonctionne de manière distincte — il détermine si Google peut utiliser vos contenus pour entraîner et ancrer Gemini et Vertex AI, et non si Google peut explorer ou indexer votre site.
Guide complet
Étape par étape pour votre plateforme : pourquoi les moteurs IA le lisent et comment vérifier le résultat : robots.txt: liste d’autorisation des robots d’IA + Sitemap.
