1. Ouvrir la porte aux robots IA
Vérifiez que votre robots.txt n'interdit pas les robots des IA. Certains CMS, plugins de sécurité ou CDN les bloquent par défaut, sans que personne ne l'ait demandé. Deux minutes de vérification, et c'est le prérequis absolu de tout le reste.
Encore faut-il savoir quels robots regarder. Chaque éditeur en sépare désormais deux familles, et les confondre est l'erreur la plus répandue sur le sujet. Elle figurait dans ce guide jusqu'à cette mise à jour.
Pour être cité, ce sont les robots de recherche. OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity. OpenAI écrit dans sa documentation des robots qu'un site qui bloque OAI-SearchBot n'apparaît pas dans les réponses de recherche de ChatGPT.
Pour l'entraînement des modèles, ce sont d'autres robots. GPTBot, ClaudeBot et Google-Extended. OpenAI précise que ses deux réglages sont indépendants : on peut autoriser OAI-SearchBot pour la recherche et refuser GPTBot pour l'entraînement. Anthropic décrit de la même façon ClaudeBot comme le robot de l'entraînement, et Claude-SearchBot comme celui qui indexe pour les réponses de recherche.
Pour Google, ni l'un ni l'autre. Les AI Overviews et le Mode IA passent par Googlebot, comme le reste de la Recherche. Google-Extended ne règle que l'entraînement et l'ancrage des réponses dans « certains autres systèmes » de Google, selon sa documentation. Votre présence dans les fonctions d'IA de la Recherche se règle dans la Search Console, et c'est l'objet du guide AI Overviews.
# Recherche et citation dans les assistants
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Entraînement des modèles : un choix séparé
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Refuser les robots d'entraînement est un choix défendable, et il ne vous retire pas des réponses de recherche de ChatGPT ou de Claude. Ce qui vous en retire, c'est de bloquer les robots de recherche, souvent sans le savoir, par un pare-feu ou un réglage de CDN. Il existe enfin des agents qui lisent une page à la demande d'un utilisateur (ChatGPT-User, Claude-User, Perplexity-User). OpenAI et Perplexity précisent que les leurs peuvent ne pas suivre le robots.txt, puisque la visite est demandée par une personne.