Par Cédric Dossou Yovo
Depuis le 30 octobre 2026, Anthropic, Google, Microsoft et OpenAI disent vouloir respecter un même signal pour refuser l'entraînement des IA, séparé de la recherche. Pour une agence, ce sont deux choix : servir ou non à entraîner les modèles, et être cité ou non dans leurs réponses. Ouvre ton robots.txt, vérifie que tu ne bloques pas les robots de recherche, et ne ferme que les robots d'entraînement si tu le souhaites.
Depuis le 30 octobre 2026, quatre éditeurs d'IA disent vouloir respecter un même signal pour refuser l'entraînement de leurs modèles, séparé de la recherche. Pour ton agence, ce sont deux choix distincts : servir ou non à entraîner les IA, et être cité ou non dans leurs réponses. Ouvre ton robots.txt en 5 minutes, garde les robots de recherche ouverts, et ne ferme que ce que tu veux vraiment fermer.
Ce que tu vas apprendre en 8 minutes Ce qui a été annoncé le 30 octobre, et ce qui n'a pas changé.La différence entre les robots qui entraînent, ceux qui citent, et ceux qui visitent pour un utilisateur.Le piège Google : ce que Google-Extended bloque, et ce qu'il ne bloque pas.Comment lire ton robots.txt en 5 minutes.Un modèle de robots.txt « entraînement non, citation oui ».
Le verdict en trois lignes, si tu n'as que 20 secondes Refuser l'entraînement et être cité par les IA sont deux réglages séparés.Un Disallow: / sous User-agent: ferme aussi la recherche : c'est l'erreur à éviter.Pas de course : les réglages de chaque éditeur marchent déjà ; seule urgence, un Disallow: / sous User-agent: .
Exemple illustratif Un mardi, un directeur d'agence découvre une de ses annonces recopiée mot pour mot sur un site inconnu. Il appelle son prestataire : « Bloque toutes les IA. » Le prestataire ajoute Disallow: / sous User-agent: *. Le site copieur continue comme avant : il ne lit pas le robots.txt. Google, Bing et les robots des IA qui respectent le fichier, eux, cessent de passer. Quelques semaines plus tard, l'agence a disparu des réponses quand un vendeur demande qui consulter dans son quartier. Scène inventée pour illustrer l'erreur la plus fréquente, décrite plus bas.
Le 30 octobre 2026, Anthropic, Google, Microsoft et OpenAI annoncent qu'ils soutiennent un même moyen, pour un site, de dire « mes pages ne servent pas à entraîner vos modèles ». Le journaliste Paul Thurrott juge la mesure « largely symbolic », largement symbolique, parce qu'elle arrive après des années de collecte. Il n'a pas tort : rien n'efface ce qui a déjà servi, et c'est une préférence, pas une protection. Mais pour une agence, l'annonce clarifie enfin une question que beaucoup se posent : peut-on protéger ses contenus sans disparaître des réponses de ChatGPT, Claude ou Gemini ?
Notre analyse : oui. Et c'est la bonne nouvelle de l'annonce.
Le signal prend la forme d'un petit groupe de règles dans le fichier robots.txt de ton site, sous un nom réservé :
robots.txt User-Agent: __usage_ai-training Disallow: /
Trois précisions, pour ne pas se tromper :
Les éditeurs d'IA n'envoient pas un robot, mais plusieurs, avec des rôles différents. Les confondre, c'est fermer la mauvaise porte.
| Rôle | Robots | Si tu le bloques |
|---|---|---|
| Entraînement des modèles | GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Applebot-Extended (Apple), et bientôt __usage_ai-training | Tes pages ne servent plus à entraîner les futurs modèles de cet éditeur (Google-Extended : tu perds aussi la citation dans l'application Gemini) |
| Recherche et citation | Googlebot, Bingbot, OAI-SearchBot (ChatGPT), Claude-SearchBot, PerplexityBot, Applebot | Tu disparais en grande partie des résultats et des réponses de cet outil |
| Visite à la demande d'un utilisateur | ChatGPT-User, Claude-User, Perplexity-User | Effet inégal : Claude-User respecte robots.txt, ChatGPT-User et Perplexity-User peuvent l'ignorer. Dans tous les cas, tu perds en visibilité |
OpenAI l'écrit noir sur blanc : on peut autoriser OAI-SearchBot pour apparaître dans la recherche de ChatGPT, et bloquer GPTBot pour que les pages ne servent pas à l'entraînement. Anthropic sépare de la même façon ClaudeBot (entraînement) et Claude-SearchBot (recherche), et prévient que bloquer ce dernier « may reduce your site's visibility ». Microsoft résume l'esprit de l'annonce : « Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work. »
C'est le point le plus contre-intuitif.
Notre lecture : pour une agence qui veut être recommandée dans Gemini, bloquer Google-Extended a un prix. Décide en connaissance de cause.
Une étude universitaire (Rutgers et Wharton, prépublication non relue) observe environ 7 % de visites en moins dans les six semaines qui suivent le blocage des robots IA, chez de grands éditeurs de presse (surtout américains, mais aussi la BBC ou le Guardian), avant mai 2024. Les auteurs l'expliquent surtout par une marque moins présente dans les réponses des IA. Les études publiées par des éditeurs de logiciels SEO, elles, se contredisent. Notre lecture : personne ne peut te donner un chiffre pour une agence. Mais Microsoft le dit lui-même : bloquer l'usage de tes pages dans ses réponses entraîne une « reduced brand visibility in AI experiences ».
-7 % : de visites par semaine (trafic total, mesuré par SimilarWeb ou Semrush) dans les 6 semaines qui suivent le blocage des robots IA, chez de grands éditeurs de presse (prépublication non relue, données d'avant mai 2024). Source : Zhao (Rutgers) et Berman (Wharton), arXiv 2512.24968, version du 15/04/2026
Lis mon robots.txt Voici le contenu du fichier robots.txt de mon site d'agence immobilière : [colle le contenu]
1. Liste les robots autorisés et bloqués, en trois groupes : entraînement des IA (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, __usage_ai-training), recherche et citation (Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot), visite à la demande (ChatGPT-User, Claude-User, Perplexity-User). 2. Signale toute règle qui bloquerait la recherche par erreur, en particulier un Disallow: / sous User-agent: . 3. Dis-moi si mon fichier correspond à ce choix : [entraînement non, citation oui hors Gemini], [entraînement non partout, Gemini compris] ou [tout ouvert]. N'invente aucune règle. Un robot non nommé suit le groupe User-agent: , avec deux exceptions : __usage_ai-training n'est jamais couvert par User-agent: * (s'il est absent, aucune préférence n'est exprimée), et Applebot suit les règles de Googlebot s'il n'est pas nommé mais que Googlebot l'est. Signale aussi que, chez Google, un Disallow sous __usage_ai-training vaudra refus de Google-Extended (prévu en 2027) si Google-Extended n'est pas nommé. Ne propose qu'un texte, que je ferai valider par mon prestataire.
Si tu décides de refuser l'entraînement, voici un point de départ, à adapter et à faire poser par ton prestataire. Il refuse l'entraînement chez OpenAI, Anthropic et Apple, et chez les éditeurs qui lisent le signal commun ; il ne ferme pas les autres robots.
Modèle de robots.txt (à adapter) # Entraînement des modèles d'IA : refusé chez OpenAI, Anthropic et Apple User-agent: GPTBot Disallow: /
User-agent: ClaudeBot Disallow: /
User-agent: Applebot-Extended Disallow: /
# Signal commun : Anthropic a commencé à le lire, Microsoft le lira dès le 01/02/2027, Google vise 2027. # Chez Google, il vaudra refus de Google-Extended (donc plus de citation dans l'application Gemini), # sauf si Google-Extended est nommé plus bas. User-agent: __usage_ai-training Disallow: /
# Google-Extended règle à la fois l'entraînement de Gemini et la citation dans l'application Gemini. # Pour rester cité dans Gemini (en acceptant l'entraînement Gemini), retire les # des deux lignes : # User-agent: Google-Extended # Allow: /
# Tous les autres robots, dont la recherche et la citation : ouvert # (les robots d'entraînement non nommés ici restent ouverts aussi) User-agent: * Allow: /
Quatre remarques :
Le llms.txt est un fichier proposé en 2024 pour résumer un site à l'attention des IA. Google indique que sa recherche ne s'en sert pas : en créer un « will neither harm nor help your site's visibility or rankings in Google Search ».
Ahrefs, éditeur d'un outil SEO, a mesuré qui vient lire ces fichiers sur les sites suivis par son outil d'analyse (137 210 sites, dont environ 38 000 publient un llms.txt) : en mai 2026, « 97% of those files received zero traffic », aucune requête du tout. Et une requête ne veut pas dire une lecture, précise l'étude.
Fichiers llms.txt publiés : combien sont demandés ? (mai 2026) Au moins une requête : 3 % (notre calcul : 100 moins 97) Aucune requête en mai 2026 : 97 Au moins une requête : 3 Source : Ahrefs, étude sur les sites suivis par Ahrefs Web Analytics (environ 38 000 sites avec un llms.txt, sur 137 210 étudiés), publiée le 15/06/2026 ; https://ahrefs.com/blog/llmstxt-study/. Chiffre d'éditeur, mesuré sur les sites suivis par l'outil d'Ahrefs.
Notre lecture : facultatif, sans effet prouvé à ce jour. S'il existe déjà, garde-le à jour ; sinon, ce n'est pas une priorité.
| Ta situation | Ce qu'on te conseille |
|---|---|
| Ton robots.txt contient User-agent: * puis Disallow: / | Corrige tout de suite : tu es fermé à la recherche. |
| Tu veux être cité partout, et l'entraînement t'est égal | Ne bloque rien. |
| Tu refuses l'entraînement mais veux être cité | Bloque GPTBot, ClaudeBot, Applebot-Extended et ajoute __usage_ai-training. Pour Google, choisis et écris-le : Google-Extended autorisé (cité dans Gemini, entraînement Gemini accepté) ou bloqué (ni l'un ni l'autre). Sans ligne Google-Extended, le signal commun vaudra blocage chez Google en 2027. |
| Tes annonces sont copiées par des sites douteux | robots.txt ne les arrêtera pas : c'est une préférence, pas une protection. |
Ton site est-il bien réglé pour les IA ? Sais-tu qui modifie le robots.txt de ton site ?
As-tu vérifié qu'aucune règle ne bloque la recherche par erreur ?
As-tu décidé, pour l'entraînement, d'un oui ou d'un non ?
Sais-tu que bloquer Google-Extended te prive des citations dans l'application Gemini ?
ton site est réglé en connaissance de cause relis ton robots.txt cette semaine commence par demander le fichier à ton prestataire
Pour la première fois, les grands éditeurs d'IA séparent clairement deux questions que les agences mélangeaient : « est-ce que mes pages entraînent leurs modèles ? » et « est-ce que je suis cité dans leurs réponses ? ». Tu peux répondre non à la première et oui à la seconde. Prends 5 minutes pour lire ton robots.txt, corrige l'erreur grave si elle y est, et décide du reste en connaissance de cause.
checklist robots.txt ouvert et lu.Aucun Disallow: / sous User-agent: *.Robots de recherche ouverts (Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot).Choix fait pour l'entraînement (GPTBot, ClaudeBot, Applebot-Extended, __usage_ai-training).Choix écrit pour Google-Extended (autorisé ou bloqué), en sachant qu'il touche l'application Gemini.Prestataire du site informé.Aucune règle ajoutée « contre la copie d'annonces » : le robots.txt ne l'arrête pas.llms.txt : facultatif, pas une priorité.Date de relecture notée : Bing doit appliquer le signal commun le 1er février 2027.
Et si tu faisais le point sur l'IA dans ton agence ? Commence par ton diagnostic IA. Faire mon diagnostic IA
Bloquer GPTBot me retire-t-il de ChatGPT ? Non. Selon OpenAI, GPTBot sert à l'entraînement ; la recherche de ChatGPT passe par OAI-SearchBot, qu'on peut laisser ouvert. Bloquer Google-Extended me retire-t-il de Google ? Non. Selon Google, cela ne touche ni la recherche ni les AI Overviews, mais tu n'es plus éligible aux citations avec lien dans l'application Gemini. Le signal __usage_ai-training est-il obligatoire pour les IA ? Non. C'est une proposition déposée à l'IETF, qu'Anthropic a commencé à appliquer, que Microsoft lira à partir du 1er février 2027 et que Google vise pour 2027. Faut-il créer un fichier llms.txt ? Ce n'est pas une priorité : Google indique que sa recherche ne s'en sert pas.
Non. Selon OpenAI, GPTBot sert à l'entraînement ; la recherche de ChatGPT passe par OAI-SearchBot, qu'on peut laisser ouvert.
Non. Selon Google, cela ne touche ni la recherche ni les AI Overviews, mais tu n'es plus éligible aux citations avec lien dans l'application Gemini.
Non. C'est une proposition déposée à l'IETF, qu'Anthropic a commencé à appliquer, que Microsoft lira à partir du 1er février 2027 et que Google vise pour 2027.
Ce n'est pas une priorité : Google indique que sa recherche ne s'en sert pas.
SEO & GEO
Toutes les bases du thème SEO & GEO, au même endroit.