autoranko
Étude

Ce que les 500 domaines les plus populaires du web disent aux robots d’IA

Nous avons lu le robots.txt des 500 premiers domaines Tranco le 8 novembre 2026 et évalué 12 robots d’IA : qui bloque GPTBot, ClaudeBot et la recherche IA.

Par Autoranko Research10 min de lecture
Voir le Markdown

En bref

  • 241 des 500 domaines ont servi un robots.txt analysable ; presque tous les autres sont des domaines de CDN, de DNS ou d’API sans site web.
  • Bytespider est le jeton le plus bloqué (27,4 %), devant CCBot (25,7 %). GPTBot et ClaudeBot sont bloqués à la racine dans 22,4 % des fichiers.
  • Les robots de recherche sont moins bloqués : OAI-SearchBot 12,9 %, Claude-SearchBot 14,1 %. 23 sites bloquent GPTBot mais laissent passer OAI-SearchBot ; aucun ne fait l’inverse.
  • 162 sites (67,2 %) ne bloquent aucun des 12 jetons à la racine, et seuls 88 (36,5 %) en nomment au moins un.
  • 22 sites bloquent les 12, surtout des réseaux sociaux et de grandes plateformes ; seuls 10 fichiers utilisent Content-Signal.
Sur cette page
  1. Pourquoi robots.txt est le levier qui compte face à l’IA
  2. Comment nous avons collecté les données
  3. Ce qu’ont renvoyé les 500 requêtes
  4. À quelle fréquence chaque robot d’IA est bloqué
  5. Les sites bloquent l’entraînement plus que la recherche
  6. La plupart des règles n’ont pas été écrites pour l’IA
  7. Les sites qui bloquent tous les robots d’IA
  8. Content-Signal reste rare
  9. La popularité change peu de chose
  10. Ce qu’il faut en retenir pour votre robots.txt
  11. Limites de cette étude
  12. Télécharger les données
  13. Questions fréquentes
  14. Données brutes
  15. Sources

Pourquoi robots.txt est le levier qui compte face à l’IA

Les entreprises d’IA qui explorent le web ouvert publient les jetons robots.txt qu’elles respectent, et la plupart les séparent désormais selon l’usage : un robot collecte des données d’entraînement, un autre construit un index de recherche pour des réponses avec liens, un troisième ouvre une page quand un utilisateur pose une question à son sujet. Cette séparation permet de dire « n’entraînez pas vos modèles sur mes pages » sans disparaître de la recherche de ChatGPT ni des réponses de Claude, à condition que le robots.txt vise les bons jetons.

Chez Autoranko, nous proposons des outils gratuits qui vérifient cela URL par URL, comme le vérificateur de robots d’IA. Avant de donner des conseils, nous voulions savoir ce que font réellement les grands sites. Le 8 novembre 2026, nous avons donc lu les fichiers robots.txt des 500 domaines les plus populaires et les avons passés dans l’analyseur qu’utilisent nos outils.

Comment nous avons collecté les données

  • Liste : les 500 premiers domaines de la liste Tranco 94P72, générée le 7 novembre 2026 à partir des données CrUX, Farsight, Majestic, Cloudflare Radar, Cisco Umbrella de la période 9 octobre 2026 – 7 novembre 2026. Tranco classe des domaines enregistrables : google.com compte une fois, et non séparément www.google.com et mail.google.com.
  • Requête : une requête vers https://<domaine>/robots.txt par domaine, le 8 novembre 2026 entre 02:10 et 02:12 UTC, avec l’agent utilisateur AutorankoResearch/1.0 (+https://autoranko.com/blog), au plus 8 domaines à la fois, un délai d’attente de 8 secondes et jusqu’à 5 redirections. Quand un domaine ne répondait pas du tout, nous avons essayé une fois www.<domaine> (23 domaines).
  • Analyseur : l’implémentation de la RFC 9309 d’Autoranko, le code de notre testeur de robots.txt : la règle correspondante la plus longue l’emporte, un Allow gagne en cas d’égalité, les groupes d’un même jeton fusionnent et un jeton sans groupe propre suit User-agent: *.
  • Jetons : 12 jetons de produits d’IA : GPTBot, OAI-SearchBot et ChatGPT-User (OpenAI) ; ClaudeBot, Claude-SearchBot et Claude-User (Anthropic) ; PerplexityBot ; Google-Extended ; Applebot-Extended ; CCBot (Common Crawl) ; Bytespider (ByteDance) et meta-externalagent (Meta).
  • Verdicts pour la racine du site (/) : bloqué = les règles qui s’appliquent au jeton interdisent « / » (en pratique, Disallow: /) ; restreint en partie = « / » est autorisé, mais au moins un chemin est interdit (souvent /search, /cart ou /admin) ; autorisé = aucune règle Disallow ne s’applique. Nommé signifie que le fichier contient un groupe pour ce jeton précis.

Ce qu’ont renvoyé les 500 requêtes

Seule la moitié de la liste a un site web avec un robots.txt à la racine. Le classement Tranco repose en partie sur le trafic DNS : des domaines de CDN, de télémétrie et d’API côtoient des marques connues.

Résultat de la requête robots.txt, 500 domaines
RésultatDomaines
robots.txt analysé241
Page HTML au lieu d’un robots.txt35
Erreur 4xx (pas de robots.txt ; 26 nous ont refusés avec 401, 403 ou 418)73
Aucune réponse (DNS, TLS, délai dépassé, 5xx ; 112 pour cause de DNS)151

L’analyse qui suit porte sur les 241 fichiers analysés. Elle exclut les 35 domaines qui ont renvoyé une page HTML au lieu d’un robots.txt (un robot n’y trouverait aucune règle et explorerait tout) et les 26 qui ont refusé notre robot : impossible de savoir ce qu’ils montreraient à GPTBot.

À quelle fréquence chaque robot d’IA est bloqué

Verdict à la racine du site, 241 fichiers robots.txt
  • Bloqué
  • Restreint en partie
  • Autorisé
  • GPTBot54 (22,4 %)
  • OAI-SearchBot31 (12,9 %)
  • ChatGPT-User35 (14,5 %)
  • ClaudeBot54 (22,4 %)
  • Claude-SearchBot34 (14,1 %)
  • Claude-User33 (13,7 %)
  • PerplexityBot45 (18,7 %)
  • Google-Extended50 (20,7 %)
  • Applebot-Extended47 (19,5 %)
  • CCBot62 (25,7 %)
  • Bytespider66 (27,4 %)
  • meta-externalagent51 (21,2 %)

Données collectées le 8 novembre 2026. Source : liste Tranco 94P72, 500 premiers domaines.

Verdicts par jeton sur 241 fichiers robots.txt
JetonÉditeurUsageBloquéEn partieAutoriséNommé
GPTBotOpenAIEntraînement d’IA54 (22,4 %)151 (62,7 %)36 (14,9 %)61 (25,3 %)
OAI-SearchBotOpenAIRecherche IA31 (12,9 %)174 (72,2 %)36 (14,9 %)44 (18,3 %)
ChatGPT-UserOpenAIVisite demandée par un utilisateur35 (14,5 %)170 (70,5 %)36 (14,9 %)47 (19,5 %)
ClaudeBotAnthropicEntraînement d’IA54 (22,4 %)151 (62,7 %)36 (14,9 %)59 (24,5 %)
Claude-SearchBotAnthropicRecherche IA34 (14,1 %)173 (71,8 %)34 (14,1 %)35 (14,5 %)
Claude-UserAnthropicVisite demandée par un utilisateur33 (13,7 %)174 (72,2 %)34 (14,1 %)31 (12,9 %)
PerplexityBotPerplexityRecherche IA45 (18,7 %)159 (66,0 %)37 (15,4 %)56 (23,2 %)
Google-ExtendedGoogleJeton de contrôle50 (20,7 %)154 (63,9 %)37 (15,4 %)58 (24,1 %)
Applebot-ExtendedAppleJeton de contrôle47 (19,5 %)161 (66,8 %)33 (13,7 %)41 (17,0 %)
CCBotCommon CrawlEntraînement d’IA62 (25,7 %)147 (61,0 %)32 (13,3 %)53 (22,0 %)
BytespiderByteDanceEntraînement d’IA66 (27,4 %)145 (60,2 %)30 (12,4 %)50 (20,7 %)
meta-externalagentMetaEntraînement d’IA51 (21,2 %)160 (66,4 %)30 (12,4 %)38 (15,8 %)

Bytespider est le jeton le plus bloqué (27,4 % des fichiers), suivi de CCBot (25,7 %) : tous deux collectent des données d’entraînement et n’alimentent aucun produit de recherche qu’un site pourrait vouloir atteindre. GPTBot et ClaudeBot sont à égalité, avec 54 blocages chacun (22,4 %). Le moins bloqué est OAI-SearchBot (12,9 %). « Restreint en partie » est l’état le plus fréquent pour chaque jeton, car la plupart des fichiers écartent quelques chemins de tous les robots.

Les sites bloquent l’entraînement plus que la recherche

Combien de sites bloquent le robot d’entraînement, celui de recherche, ou les deux
ÉditeurEntraînement seul bloquéRecherche seule bloquéeLes deux bloqués
OpenAI (GPTBot / OAI-SearchBot)23031
Anthropic (ClaudeBot / Claude-SearchBot)20034

23 sites bloquent GPTBot tout en laissant passer OAI-SearchBot, et 20 bloquent ClaudeBot tout en autorisant Claude-SearchBot. Aucun site de l’échantillon n’a fait l’inverse. Parmi eux : whatsapp.net, whatsapp.com, yahoo.com, t-online.de, snapchat.com, gravatar.com, flickr.com, ebay.com. OpenAI présente les deux réglages comme indépendants : interdire GPTBot signale que le contenu ne doit pas servir à entraîner ses modèles de fondation, tandis que les sites qui excluent OAI-SearchBot n’apparaissent pas dans les réponses de la recherche ChatGPT. Anthropic fait la même distinction entre ClaudeBot (entraînement) et Claude-SearchBot (qualité de la recherche).

Au total, 31 sites bloquent au moins un robot d’entraînement ou un jeton de contrôle, mais aucun robot de recherche ni aucune visite demandée par un utilisateur. 47 bloquent au moins l’un d’OAI-SearchBot, Claude-SearchBot ou PerplexityBot.

Google-Extended (20,7 % bloqué) et Applebot-Extended (19,5 %) ne sont pas des robots mais des jetons de contrôle. Google affirme que Google-Extended n’a pas d’effet sur l’inclusion d’un site dans la recherche Google et n’est pas un signal de classement ; Apple indique que les pages qui interdisent Applebot-Extended peuvent toujours apparaître dans ses résultats de recherche. Les bloquer relève d’une décision sur l’entraînement et l’ancrage (grounding) de l’IA, pas sur la recherche.

La plupart des règles n’ont pas été écrites pour l’IA

88 des 241 fichiers (36,5 %) nomment au moins l’un des 12 jetons ; les 153 autres laissent tous les robots d’IA au groupe User-agent: *. Pour GPTBot, 36 de ses 54 blocages viennent d’un groupe qui le nomme ; les 18 autres viennent d’un User-agent: * qui bloque tout.

Fichiers avec un groupe propre à chaque jeton, sur 241
  • GPTBot61 (25,3 %)
  • ClaudeBot59 (24,5 %)
  • Google-Extended58 (24,1 %)
  • PerplexityBot56 (23,2 %)
  • CCBot53 (22,0 %)
  • Bytespider50 (20,7 %)
  • ChatGPT-User47 (19,5 %)
  • OAI-SearchBot44 (18,3 %)
  • Applebot-Extended41 (17,0 %)
  • meta-externalagent38 (15,8 %)
  • Claude-SearchBot35 (14,5 %)
  • Claude-User31 (12,9 %)

Un jeton sans groupe propre suit les règles de User-agent: *.

7 sites font l’inverse : ils interdisent tout à User-agent: *, puis ouvrent la porte à certains robots d’IA. Il s’agit de netflix.com, flickr.com, sciencedirect.com, linktr.ee, reuters.com, trustpilot.com, wsj.com.

Les sites qui bloquent tous les robots d’IA

22 sites bloquent les 12 jetons à la racine : facebook.com, fbcdn.net, gstatic.com, instagram.com, twitter.com, googlevideo.com, x.com, pinterest.com, tiktok.com, baidu.com, msn.com, reddit.com, registrar-servers.com, skybridge.click, nytimes.com, t.co, imdb.com, demdex.net, weibo.com, cookiedatabase.org, netcraze.io, kwai.net. Ce sont surtout des réseaux sociaux et de grandes plateformes, ainsi que des domaines techniques de ressources et de mesure d’audience, et un grand quotidien. 3 d’entre eux (tiktok.com, msn.com, nytimes.com) nomment les robots d’IA un par un ; les autres y parviennent en interdisant tout aux robots sans groupe propre. Au total, 26 fichiers interdisent le site entier dans User-agent: *.

Content-Signal reste rare

La proposition Content-Signal de Cloudflare ajoute au robots.txt une ligne lisible par les machines, comme Content-Signal: search=yes, ai-train=no. 10 des 241 fichiers (4,1 %) en contiennent une, et 6 d’entre eux indiquent ai-train=no. Elle exprime une préférence d’usage, pas une règle d’accès : notre analyseur l’ignore pour décider de ce qui peut être exploré.

La popularité change peu de chose

GPTBot bloqué et jetons d’IA nommés, par tranche du classement
RangDomainesrobots.txt analyséGPTBot bloquéNomment un jeton d’IA
1–1001005315 (28,3 %)19 (35,8 %)
101–2501507216 (22,2 %)27 (37,5 %)
251–50025011623 (19,8 %)42 (36,2 %)

Les 100 premiers bloquent GPTBot un peu plus souvent (28,3 %) que les rangs 251–500 (19,8 %), mais les groupes sont petits : l’écart tient à quelques sites, mieux vaut ne pas en tirer de conclusion.

Ce qu’il faut en retenir pour votre robots.txt

  1. Décidez par usage, pas par éditeur. Entraînement, recherche et visites demandées par un utilisateur passent par des jetons différents : traitez-les comme trois décisions.
  2. Si vous voulez être cité, ne bloquez pas les robots de recherche : OAI-SearchBot, Claude-SearchBot et PerplexityBot. Laissez aussi Googlebot et Bingbot ouverts, car AI Overviews et Copilot répondent à partir de ces index.
  3. Bloquer GPTBot ou ClaudeBot est un choix légitime et, selon la documentation d’OpenAI et d’Anthropic, cela ne vous retire pas de leurs fonctions de recherche.
  4. Nommez les jetons que vous visez. Un blocage large dans User-agent: * attrape aussi les robots d’IA que vous voulez peut-être accueillir, et un jeton que vous ne nommez pas suit le groupe *.
  5. robots.txt est une demande, pas un verrou. OpenAI précise que les règles robots.txt peuvent ne pas s’appliquer à ChatGPT-User, puisque la visite est demandée par un utilisateur. Pour l’imposer, bloquez au niveau du serveur ou du CDN.
  6. Vérifiez vos changements. OpenAI indique que ses systèmes peuvent mettre environ 24 heures à prendre en compte un nouveau robots.txt. Testez chaque URL importante avec le vérificateur de robots d’IA.

Limites de cette étude

  • Tranco classe des domaines enregistrables avec des signaux de popularité qui incluent le trafic DNS : les 500 premiers comptent donc des domaines de CDN, d’API et de télémétrie sans site web. Ils figurent dans les totaux et sortent de l’analyse robots.txt.
  • Chaque robots.txt a été demandé une fois, depuis une seule machine en Europe et avec notre propre agent utilisateur. Les sites qui servent des règles différentes selon le robot ou la région peuvent montrer d’autres règles aux vrais robots. Un 403 ou une page de vérification qui nous est montrée est enregistré comme tel et exclu.
  • Seule la racine du site est évaluée. « Restreint en partie » va d’un unique chemin /search interdit à de vastes zones privées.
  • robots.txt exprime une demande, pas un contrôle d’accès : il ne prouve pas qu’un robot la respecte, et certains éditeurs indiquent que leurs visites demandées par un utilisateur peuvent l’ignorer.

Télécharger les données

Les résultats bruts, avec chaque domaine, le résultat de la requête et le verdict pour chaque jeton, sont dans ai-crawlers-2026-11.json (171,6 Ko, en anglais). Si vous les réutilisez, citez la liste Tranco : Le Pochat et al., « Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation », NDSS 2019.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?

Non, selon OpenAI. GPTBot collecte des données d’entraînement ; la recherche ChatGPT utilise OAI-SearchBot. OpenAI présente les deux réglages comme indépendants, et dans notre échantillon 23 sites bloquent GPTBot tout en autorisant OAI-SearchBot.

Que signifie « restreint en partie » dans cette étude ?

La racine du site est autorisée pour ce robot, mais au moins une règle Disallow s’applique à lui : d’un seul chemin /search à une grande zone privée. C’est l’état le plus courant, car presque tous les robots.txt écartent quelques chemins de tous les robots.

Pourquoi seulement 241 des 500 domaines ont-ils été analysés ?

Tranco classe des domaines enregistrables avec des signaux qui incluent le trafic DNS : les 500 premiers contiennent donc beaucoup de domaines de CDN, d’API et de télémétrie sans site. Nous avons analysé tous les domaines qui ont servi un robots.txt analysable ; les 259 autres figurent dans le jeu de données avec leur résultat.

robots.txt suffit-il à tenir les robots d’IA à l’écart ?

C’est une demande, pas un contrôle d’accès. Les grands éditeurs documentent que leurs robots la respectent, mais certains précisent que les visites demandées par un utilisateur peuvent ne pas le faire, et un robot inconnu peut l’ignorer. Pour l’imposer, bloquez au niveau du serveur ou du CDN.

Comment vérifier mon propre robots.txt ?

Collez votre URL dans notre vérificateur de robots d’IA : il applique le même analyseur à 22 jetons de robots et affiche la règle qui décide pour chacun.

Données brutes

Sources

Interroger un assistant IA sur cet article

Chaque lien ouvre l’assistant dans un nouvel onglet avec une question sur cet article. Selon l’assistant, elle est saisie pour vous ou envoyée aussitôt ; seules la question et l’adresse de cette page sont transmises.

Comment cet article a été fait

Autoranko Research a collecté les données le 8 novembre 2026 avec la méthode décrite plus haut. Le texte a été rédigé avec l’aide de l’IA, et chaque chiffre est généré à partir du jeu de données publié : les tableaux et les phrases ne peuvent pas se contredire.

Signaler une erreur

Outils gratuits sur ce sujet

Découvrez ce que les assistants IA disent de votre marché

Autoranko suit les questions de vos acheteurs sur les modèles GPT et Claude, indique pour chaque chiffre comment il a été mesuré et rédige les articles qui y répondent.