# Ce que les 500 domaines les plus populaires du web disent aux robots d’IA

Par Autoranko Research · Publié le 8 novembre 2026
<https://autoranko.com/fr/blog/ai-crawler-rules-top-500-sites>

## En bref

- **241 des 500** domaines ont servi un robots.txt analysable ; presque tous les autres sont des domaines de CDN, de DNS ou d’API sans site web.
- **Bytespider** est le jeton le plus bloqué (27,4 %), devant **CCBot** (25,7 %). **GPTBot** et **ClaudeBot** sont bloqués à la racine dans 22,4 % des fichiers.
- Les robots de recherche sont moins bloqués : **OAI-SearchBot** 12,9 %, **Claude-SearchBot** 14,1 %. 23 sites bloquent GPTBot mais laissent passer OAI-SearchBot ; aucun ne fait l’inverse.
- 162 sites (67,2 %) ne bloquent aucun des 12 jetons à la racine, et seuls 88 (36,5 %) en nomment au moins un.
- 22 sites bloquent les 12, surtout des réseaux sociaux et de grandes plateformes ; seuls 10 fichiers utilisent Content-Signal.

## Pourquoi robots.txt est le levier qui compte face à l’IA

Les entreprises d’IA qui explorent le web ouvert publient les jetons robots.txt qu’elles respectent, et la plupart les séparent désormais selon l’usage : un robot collecte des données d’entraînement, un autre construit un index de recherche pour des réponses avec liens, un troisième ouvre une page quand un utilisateur pose une question à son sujet. Cette séparation permet de dire « n’entraînez pas vos modèles sur mes pages » sans disparaître de la recherche de ChatGPT ni des réponses de Claude, à condition que le robots.txt vise les bons jetons.

Chez Autoranko, nous proposons des outils gratuits qui vérifient cela URL par URL, comme le [vérificateur de robots d’IA](https://autoranko.com/fr/tools/ai-crawler-checker). Avant de donner des conseils, nous voulions savoir ce que font réellement les grands sites. Le 8 novembre 2026, nous avons donc lu les fichiers robots.txt des 500 domaines les plus populaires et les avons passés dans l’analyseur qu’utilisent nos outils.

## Comment nous avons collecté les données

- **Liste** : les 500 premiers domaines de la liste [Tranco 94P72](https://tranco-list.eu/list/94P72/1000000), générée le 7 novembre 2026 à partir des données CrUX, Farsight, Majestic, Cloudflare Radar, Cisco Umbrella de la période 9 octobre 2026 – 7 novembre 2026. Tranco classe des domaines enregistrables : google.com compte une fois, et non séparément www.google.com et mail.google.com.
- **Requête** : une requête vers https://<domaine>/robots.txt par domaine, le 8 novembre 2026 entre 02:10 et 02:12 UTC, avec l’agent utilisateur `AutorankoResearch/1.0 (+https://autoranko.com/blog)`, au plus 8 domaines à la fois, un délai d’attente de 8 secondes et jusqu’à 5 redirections. Quand un domaine ne répondait pas du tout, nous avons essayé une fois www.<domaine> (23 domaines).
- **Analyseur** : l’implémentation de la RFC 9309 d’Autoranko, le code de notre [testeur de robots.txt](https://autoranko.com/fr/tools/robots-txt-tester) : la règle correspondante la plus longue l’emporte, un Allow gagne en cas d’égalité, les groupes d’un même jeton fusionnent et un jeton sans groupe propre suit `User-agent: *`.
- **Jetons** : 12 jetons de produits d’IA : GPTBot, OAI-SearchBot et ChatGPT-User (OpenAI) ; ClaudeBot, Claude-SearchBot et Claude-User (Anthropic) ; PerplexityBot ; Google-Extended ; Applebot-Extended ; CCBot (Common Crawl) ; Bytespider (ByteDance) et meta-externalagent (Meta).
- **Verdicts** pour la racine du site (/) : **bloqué** = les règles qui s’appliquent au jeton interdisent « / » (en pratique, `Disallow: /`) ; **restreint en partie** = « / » est autorisé, mais au moins un chemin est interdit (souvent /search, /cart ou /admin) ; **autorisé** = aucune règle Disallow ne s’applique. **Nommé** signifie que le fichier contient un groupe pour ce jeton précis.

## Ce qu’ont renvoyé les 500 requêtes

Seule la moitié de la liste a un site web avec un robots.txt à la racine. Le classement Tranco repose en partie sur le trafic DNS : des domaines de CDN, de télémétrie et d’API côtoient des marques connues.

**Résultat de la requête robots.txt, 500 domaines**

| Résultat | Domaines |
| --- | --- |
| robots.txt analysé | 241 |
| Page HTML au lieu d’un robots.txt | 35 |
| Erreur 4xx (pas de robots.txt ; 26 nous ont refusés avec 401, 403 ou 418) | 73 |
| Aucune réponse (DNS, TLS, délai dépassé, 5xx ; 112 pour cause de DNS) | 151 |

L’analyse qui suit porte sur les 241 fichiers analysés. Elle exclut les 35 domaines qui ont renvoyé une page HTML au lieu d’un robots.txt (un robot n’y trouverait aucune règle et explorerait tout) et les 26 qui ont refusé notre robot : impossible de savoir ce qu’ils montreraient à GPTBot.

## À quelle fréquence chaque robot d’IA est bloqué

**Verdict à la racine du site, 241 fichiers robots.txt**

|  | Bloqué | Restreint en partie | Autorisé |
| --- | --- | --- | --- |
| GPTBot | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) |
| OAI-SearchBot | 31 (12,9 %) | 174 (72,2 %) | 36 (14,9 %) |
| ChatGPT-User | 35 (14,5 %) | 170 (70,5 %) | 36 (14,9 %) |
| ClaudeBot | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) |
| Claude-SearchBot | 34 (14,1 %) | 173 (71,8 %) | 34 (14,1 %) |
| Claude-User | 33 (13,7 %) | 174 (72,2 %) | 34 (14,1 %) |
| PerplexityBot | 45 (18,7 %) | 159 (66,0 %) | 37 (15,4 %) |
| Google-Extended | 50 (20,7 %) | 154 (63,9 %) | 37 (15,4 %) |
| Applebot-Extended | 47 (19,5 %) | 161 (66,8 %) | 33 (13,7 %) |
| CCBot | 62 (25,7 %) | 147 (61,0 %) | 32 (13,3 %) |
| Bytespider | 66 (27,4 %) | 145 (60,2 %) | 30 (12,4 %) |
| meta-externalagent | 51 (21,2 %) | 160 (66,4 %) | 30 (12,4 %) |

Données collectées le 8 novembre 2026. Source : liste Tranco 94P72, 500 premiers domaines.

**Verdicts par jeton sur 241 fichiers robots.txt**

| Jeton | Éditeur | Usage | Bloqué | En partie | Autorisé | Nommé |
| --- | --- | --- | --- | --- | --- | --- |
| `GPTBot` | OpenAI | Entraînement d’IA | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) | 61 (25,3 %) |
| `OAI-SearchBot` | OpenAI | Recherche IA | 31 (12,9 %) | 174 (72,2 %) | 36 (14,9 %) | 44 (18,3 %) |
| `ChatGPT-User` | OpenAI | Visite demandée par un utilisateur | 35 (14,5 %) | 170 (70,5 %) | 36 (14,9 %) | 47 (19,5 %) |
| `ClaudeBot` | Anthropic | Entraînement d’IA | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) | 59 (24,5 %) |
| `Claude-SearchBot` | Anthropic | Recherche IA | 34 (14,1 %) | 173 (71,8 %) | 34 (14,1 %) | 35 (14,5 %) |
| `Claude-User` | Anthropic | Visite demandée par un utilisateur | 33 (13,7 %) | 174 (72,2 %) | 34 (14,1 %) | 31 (12,9 %) |
| `PerplexityBot` | Perplexity | Recherche IA | 45 (18,7 %) | 159 (66,0 %) | 37 (15,4 %) | 56 (23,2 %) |
| `Google-Extended` | Google | Jeton de contrôle | 50 (20,7 %) | 154 (63,9 %) | 37 (15,4 %) | 58 (24,1 %) |
| `Applebot-Extended` | Apple | Jeton de contrôle | 47 (19,5 %) | 161 (66,8 %) | 33 (13,7 %) | 41 (17,0 %) |
| `CCBot` | Common Crawl | Entraînement d’IA | 62 (25,7 %) | 147 (61,0 %) | 32 (13,3 %) | 53 (22,0 %) |
| `Bytespider` | ByteDance | Entraînement d’IA | 66 (27,4 %) | 145 (60,2 %) | 30 (12,4 %) | 50 (20,7 %) |
| `meta-externalagent` | Meta | Entraînement d’IA | 51 (21,2 %) | 160 (66,4 %) | 30 (12,4 %) | 38 (15,8 %) |

**Bytespider** est le jeton le plus bloqué (27,4 % des fichiers), suivi de **CCBot** (25,7 %) : tous deux collectent des données d’entraînement et n’alimentent aucun produit de recherche qu’un site pourrait vouloir atteindre. **GPTBot** et **ClaudeBot** sont à égalité, avec 54 blocages chacun (22,4 %). Le moins bloqué est **OAI-SearchBot** (12,9 %). « Restreint en partie » est l’état le plus fréquent pour chaque jeton, car la plupart des fichiers écartent quelques chemins de tous les robots.

## Les sites bloquent l’entraînement plus que la recherche

**Combien de sites bloquent le robot d’entraînement, celui de recherche, ou les deux**

| Éditeur | Entraînement seul bloqué | Recherche seule bloquée | Les deux bloqués |
| --- | --- | --- | --- |
| OpenAI (GPTBot / OAI-SearchBot) | 23 | 0 | 31 |
| Anthropic (ClaudeBot / Claude-SearchBot) | 20 | 0 | 34 |

23 sites bloquent GPTBot tout en laissant passer OAI-SearchBot, et 20 bloquent ClaudeBot tout en autorisant Claude-SearchBot. Aucun site de l’échantillon n’a fait l’inverse. Parmi eux : `whatsapp.net`, `whatsapp.com`, `yahoo.com`, `t-online.de`, `snapchat.com`, `gravatar.com`, `flickr.com`, `ebay.com`. OpenAI présente les deux réglages comme indépendants : interdire GPTBot signale que le contenu ne doit pas servir à entraîner ses modèles de fondation, tandis que les sites qui excluent OAI-SearchBot n’apparaissent pas dans les réponses de la recherche ChatGPT. Anthropic fait la même distinction entre ClaudeBot (entraînement) et Claude-SearchBot (qualité de la recherche).

Au total, 31 sites bloquent au moins un robot d’entraînement ou un jeton de contrôle, mais aucun robot de recherche ni aucune visite demandée par un utilisateur. 47 bloquent au moins l’un d’OAI-SearchBot, Claude-SearchBot ou PerplexityBot.

Google-Extended (20,7 % bloqué) et Applebot-Extended (19,5 %) ne sont pas des robots mais des jetons de contrôle. Google affirme que Google-Extended n’a pas d’effet sur l’inclusion d’un site dans la recherche Google et n’est pas un signal de classement ; Apple indique que les pages qui interdisent Applebot-Extended peuvent toujours apparaître dans ses résultats de recherche. Les bloquer relève d’une décision sur l’entraînement et l’ancrage (grounding) de l’IA, pas sur la recherche.

## La plupart des règles n’ont pas été écrites pour l’IA

88 des 241 fichiers (36,5 %) nomment au moins l’un des 12 jetons ; les 153 autres laissent tous les robots d’IA au groupe `User-agent: *`. Pour GPTBot, 36 de ses 54 blocages viennent d’un groupe qui le nomme ; les 18 autres viennent d’un `User-agent: *` qui bloque tout.

**Fichiers avec un groupe propre à chaque jeton, sur 241**

|  |  |
| --- | --- |
| GPTBot | 61 (25,3 %) |
| ClaudeBot | 59 (24,5 %) |
| Google-Extended | 58 (24,1 %) |
| PerplexityBot | 56 (23,2 %) |
| CCBot | 53 (22,0 %) |
| Bytespider | 50 (20,7 %) |
| ChatGPT-User | 47 (19,5 %) |
| OAI-SearchBot | 44 (18,3 %) |
| Applebot-Extended | 41 (17,0 %) |
| meta-externalagent | 38 (15,8 %) |
| Claude-SearchBot | 35 (14,5 %) |
| Claude-User | 31 (12,9 %) |

Un jeton sans groupe propre suit les règles de User-agent: *.

7 sites font l’inverse : ils interdisent tout à `User-agent: *`, puis ouvrent la porte à certains robots d’IA. Il s’agit de `netflix.com`, `flickr.com`, `sciencedirect.com`, `linktr.ee`, `reuters.com`, `trustpilot.com`, `wsj.com`.

## Les sites qui bloquent tous les robots d’IA

22 sites bloquent les 12 jetons à la racine : `facebook.com`, `fbcdn.net`, `gstatic.com`, `instagram.com`, `twitter.com`, `googlevideo.com`, `x.com`, `pinterest.com`, `tiktok.com`, `baidu.com`, `msn.com`, `reddit.com`, `registrar-servers.com`, `skybridge.click`, `nytimes.com`, `t.co`, `imdb.com`, `demdex.net`, `weibo.com`, `cookiedatabase.org`, `netcraze.io`, `kwai.net`. Ce sont surtout des réseaux sociaux et de grandes plateformes, ainsi que des domaines techniques de ressources et de mesure d’audience, et un grand quotidien. 3 d’entre eux (`tiktok.com`, `msn.com`, `nytimes.com`) nomment les robots d’IA un par un ; les autres y parviennent en interdisant tout aux robots sans groupe propre. Au total, 26 fichiers interdisent le site entier dans `User-agent: *`.

## Content-Signal reste rare

La proposition Content-Signal de Cloudflare ajoute au robots.txt une ligne lisible par les machines, comme `Content-Signal: search=yes, ai-train=no`. 10 des 241 fichiers (4,1 %) en contiennent une, et 6 d’entre eux indiquent ai-train=no. Elle exprime une préférence d’usage, pas une règle d’accès : notre analyseur l’ignore pour décider de ce qui peut être exploré.

## La popularité change peu de chose

**GPTBot bloqué et jetons d’IA nommés, par tranche du classement**

| Rang | Domaines | robots.txt analysé | GPTBot bloqué | Nomment un jeton d’IA |
| --- | --- | --- | --- | --- |
| 1–100 | 100 | 53 | 15 (28,3 %) | 19 (35,8 %) |
| 101–250 | 150 | 72 | 16 (22,2 %) | 27 (37,5 %) |
| 251–500 | 250 | 116 | 23 (19,8 %) | 42 (36,2 %) |

Les 100 premiers bloquent GPTBot un peu plus souvent (28,3 %) que les rangs 251–500 (19,8 %), mais les groupes sont petits : l’écart tient à quelques sites, mieux vaut ne pas en tirer de conclusion.

## Ce qu’il faut en retenir pour votre robots.txt

1. **Décidez par usage, pas par éditeur.** Entraînement, recherche et visites demandées par un utilisateur passent par des jetons différents : traitez-les comme trois décisions.
2. **Si vous voulez être cité, ne bloquez pas les robots de recherche** : OAI-SearchBot, Claude-SearchBot et PerplexityBot. Laissez aussi Googlebot et Bingbot ouverts, car AI Overviews et Copilot répondent à partir de ces index.
3. **Bloquer GPTBot ou ClaudeBot est un choix légitime** et, selon la documentation d’OpenAI et d’Anthropic, cela ne vous retire pas de leurs fonctions de recherche.
4. **Nommez les jetons que vous visez.** Un blocage large dans `User-agent: *` attrape aussi les robots d’IA que vous voulez peut-être accueillir, et un jeton que vous ne nommez pas suit le groupe `*`.
5. **robots.txt est une demande, pas un verrou.** OpenAI précise que les règles robots.txt peuvent ne pas s’appliquer à ChatGPT-User, puisque la visite est demandée par un utilisateur. Pour l’imposer, bloquez au niveau du serveur ou du CDN.
6. **Vérifiez vos changements.** OpenAI indique que ses systèmes peuvent mettre environ 24 heures à prendre en compte un nouveau robots.txt. Testez chaque URL importante avec le [vérificateur de robots d’IA](https://autoranko.com/fr/tools/ai-crawler-checker).

## Limites de cette étude

- Tranco classe des domaines enregistrables avec des signaux de popularité qui incluent le trafic DNS : les 500 premiers comptent donc des domaines de CDN, d’API et de télémétrie sans site web. Ils figurent dans les totaux et sortent de l’analyse robots.txt.
- Chaque robots.txt a été demandé une fois, depuis une seule machine en Europe et avec notre propre agent utilisateur. Les sites qui servent des règles différentes selon le robot ou la région peuvent montrer d’autres règles aux vrais robots. Un 403 ou une page de vérification qui nous est montrée est enregistré comme tel et exclu.
- Seule la racine du site est évaluée. « Restreint en partie » va d’un unique chemin /search interdit à de vastes zones privées.
- robots.txt exprime une demande, pas un contrôle d’accès : il ne prouve pas qu’un robot la respecte, et certains éditeurs indiquent que leurs visites demandées par un utilisateur peuvent l’ignorer.

## Télécharger les données

Les résultats bruts, avec chaque domaine, le résultat de la requête et le verdict pour chaque jeton, sont dans [ai-crawlers-2026-11.json](https://autoranko.com/downloads/autoranko-ai-crawlers-2026-11.json) (171,6 Ko, en anglais). Si vous les réutilisez, citez la liste Tranco : Le Pochat et al., « Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation », NDSS 2019.

## Questions fréquentes

### Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?

Non, selon OpenAI. GPTBot collecte des données d’entraînement ; la recherche ChatGPT utilise OAI-SearchBot. OpenAI présente les deux réglages comme indépendants, et dans notre échantillon 23 sites bloquent GPTBot tout en autorisant OAI-SearchBot.

### Que signifie « restreint en partie » dans cette étude ?

La racine du site est autorisée pour ce robot, mais au moins une règle Disallow s’applique à lui : d’un seul chemin /search à une grande zone privée. C’est l’état le plus courant, car presque tous les robots.txt écartent quelques chemins de tous les robots.

### Pourquoi seulement 241 des 500 domaines ont-ils été analysés ?

Tranco classe des domaines enregistrables avec des signaux qui incluent le trafic DNS : les 500 premiers contiennent donc beaucoup de domaines de CDN, d’API et de télémétrie sans site. Nous avons analysé tous les domaines qui ont servi un robots.txt analysable ; les 259 autres figurent dans le jeu de données avec leur résultat.

### robots.txt suffit-il à tenir les robots d’IA à l’écart ?

C’est une demande, pas un contrôle d’accès. Les grands éditeurs documentent que leurs robots la respectent, mais certains précisent que les visites demandées par un utilisateur peuvent ne pas le faire, et un robot inconnu peut l’ignorer. Pour l’imposer, bloquez au niveau du serveur ou du CDN.

### Comment vérifier mon propre robots.txt ?

Collez votre URL dans notre [vérificateur de robots d’IA](https://autoranko.com/fr/tools/ai-crawler-checker) : il applique le même analyseur à 22 jetons de robots et affiche la règle qui décide pour chacun.

## Données brutes

- [ai-crawlers-2026-11.json](https://autoranko.com/downloads/autoranko-ai-crawlers-2026-11.json)

## Sources

- [Tranco list 94P72](https://tranco-list.eu/list/94P72/1000000)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [Anthropic: crawlers and robots.txt](https://support.claude.com/en/articles/8896518)
- [Google: common crawlers (Google-Extended)](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
- [Apple: About Applebot](https://support.apple.com/en-us/119829)
- [Content Signals](https://contentsignals.org)
