Glossaire
Robot d'exploration IA (crawler IA)
Mis à jour le 8 novembre 2026
Définition
Un robot d'exploration IA est un client automatisé qui récupère des pages web pour une entreprise d'IA : pour constituer des données d'entraînement, pour indexer des pages destinées à un produit de recherche IA, ou pour lire une page en direct quand un utilisateur interroge un assistant à son sujet. Parmi les exemples : GPTBot, OAI-SearchBot et ChatGPT-User d'OpenAI, ClaudeBot d'Anthropic et PerplexityBot.
Comment ça marche
L'usage compte, car les fournisseurs publient des identifiants de user-agent distincts pour chaque usage, et robots.txt peut les traiter différemment. Bloquer un robot d'entraînement comme GPTBot ne bloque pas OAI-SearchBot, qu'OpenAI utilise pour les résultats de recherche de ChatGPT. Google propose un jeton de contrôle, Google-Extended, qui permet aux sites de refuser certains usages dans ses modèles Gemini sans affecter l'exploration pour la recherche Google. Les lectures déclenchées par la demande d'un utilisateur n'appliquent pas forcément robots.txt de la même façon, comme l'explique la documentation de chaque fournisseur.
Avant de décider, vérifiez ce que votre serveur autorise réellement : pare-feu et services anti-bots bloquent parfois des robots IA que robots.txt autorise, ou l'inverse. Contrôlez les requêtes à l'aide des plages d'adresses IP publiées par les fournisseurs plutôt qu'avec le seul user-agent, que n'importe qui peut usurper. Autoriser les robots des moteurs de réponse est une condition pour être cité avec un lien ; bloquer les robots d'entraînement est une décision commerciale distincte, qui n'efface pas ce que les modèles existants ont déjà appris.
Pour contrôler votre configuration actuelle, testez robots.txt avec chaque user-agent IA qui vous intéresse, puis demandez une page avec la même chaîne de user-agent pour voir si votre pare-feu ou votre CDN répond autrement que ce que le fichier autorise.
Passez à la pratique
Vérificateur de robots IA
Voyez quels robots IA et de recherche peuvent accéder à une URL, et lesquels vous bloquez par erreur.
Sources
- Overview of OpenAI crawlers(s'ouvre dans un nouvel onglet)
OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler?(s'ouvre dans un nouvel onglet)
Claude Help Center
- Google's common crawlers(s'ouvre dans un nouvel onglet)
Google Crawling Infrastructure
- Perplexity crawlers(s'ouvre dans un nouvel onglet)
Perplexity
- RFC 9309: Robots Exclusion Protocol(s'ouvre dans un nouvel onglet)
IETF
Chaque lien a été vérifié le 8 novembre 2026.
Termes associés
Les 46 termesL'IA cite-t-elle déjà votre marque ?
Posez à ChatGPT et à Claude une question d'acheteur avec le test gratuit des réponses IA, puis suivez les réponses dans la durée avec un compte Autoranko gratuit.