autoranko

Glossaire

Robot d'exploration IA (crawler IA)

Mis à jour le 8 novembre 2026

Définition

Un robot d'exploration IA est un client automatisé qui récupère des pages web pour une entreprise d'IA : pour constituer des données d'entraînement, pour indexer des pages destinées à un produit de recherche IA, ou pour lire une page en direct quand un utilisateur interroge un assistant à son sujet. Parmi les exemples : GPTBot, OAI-SearchBot et ChatGPT-User d'OpenAI, ClaudeBot d'Anthropic et PerplexityBot.

Comment ça marche

L'usage compte, car les fournisseurs publient des identifiants de user-agent distincts pour chaque usage, et robots.txt peut les traiter différemment. Bloquer un robot d'entraînement comme GPTBot ne bloque pas OAI-SearchBot, qu'OpenAI utilise pour les résultats de recherche de ChatGPT. Google propose un jeton de contrôle, Google-Extended, qui permet aux sites de refuser certains usages dans ses modèles Gemini sans affecter l'exploration pour la recherche Google. Les lectures déclenchées par la demande d'un utilisateur n'appliquent pas forcément robots.txt de la même façon, comme l'explique la documentation de chaque fournisseur.

Avant de décider, vérifiez ce que votre serveur autorise réellement : pare-feu et services anti-bots bloquent parfois des robots IA que robots.txt autorise, ou l'inverse. Contrôlez les requêtes à l'aide des plages d'adresses IP publiées par les fournisseurs plutôt qu'avec le seul user-agent, que n'importe qui peut usurper. Autoriser les robots des moteurs de réponse est une condition pour être cité avec un lien ; bloquer les robots d'entraînement est une décision commerciale distincte, qui n'efface pas ce que les modèles existants ont déjà appris.

Pour contrôler votre configuration actuelle, testez robots.txt avec chaque user-agent IA qui vous intéresse, puis demandez une page avec la même chaîne de user-agent pour voir si votre pare-feu ou votre CDN répond autrement que ce que le fichier autorise.

Passez à la pratique

Vérificateur de robots IA

Voyez quels robots IA et de recherche peuvent accéder à une URL, et lesquels vous bloquez par erreur.

Ouvrir l'outil gratuit

Sources

  1. Overview of OpenAI crawlers(s'ouvre dans un nouvel onglet)

    OpenAI

  2. Does Anthropic crawl data from the web, and how can site owners block the crawler?(s'ouvre dans un nouvel onglet)

    Claude Help Center

  3. Google's common crawlers(s'ouvre dans un nouvel onglet)

    Google Crawling Infrastructure

  4. Perplexity crawlers(s'ouvre dans un nouvel onglet)

    Perplexity

  5. RFC 9309: Robots Exclusion Protocol(s'ouvre dans un nouvel onglet)

    IETF

Chaque lien a été vérifié le 8 novembre 2026.

Les 46 termes

L'IA cite-t-elle déjà votre marque ?

Posez à ChatGPT et à Claude une question d'acheteur avec le test gratuit des réponses IA, puis suivez les réponses dans la durée avec un compte Autoranko gratuit.