Vérificateur de robots IA
Cet outil lit le robots.txt d'un site et les directives de la page elle-même, puis vous indique — robot par robot — qui peut accéder à une URL. Il sépare les moteurs de réponse des robots d'entraînement pour que vous puissiez bloquer l'entraînement des modèles sans vous fermer par erreur la recherche IA.
Des dizaines de robots IA et de recherche parcourent aujourd'hui le web, chacun avec son jeton robots.txt et son objectif. OpenAI en exploite trois à lui seul : OAI-SearchBot affiche des liens dans la recherche de ChatGPT, ChatGPT-User télécharge une page lorsqu'un utilisateur la demande et GPTBot collecte des données d'entraînement. Bloquer le mauvais a des conséquences très différentes, et la plupart des propriétaires ignorent ce que fait chaque jeton.
Ce vérificateur évalue vos règles comme le ferait un robot qui les respecte, regroupe les bots par objectif et explique chaque verdict selon la documentation du fournisseur lui-même.
Comment l'accès est déterminé
Nous téléchargeons /robots.txt une fois et l'analysons selon la RFC 9309 : un robot obéit au groupe qui nomme son jeton (sans tenir compte de la casse), se rabat sur le groupe * s'il n'y a pas de correspondance, et au sein d'un groupe la règle Allow ou Disallow la plus longue l'emporte, avec * et $ comme jokers. Nous téléchargeons ensuite la page et lisons sa balise meta robots et l'en-tête X-Robots-Tag, car une page peut être explorable tout en ayant noindex.
Chaque robot est classé dans l'une de quatre catégories : moteur de réponse (indexe les pages que citent les réponses IA), requête utilisateur (charge une page parce qu'un utilisateur l'a demandée), entraînement (collecte du contenu pour entraîner des modèles) et jeton de contrôle (n'explore jamais ; indique seulement comment le contenu peut être utilisé — Google-Extended en est l'exemple type). Nous évaluons les moteurs de réponse séparément des robots d'entraînement afin qu'un blocage dans une catégorie ne soit jamais confondu avec l'autre.
Le résultat affiche un verdict par robot pour le chemin exact que vous saisissez, plus des notes en clair : pourquoi un fetcher lancé par l'utilisateur peut ignorer robots.txt, pourquoi bloquer GPTBot n'affecte pas la recherche de ChatGPT, et ce que contrôle réellement Google-Extended (entraînement et grounding de Gemini, pas la recherche Google ni les aperçus IA).
| Vérification | Ce que cela signifie et le seuil exact |
|---|---|
| Statut de robots.txt | Si /robots.txt renvoie 200 (analysé), un 4xx (traité comme « tout explorer ») ou un 5xx/429 (RFC 9309 : tout considérer comme interdit). |
| Moteurs de réponse et recherche | Si OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot, Applebot et DuckAssistBot peuvent explorer l'URL. |
| Requêtes lancées par l'utilisateur | Si ChatGPT-User, Perplexity-User, Claude-User et meta-externalfetcher sont bloqués ; certains fournisseurs disent que robots.txt peut ne pas s'appliquer. |
| Entraînement et jetons de contrôle | Le statut de politique de GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, cohere-ai, Applebot-Extended et Google-Extended. |
| Directives de page | meta robots et X-Robots-Tag, dont noindex et nosnippet, qui garde le texte hors des aperçus IA. |
Limites et réserves honnêtes
- Nous lisons robots.txt depuis une IP de serveur. Les sites qui varient les règles par robot, plage d'IP ou zone géographique peuvent montrer aux vrais bots autre chose.
- Un verdict reflète les règles, pas le fait qu'un robot les respecte. Les robots bien élevés suivent robots.txt ; certains fetchers et scrapers non.
- La liste de bots reflète les jetons documentés publiquement au moment de la vérification et évoluera à mesure que les fournisseurs ajoutent ou renomment des robots.
- Autoriser un robot ne garantit pas une citation : cela ne fait que lever la barrière.
Questions fréquentes
- J'ai bloqué GPTBot. Suis-je hors de ChatGPT ?
- Non. GPTBot est le robot d'entraînement d'OpenAI. La recherche de ChatGPT utilise OAI-SearchBot, et les requêtes demandées par l'utilisateur utilisent ChatGPT-User. Bloquer GPTBot vous exclut seulement de la collecte de données d'entraînement.
- Que fait Google-Extended ?
- Google-Extended est un jeton de contrôle, pas un robot. Il régit l'utilisation de votre contenu pour entraîner et fonder Gemini. Il n'affecte pas le classement dans la recherche Google ni les aperçus IA, qui suivent Googlebot.
- Pourquoi les bots utilisateur sont-ils spéciaux ?
- Certains fournisseurs indiquent que les requêtes lancées par un utilisateur — par exemple coller un lien dans un chat — peuvent ne pas être régies par robots.txt. Nous les signalons pour que vous compreniez le compromis de les bloquer.
- Un 5xx sur robots.txt bloque-t-il l'exploration ?
- Oui. Selon la RFC 9309, un 5xx ou 429 persistant sur robots.txt fait que les robots considèrent tout le site comme interdit. Une erreur serveur accidentelle peut donc vous désindexer.
- Dois-je bloquer les robots IA ?
- C'est un choix de politique. Beaucoup d'éditeurs bloquent les robots d'entraînement pour protéger leur contenu tout en laissant les moteurs de réponse autorisés pour rester citables. Cet outil rend ce compromis explicite.
Arrêtez de vérifier à la main. Mettez le SEO en pilote automatique.
Autoranko recherche des mots-clés, rédige des articles d'expert dans votre langue, les publie et surveille si les assistants IA vous citent, à partir d'un forfait gratuit.
Dans le glossaire
Outils associés
Audit de préparation GEO
Évaluez à quel point une page est prête à être trouvée, lue et citée par les moteurs de réponse IA.
Ouvrir l'outilTesteur de robots.txt
Testez si un robot est autorisé sur un chemin, avec la règle exacte qui décide.
Ouvrir l'outilGénérateur de llms.txt
Créez un fichier llms.txt qui pointe les modèles IA vers vos pages les plus importantes.
Ouvrir l'outil