autoranko
Exploration et indexation · Gratuit

Testeur de robots.txt

Saisissez une URL ou collez un robots.txt, choisissez un robot et un chemin, et ce testeur affiche le verdict exact — autorisé ou bloqué — et la règle précise qui l'a décidé, selon la RFC 9309 et le comportement de correspondance documenté par Google.

robots.txt paraît simple, mais ses règles de correspondance piègent presque tout le monde : groupes, noms de user-agent insensibles à la casse, priorité à la correspondance la plus longue, Allow l'emportant à égalité, et les jokers * et $. Un seul Disallow trop large peut retirer en silence toute une section de la recherche.

Ce testeur met en œuvre le protocole d'exclusion des robots avec exactitude, fait remonter les problèmes de syntaxe ligne par ligne et affiche une matrice de verdicts entre les principaux robots pour que vous confirmiez que votre intention correspond à la réalité.

Comment fonctionne la correspondance

Nous analysons le fichier en groupes de user-agent et en règles. Un robot obéit au groupe dont le jeton correspond à son nom sans tenir compte de la casse ; si aucun ne correspond, il se rabat sur le groupe *. Dans le groupe applicable, chaque motif Allow et Disallow est testé face au chemin et le motif le plus long qui correspond l'emporte, mesuré en caractères, jokers compris. Quand un Allow et un Disallow correspondent à longueur égale, Allow l'emporte : l'arbitrage documenté par Google.

Le joker * correspond à toute suite de caractères et un $ final ancre la fin du chemin. Une valeur Disallow vide ne correspond à rien (elle autorise tout), et /robots.txt est toujours autorisé. Seuls les 500 premiers Kio du fichier sont analysés, comme Google.

Au-delà de votre robot et chemin choisis, nous affichons une matrice de verdicts entre les principaux bots, listons chaque avertissement de syntaxe avec son numéro de ligne, signalons un Disallow: / sur tout le site dans le groupe * et faisons remonter les règles susceptibles de bloquer le CSS ou le JavaScript dont Google a besoin pour rendre vos pages.

VérificationCe que cela signifie et le seuil exact
Verdict Allow/DisallowSi le robot choisi peut accéder au chemin, avec la règle et la ligne exactes qui décident.
Priorité à la plus longueLa règle gagnante est choisie selon la longueur du motif ; Allow l'emporte à longueur égale.
Jokers * et $* correspond à tout caractère ; un $ final ancre la fin du chemin.
Avertissements de syntaxeFautes de frappe, directives mal placées et champs inconnus, chacun avec son numéro de ligne.
Blocage de tout le siteSignale un Disallow: / sous User-agent: * qui ferme la porte à tous les robots.
Ressources de renduAlerte quand des chemins CSS/JS sont bloqués, ce qui peut nuire au rendu par Google.
Sitemaps déclarésListe chaque ligne Sitemap: trouvée dans le fichier.

Limites et réserves honnêtes

  • robots.txt régit l'exploration, pas l'indexation. Une URL bloquée peut encore être indexée via des liens externes ; utilisez meta robots ou X-Robots-Tag pour empêcher l'indexation.
  • Nous téléchargeons depuis une IP. Les sites qui servent des robots.txt différents à différents robots peuvent se comporter autrement pour les bots eux-mêmes.
  • Seuls les 500 premiers Kio sont analysés, comme Google ; au-delà, tout est ignoré.
  • Crawl-delay est affiché mais Googlebot l'ignore, car il utilise sa propre logique de rythme d'exploration.

Questions fréquentes

Pourquoi ma page est-elle autorisée malgré un Disallow ?
Un Allow plus spécifique, ou un motif qui correspond sur une plus grande longueur, l'emporte. Le testeur affiche la règle exacte qui décide pour que vous voyiez laquelle a priorité.
Disallow retire-t-il une page de Google ?
Pas de façon fiable. robots.txt arrête l'exploration, mais une URL bloquée peut apparaître dans les résultats si d'autres pages la lient. Pour la retirer, autorisez l'exploration et ajoutez une directive noindex.
Les noms de user-agent sont-ils sensibles à la casse ?
Non. Les jetons correspondent sans tenir compte de la casse, donc « googlebot » et « Googlebot » sont identiques. Les chemins, eux, sont sensibles à la casse.
Que signifie Disallow: (vide) ?
Un Disallow vide ne correspond à rien, il autorise donc tout. C'est la façon standard de dire « ce robot peut accéder à tout le site ».
Dois-je bloquer le CSS et le JavaScript ?
En général non. Google a besoin de télécharger le CSS et le JS pour rendre et comprendre vos pages ; les bloquer peut nuire au classement. Le testeur signale ces règles.

Arrêtez de vérifier à la main. Mettez le SEO en pilote automatique.

Autoranko recherche des mots-clés, rédige des articles d'expert dans votre langue, les publie et surveille si les assistants IA vous citent, à partir d'un forfait gratuit.

Dans le glossaire

Outils associés