Glossaire
robots.txt
Mis à jour le 8 novembre 2026
Définition
robots.txt est un fichier texte placé à la racine d'un site (/robots.txt) qui indique aux robots d'exploration quels chemins ils peuvent ou non demander, au moyen de groupes de règles par user-agent. Défini par le protocole d'exclusion des robots et normalisé sous le nom de RFC 9309 en 2022, il contrôle l'exploration et non l'indexation, et son respect est volontaire.
Comment ça marche
Chaque groupe commence par une ou plusieurs lignes User-agent suivies de règles Allow et Disallow ; le chemin correspondant le plus précis l'emporte, et un robot n'obéit qu'au groupe le plus spécifique qui le nomme. Une ligne Sitemap peut indiquer vos sitemaps XML. Comme une page bloquée peut quand même être indexée à partir des liens qui pointent vers elle, utilisez une directive noindex, et non robots.txt, pour l'exclure des résultats.
robots.txt est aussi l'endroit où les sites affichent leur politique envers les robots d'IA, qui publient des identifiants distincts pour l'entraînement, la recherche et les lectures déclenchées par un utilisateur. Les erreurs courantes : bloquer le CSS ou le JavaScript dont les pages ont besoin pour s'afficher, laisser en production le Disallow: / d'un site de préproduction, et croire que robots.txt cache un contenu privé. Le fichier est public : n'y listez jamais de chemins secrets et protégez les pages privées par une authentification.
Testez les modifications avant de les déployer : un testeur de robots.txt montre quelle règle s'applique à un user-agent et à un chemin donnés, et le rapport robots.txt de Search Console affiche la version que Google a récupérée en dernier ainsi que les éventuelles erreurs d'analyse.
Passez à la pratique
Générateur de robots.txt
Créez un robots.txt valide dans votre navigateur, avec des groupes de blocage des robots IA.
Sources
- RFC 9309: Robots Exclusion Protocol(s'ouvre dans un nouvel onglet)
IETF
- Robots.txt introduction and guide(s'ouvre dans un nouvel onglet)
Google Search Central
- How Google interprets the robots.txt specification(s'ouvre dans un nouvel onglet)
Google Crawling Infrastructure
- robots.txt(s'ouvre dans un nouvel onglet)
Wikipedia
Chaque lien a été vérifié le 8 novembre 2026.
Termes associés
Les 46 termesL'IA cite-t-elle déjà votre marque ?
Posez à ChatGPT et à Claude une question d'acheteur avec le test gratuit des réponses IA, puis suivez les réponses dans la durée avec un compte Autoranko gratuit.