Générateur de robots.txt
Choisissez d'autoriser ou de bloquer l'exploration, ajoutez les chemins à bloquer, pointez vers votre sitemap et touchez les robots IA à bloquer. L'outil écrit un robots.txt valide RFC 9309 dans votre navigateur, que vous pouvez copier ou télécharger : rien n'est envoyé à un serveur.
Robots IA à bloquer
Moteurs de réponse et recherche
Requêtes lancées par l'utilisateur
Robots d'entraînement
Jetons de contrôle
Touchez un robot pour lui ajouter un groupe Disallow. Bloquer un robot d'entraînement (GPTBot) ne bloque pas un moteur de réponse (OAI-SearchBot) : ce sont des jetons distincts.
# robots.txt — generated with Autoranko's free generator
User-agent: *
Disallow:
Généré dans votre navigateur selon la RFC 9309. Placez le fichier à la racine de votre domaine : https://votre-domaine/robots.txt. robots.txt contrôle l'exploration, pas l'indexation : utilisez meta robots ou un en-tête HTTP pour garder hors des résultats une page accessible.
Un bon robots.txt est court et délibéré : il accueille les robots que vous voulez, les tient à l'écart des chemins qui gaspillent le budget d'exploration et pointe vers votre sitemap. À l'ère de l'IA, il doit aussi exprimer une politique sur des dizaines de nouveaux jetons de robots, chacun avec un objectif différent.
Ce générateur rend ces choix explicites. Il tire sa liste de robots IA du même registre que notre vérificateur, groupée par objectif, pour que vous puissiez bloquer les robots d'entraînement tout en laissant les moteurs de réponse libres de vous citer, ou l'inverse.
Comment le fichier est assemblé
Tout s'exécute dans votre navigateur. Vous partez d'une base « tout autoriser » ou « tout bloquer » pour le groupe *. « Tout autoriser » émet Disallow: sans valeur (ce qui autorise tout) plus les chemins précis que vous ajoutez ; « tout bloquer » émet Disallow: / pour qu'aucun robot sans son propre groupe ne puisse accéder à quoi que ce soit.
Chaque robot IA que vous touchez ajoute son propre groupe avec Disallow: /. Les robots sont groupés par objectif — moteurs de réponse, fetchers lancés par l'utilisateur, robots d'entraînement et jetons de contrôle — pour que vous voyiez exactement ce que signifie un blocage. Un jeton de contrôle comme Google-Extended n'explore jamais ; l'ajouter n'exprime qu'une politique d'entraînement et de grounding.
Enfin, l'outil ajoute un Crawl-delay facultatif et votre ligne Sitemap. La sortie est un RFC 9309 valide que vous copiez ou téléchargez et placez à la racine de votre domaine. Testez le résultat avec notre Testeur de robots.txt avant de le déployer.
| Vérification | Ce que cela signifie et le seuil exact |
|---|---|
| Politique de base | Tout autoriser (Disallow: vide) ou tout bloquer (Disallow: /) pour le groupe *. |
| Chemins Disallow | Une ligne Disallow par chemin saisi, normalisée pour commencer par /. |
| Groupes de robots IA | Un groupe Disallow: / pour chaque jeton de robot que vous choisissez de bloquer. |
| Crawl-delay | Une directive Crawl-delay facultative en secondes (ignorée par Googlebot). |
| Sitemap | Une ligne Sitemap: qui pointe les robots vers votre index de sitemaps. |
Limites et réserves honnêtes
- robots.txt contrôle l'exploration, pas l'indexation. Pour garder hors recherche une page accessible, utilisez une meta noindex ou l'en-tête X-Robots-Tag.
- Bloquer les robots bien élevés fonctionne ; cela n'arrête pas ceux qui ignorent robots.txt.
- Certains fetchers lancés par l'utilisateur peuvent ignorer robots.txt selon la politique de leur fournisseur, un blocage n'est donc pas une garantie.
- Placez le fichier à la racine du domaine ; un robots.txt dans un sous-répertoire n'a aucun effet.
Questions fréquentes
- Cela bloquera-t-il mon site sur Google ?
- Seulement si vous choisissez « tout bloquer » ou ajoutez Googlebot. La base « tout autoriser » accueille les robots de recherche ; les groupes IA sont optionnels et séparés de la recherche Google.
- Bloquer GPTBot affecte-t-il la recherche de ChatGPT ?
- Non. GPTBot sert uniquement à l'entraînement. Pour affecter la recherche de ChatGPT, vous bloqueriez OAI-SearchBot, que le générateur liste parmi les moteurs de réponse.
- Où va le fichier ?
- À la racine de votre domaine : https://votre-domaine/robots.txt. Il doit être à la racine pour prendre effet.
- Crawl-delay est-il respecté ?
- Certains robots le respectent ; Googlebot non et utilise ses propres contrôles de rythme. Ne l'incluez que si un robot précis qui vous importe le prend en charge.
- Puis-je bloquer l'IA mais garder Google ?
- Oui, c'est la configuration courante. Laissez la base « tout autoriser » pour Googlebot et ajoutez les robots d'entraînement IA que vous voulez exclure.
- Puis-je combiner une ligne sitemap avec des blocages IA ?
- Oui, et vous devriez. La directive Sitemap s'applique à tout le fichier quel que soit le groupe de user-agent, elle aide donc encore les robots de recherche à trouver vos pages même si des groupes distincts bloquent des robots d'entraînement IA. Le générateur ajoute toujours la ligne Sitemap à la fin pour que tous les robots la voient.
Arrêtez de vérifier à la main. Mettez le SEO en pilote automatique.
Autoranko recherche des mots-clés, rédige des articles d'expert dans votre langue, les publie et surveille si les assistants IA vous citent, à partir d'un forfait gratuit.
Dans le glossaire
Outils associés
Testeur de robots.txt
Testez si un robot est autorisé sur un chemin, avec la règle exacte qui décide.
Ouvrir l'outilVérificateur de robots IA
Voyez quels robots IA et de recherche peuvent accéder à une URL, et lesquels vous bloquez par erreur.
Ouvrir l'outilVérificateur de sitemap XML
Validez un sitemap ou un index XML : nombre d'URL, fraîcheur de lastmod, doublons et erreurs.
Ouvrir l'outil