Glossaire
Exploration (crawl)
Mis à jour le 8 novembre 2026
Définition
L'exploration, ou crawl, est la façon dont les moteurs de recherche et d'autres systèmes automatisés découvrent et téléchargent des pages web : un programme appelé robot, crawler ou bot suit les liens et les sitemaps, demande des URL et transmet ce qu'il récupère pour traitement. Le principal robot de Google est Googlebot. Une page qui n'est pas explorée ne peut être ni indexée ni classée.
Comment ça marche
Les robots trouvent des URL dans les liens des pages qu'ils connaissent déjà, dans les sitemaps XML et dans d'autres signaux, puis décident à quelle fréquence revenir sur chaque site selon sa vitesse de réponse et la valeur apparente de ses pages. Googlebot affiche les pages avec une version récente de Chrome : il voit donc le contenu ajouté par JavaScript, même si cela demande plus de travail et peut prendre du retard. Avant de récupérer une URL, les robots respectueux lisent robots.txt pour savoir quels chemins ils peuvent demander.
La plupart des problèmes d'exploration sont auto-infligés : des pages importantes vers lesquelles aucun lien ne pointe, des liens cachés derrière des scripts ou des formulaires, des serveurs lents ou en erreur, des variations d'URL infinies dues aux filtres et paramètres, et des règles robots qui bloquent des ressources nécessaires à l'affichage. Les journaux du serveur montrent ce que demandent réellement les robots, et les statistiques d'exploration de Search Console résument l'activité de Googlebot. Les entreprises d'IA utilisent leurs propres robots, qui suivent des règles similaires sous d'autres noms de user-agent.
Un contrôle rapide consiste à comparer les URL de votre sitemap avec celles que les robots ont réellement demandées au cours du dernier mois : les pages listées mais jamais récupérées ont généralement besoin de davantage de liens internes.
Passez à la pratique
Testeur de robots.txt
Testez si un robot est autorisé sur un chemin, avec la règle exacte qui décide.
Sources
- In-depth guide to how Google Search works(s'ouvre dans un nouvel onglet)
Google Search Central
- What is Googlebot(s'ouvre dans un nouvel onglet)
Google Search Central
- Google crawler (user agent) overview(s'ouvre dans un nouvel onglet)
Google Crawling Infrastructure
- Web crawler(s'ouvre dans un nouvel onglet)
Wikipedia
Chaque lien a été vérifié le 8 novembre 2026.
Termes associés
Les 46 termesL'IA cite-t-elle déjà votre marque ?
Posez à ChatGPT et à Claude une question d'acheteur avec le test gratuit des réponses IA, puis suivez les réponses dans la durée avec un compte Autoranko gratuit.