autoranko
Rastreo e indexación · Gratis

Probador de robots.txt

Introduce una URL o pega un robots.txt, elige un rastreador y una ruta, y este probador muestra el veredicto exacto —permitido o bloqueado— y la regla precisa que lo decidió, siguiendo la RFC 9309 y el comportamiento de coincidencia documentado por Google.

robots.txt parece sencillo, pero sus reglas de coincidencia confunden a casi todo el mundo: grupos, nombres de user-agent sin distinción de mayúsculas, prioridad de la coincidencia más larga, Allow ganando los empates y los comodines * y $. Un único Disallow demasiado amplio puede eliminar en silencio una sección entera de la búsqueda.

Este probador implementa el Protocolo de Exclusión de Robots con exactitud, saca a la luz los problemas de sintaxis línea a línea y muestra una matriz de veredictos entre los principales rastreadores para que confirmes que tu intención coincide con la realidad.

Cómo funciona la coincidencia

Analizamos el archivo en grupos de user-agent y reglas. Un rastreador obedece el grupo cuyo token coincide con su nombre sin distinguir mayúsculas; si ninguno coincide, recurre al grupo *. Dentro del grupo aplicable, cada patrón Allow y Disallow se prueba contra la ruta y gana el patrón más largo que coincida, medido en caracteres incluidos los comodines. Cuando un Allow y un Disallow coinciden con la misma longitud, gana Allow: el desempate documentado por Google.

El comodín * coincide con cualquier secuencia de caracteres y un $ final ancla el fin de la ruta. Un valor Disallow vacío no coincide con nada (lo permite todo), y /robots.txt siempre está permitido. Solo se analizan los primeros 500 KiB del archivo, igual que Google.

Además de tu rastreador y ruta elegidos, mostramos una matriz de veredictos entre los principales bots, enumeramos cada aviso de sintaxis con su número de línea, señalamos un Disallow: / de todo el sitio en el grupo * y sacamos a la luz reglas que puedan bloquear el CSS o el JavaScript que Google necesita para renderizar tus páginas.

ComprobaciónQué significa y el umbral exacto
Veredicto Allow/DisallowSi el rastreador elegido puede acceder a la ruta, con la regla y la línea exactas que deciden.
Prioridad de coincidencia más largaLa regla ganadora se elige por la longitud del patrón; Allow gana los empates de igual longitud.
Comodines * y $* coincide con cualquier carácter; un $ final ancla el fin de la ruta.
Avisos de sintaxisErratas, directivas mal colocadas y campos desconocidos, cada uno con su número de línea.
Bloqueo de todo el sitioSeñala un Disallow: / en User-agent: * que cierra la puerta a todos los rastreadores.
Recursos de renderizadoAvisa cuando se bloquean rutas de CSS/JS, lo que puede dañar cómo renderiza Google las páginas.
Sitemaps declaradosEnumera cada línea Sitemap: encontrada en el archivo.

Límites y advertencias honestas

  • robots.txt rige el rastreo, no la indexación. Una URL bloqueada aún puede indexarse desde enlaces externos; usa meta robots o X-Robots-Tag para impedir la indexación.
  • Descargamos desde una IP. Los sitios que sirven robots.txt distintos a distintos rastreadores pueden comportarse de otro modo para los propios bots.
  • Solo se analizan los primeros 500 KiB, como hace Google; lo que sobra se ignora.
  • Crawl-delay se muestra pero Googlebot lo ignora, pues usa su propia lógica de ritmo de rastreo.

Preguntas frecuentes

¿Por qué mi página está permitida si añadí un Disallow?
Un Allow más específico, o un patrón que coincide con mayor longitud, está ganando. El probador muestra la regla exacta que decide para que veas cuál tiene prioridad.
¿Disallow elimina una página de Google?
No de forma fiable. robots.txt detiene el rastreo, pero una URL bloqueada puede aparecer en resultados si otras páginas la enlazan. Para quitarla, permite el rastreo y añade una directiva noindex.
¿Los nombres de user-agent distinguen mayúsculas?
No. Los tokens coinciden sin distinguir mayúsculas, así que 'googlebot' y 'Googlebot' son lo mismo. Las rutas, en cambio, sí distinguen mayúsculas.
¿Qué significa Disallow: (vacío)?
Un Disallow vacío no coincide con nada, así que lo permite todo. Es la forma estándar de decir 'este rastreador puede acceder a todo el sitio'.
¿Debería bloquear CSS y JavaScript?
Por lo general no. Google necesita descargar CSS y JS para renderizar y entender tus páginas; bloquearlos puede dañar el posicionamiento. El probador señala esas reglas.

Deja de comprobar a mano. Pon el SEO en piloto automático.

Autoranko investiga palabras clave, escribe artículos expertos en tu idioma, los publica y vigila si los asistentes de IA te citan, empezando con un plan gratuito.

En el glosario

Herramientas relacionadas