autoranko

Glosario

robots.txt

Actualizado el 8 de noviembre de 2026

Definición

robots.txt es un archivo de texto plano situado en la raíz de un sitio web (/robots.txt) que indica a los rastreadores qué rutas pueden o no pueden solicitar, mediante grupos de reglas por user-agent. Lo define el protocolo de exclusión de robots, estandarizado como RFC 9309 en 2022; controla el rastreo y no la indexación, y su cumplimiento es voluntario.

Cómo funciona

Cada grupo empieza con una o varias líneas User-agent seguidas de reglas Allow y Disallow; gana la ruta coincidente más específica, y un rastreador solo obedece el grupo más específico que lo nombra. Una línea Sitemap puede señalar tus sitemaps XML. Como una página bloqueada puede indexarse igualmente a partir de los enlaces que apuntan a ella, usa una directiva noindex, y no robots.txt, para mantener una página fuera de los resultados.

robots.txt es también el lugar donde los sitios expresan su política ante los rastreadores de IA, que publican identificadores distintos para entrenamiento, búsqueda y lecturas solicitadas por usuarios. Los errores habituales son bloquear CSS o JavaScript que las páginas necesitan para renderizarse, dejar en producción el Disallow: / de un entorno de pruebas y suponer que robots.txt oculta contenido privado. El archivo es público, así que nunca enumeres en él rutas secretas y protege las páginas privadas con autenticación.

Prueba los cambios antes de publicarlos: un comprobador de robots.txt muestra qué regla coincide con un user-agent y una ruta dados, y el informe de robots.txt de Search Console muestra la versión que Google descargó por última vez y los errores de análisis.

Ponlo en práctica

Generador de robots.txt

Crea un robots.txt válido en tu navegador, con grupos para bloquear rastreadores de IA.

Abrir la herramienta gratuita

Fuentes

  1. RFC 9309: Robots Exclusion Protocol(se abre en una pestaña nueva)

    IETF

  2. Robots.txt introduction and guide(se abre en una pestaña nueva)

    Google Search Central

  3. How Google interprets the robots.txt specification(se abre en una pestaña nueva)

    Google Crawling Infrastructure

  4. robots.txt(se abre en una pestaña nueva)

    Wikipedia

Todos los enlaces se comprobaron el 8 de noviembre de 2026.

Los 46 términos

¿La IA ya menciona tu marca?

Haz a ChatGPT y a Claude una pregunta de comprador con la comprobación gratuita de respuestas de IA y sigue después las respuestas en el tiempo con una cuenta gratuita de Autoranko.