autoranko
Rastreo e indexación · Gratis

Generador de robots.txt

Elige si permites o bloqueas el rastreo, añade las rutas a bloquear, apunta a tu sitemap y toca los rastreadores de IA que quieras bloquear. La herramienta escribe un robots.txt válido RFC 9309 en tu navegador que puedes copiar o descargar: nada se envía a un servidor.

Rastreadores de IA a bloquear

Motores de respuesta y búsqueda

Peticiones iniciadas por el usuario

Rastreadores de entrenamiento

Tokens de control

Toca un rastreador para añadirle un grupo Disallow. Bloquear un rastreador de entrenamiento (GPTBot) no bloquea a un motor de respuesta (OAI-SearchBot): son tokens distintos.

robots.txt
# robots.txt — generated with Autoranko's free generator

User-agent: *
Disallow:

Generado en tu navegador según la RFC 9309. Coloca el archivo en la raíz de tu dominio: https://tu-dominio/robots.txt. robots.txt controla el rastreo, no la indexación: usa meta robots o una cabecera HTTP para mantener fuera de los resultados una página accesible.

Un buen robots.txt es corto y deliberado: da la bienvenida a los rastreadores que quieres, los mantiene fuera de las rutas que malgastan presupuesto de rastreo y apunta a tu sitemap. En la era de la IA también debe expresar una política sobre decenas de nuevos tokens de rastreador, cada uno con un propósito distinto.

Este generador hace explícitas esas decisiones. Toma su lista de rastreadores de IA del mismo registro que usa nuestro comprobador, agrupada por propósito, para que puedas bloquear los rastreadores de entrenamiento dejando libres a los motores de respuesta para que te citen, o al revés.

Cómo se arma el archivo

Todo se ejecuta en tu navegador. Partes de una base de permitir todo o bloquear todo para el grupo *. Permitir todo emite Disallow: sin valor (que lo permite todo) más las rutas concretas que añadas; bloquear todo emite Disallow: / para que ningún rastreador sin su propio grupo pueda acceder a nada.

Cada rastreador de IA que toques añade su propio grupo con Disallow: /. Los rastreadores se agrupan por propósito —motores de respuesta, fetchers iniciados por el usuario, rastreadores de entrenamiento y tokens de control— para que veas exactamente qué significa un bloqueo. Un token de control como Google-Extended nunca rastrea; añadirlo solo expresa una política de entrenamiento y grounding.

Por último, la herramienta añade un Crawl-delay opcional y tu línea Sitemap. La salida es un RFC 9309 válido que copias o descargas y colocas en la raíz de tu dominio. Prueba el resultado con nuestro Probador de robots.txt antes de desplegarlo.

ComprobaciónQué significa y el umbral exacto
Política basePermitir todo (Disallow: vacío) o bloquear todo (Disallow: /) para el grupo *.
Rutas DisallowUna línea Disallow por cada ruta que introduzcas, normalizada para empezar por /.
Grupos de rastreadores de IAUn grupo Disallow: / por cada token de rastreador que elijas bloquear.
Crawl-delayUna directiva Crawl-delay opcional en segundos (Googlebot la ignora).
SitemapUna línea Sitemap: que apunta a los rastreadores a tu índice de sitemaps.

Límites y advertencias honestas

  • robots.txt controla el rastreo, no la indexación. Para mantener fuera de la búsqueda una página accesible, usa una meta noindex o la cabecera X-Robots-Tag.
  • Bloquear a los rastreadores que se portan bien funciona; no detiene a los que ignoran robots.txt.
  • Algunos fetchers iniciados por el usuario pueden ignorar robots.txt por la política de su proveedor, así que un bloqueo no es garantía.
  • Coloca el archivo en la raíz del dominio; un robots.txt en un subdirectorio no tiene efecto.

Preguntas frecuentes

¿Esto bloqueará mi sitio en Google?
Solo si eliges bloquear todo o añades Googlebot. La base de permitir todo da la bienvenida a los rastreadores de búsqueda; los grupos de IA son opcionales y están separados de la Búsqueda de Google.
¿Bloquear GPTBot afecta a la búsqueda de ChatGPT?
No. GPTBot es solo de entrenamiento. Para afectar a la búsqueda de ChatGPT bloquearías OAI-SearchBot, que el generador lista en motores de respuesta.
¿Dónde va el archivo?
En la raíz de tu dominio: https://tu-dominio/robots.txt. Debe estar en la raíz para surtir efecto.
¿Se respeta Crawl-delay?
Algunos rastreadores lo respetan; Googlebot no y usa sus propios controles de ritmo de rastreo. Inclúyelo solo si un rastreador concreto que te importa lo admite.
¿Puedo bloquear la IA pero mantener Google?
Sí, es la configuración habitual. Deja la base de permitir todo para Googlebot y añade los rastreadores de entrenamiento de IA que quieras excluir.
¿Puedo combinar una línea de sitemap con bloqueos de IA?
Sí, y deberías. La directiva Sitemap se aplica a todo el archivo sin importar los grupos de user-agent, así que sigue ayudando a los rastreadores de búsqueda a encontrar tus páginas aunque haya grupos separados que bloqueen rastreadores de entrenamiento de IA. El generador siempre añade la línea Sitemap al final para que todos los rastreadores la vean.

Deja de comprobar a mano. Pon el SEO en piloto automático.

Autoranko investiga palabras clave, escribe artículos expertos en tu idioma, los publica y vigila si los asistentes de IA te citan, empezando con un plan gratuito.

En el glosario

Herramientas relacionadas