autoranko
Búsqueda con IA y GEO · Gratis

Comprobador de rastreadores de IA

Esta herramienta lee el robots.txt de un sitio y las directivas de la propia página, y te dice —rastreador por rastreador— quién puede acceder a una URL. Separa los motores de respuesta de los de entrenamiento para que puedas bloquear el entrenamiento de modelos sin cerrarte sin querer la búsqueda con IA.

Decenas de rastreadores de IA y de búsqueda recorren hoy la web, cada uno con su token de robots.txt y su propósito. Solo OpenAI usa tres: OAI-SearchBot muestra enlaces en la búsqueda de ChatGPT, ChatGPT-User descarga una página cuando un usuario la pide y GPTBot recopila datos de entrenamiento. Bloquear al equivocado tiene consecuencias muy distintas, y la mayoría de los propietarios no sabe qué hace cada token.

Este comprobador evalúa tus reglas como lo haría un rastreador que las respeta, agrupa los bots por propósito y explica cada veredicto según la documentación del propio proveedor.

Cómo se determina el acceso

Descargamos /robots.txt una vez y lo analizamos según la RFC 9309: un rastreador obedece el grupo que nombra su token (sin distinguir mayúsculas), recurre al grupo * si no hay coincidencia, y dentro de un grupo gana la regla Allow o Disallow más larga, con * y $ como comodines. Luego descargamos la propia página y leemos su meta robots y la cabecera X-Robots-Tag, porque una página puede ser rastreable y a la vez tener noindex.

Cada rastreador se clasifica en uno de cuatro grupos: motor de respuesta (indexa páginas que citan las respuestas de IA), petición de usuario (carga una página porque un usuario la pidió), entrenamiento (recopila contenido para entrenar modelos) y token de control (nunca rastrea; solo indica cómo puede usarse el contenido, siendo Google-Extended el ejemplo clásico). Puntuamos los motores de respuesta aparte de los de entrenamiento para que un bloqueo en un grupo nunca se confunda con el otro.

El resultado muestra un veredicto por rastreador para la ruta exacta que indiques, más notas en lenguaje claro: por qué un fetcher iniciado por el usuario puede ignorar robots.txt, por qué bloquear GPTBot no afecta a la búsqueda de ChatGPT, y qué controla realmente Google-Extended (entrenamiento y grounding de Gemini, no la Búsqueda de Google ni los resúmenes con IA).

ComprobaciónQué significa y el umbral exacto
Estado de robots.txtSi /robots.txt devuelve 200 (analizado), un 4xx (se trata como 'rastrea todo') o un 5xx/429 (RFC 9309: asumir que todo está prohibido).
Motores de respuesta y búsquedaSi OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot, Applebot y DuckAssistBot pueden rastrear la URL.
Peticiones iniciadas por el usuarioSi ChatGPT-User, Perplexity-User, Claude-User y meta-externalfetcher están bloqueados; algunos proveedores dicen que robots.txt puede no aplicar a estos.
Entrenamiento y tokens de controlEl estado de política de GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, cohere-ai, Applebot-Extended y Google-Extended.
Directivas de páginameta robots y X-Robots-Tag, incluidos noindex y nosnippet, que deja el texto fuera de los resúmenes con IA.

Límites y advertencias honestas

  • Leemos robots.txt desde una IP de servidor. Los sitios que varían las reglas por rastreador, rango de IP o geografía pueden mostrar a los bots reales algo distinto.
  • Un veredicto refleja las reglas, no si un rastreador las obedece. Los rastreadores que se portan bien siguen robots.txt; algunos fetchers y scrapers no.
  • La lista de bots refleja los tokens documentados públicamente en el momento de la comprobación y cambiará a medida que los proveedores añadan o renombren rastreadores.
  • Permitir a un rastreador no garantiza una cita: solo elimina la barrera.

Preguntas frecuentes

Bloqueé GPTBot. ¿Estoy fuera de ChatGPT?
No. GPTBot es el rastreador de entrenamiento de OpenAI. La búsqueda de ChatGPT usa OAI-SearchBot, y las descargas pedidas por el usuario usan ChatGPT-User. Bloquear GPTBot solo te excluye de la recopilación de datos de entrenamiento.
¿Qué hace Google-Extended?
Google-Extended es un token de control, no un rastreador. Regula si tu contenido se usa para entrenar y fundamentar Gemini. No afecta al posicionamiento en la Búsqueda de Google ni a los resúmenes con IA, que siguen a Googlebot.
¿Por qué son especiales los bots de usuario?
Algunos proveedores indican que las descargas iniciadas por un usuario —por ejemplo, pegar un enlace en un chat— pueden no regirse por robots.txt. Las señalamos para que entiendas el compromiso de bloquearlas.
¿Un 5xx en robots.txt bloquea el rastreo?
Sí. Según la RFC 9309, un 5xx o 429 persistente en robots.txt hace que los rastreadores asuman que todo el sitio está prohibido. Un error de servidor accidental puede, por tanto, desindexarte.
¿Debería bloquear los rastreadores de IA?
Es una decisión de política. Muchos editores bloquean los rastreadores de entrenamiento para proteger su contenido manteniendo permitidos los motores de respuesta para seguir siendo citables. Esta herramienta hace explícito ese compromiso.

Deja de comprobar a mano. Pon el SEO en piloto automático.

Autoranko investiga palabras clave, escribe artículos expertos en tu idioma, los publica y vigila si los asistentes de IA te citan, empezando con un plan gratuito.

En el glosario

Herramientas relacionadas