Glosario
Rastreador de IA
Actualizado el 8 de noviembre de 2026
Definición
Un rastreador de IA es un cliente automatizado que descarga páginas web para una empresa de IA: para reunir datos de entrenamiento, para indexar páginas de un producto de búsqueda con IA o para leer una página en el momento en que un usuario pregunta por ella a un asistente. Algunos ejemplos son GPTBot, OAI-SearchBot y ChatGPT-User de OpenAI, ClaudeBot de Anthropic y PerplexityBot.
Cómo funciona
La finalidad importa porque los proveedores publican identificadores de user-agent distintos para cada uso, y robots.txt puede tratarlos de forma diferente. Bloquear un rastreador de entrenamiento como GPTBot no bloquea OAI-SearchBot, que OpenAI utiliza para los resultados de búsqueda de ChatGPT. Google ofrece un token de control, Google-Extended, que permite a los sitios excluirse de algunos usos en sus modelos Gemini sin afectar al rastreo de la Búsqueda de Google. Los lectores que se activan por la petición de un usuario pueden no aplicar robots.txt del mismo modo, como explica la documentación de cada proveedor.
Antes de decidir, comprueba qué permite de verdad tu servidor: los cortafuegos y los servicios de protección contra bots a veces bloquean rastreadores de IA que robots.txt autoriza, o al revés. Verifica las peticiones con los rangos de IP que publican los proveedores y no solo con el user-agent, que cualquiera puede falsificar. Permitir los rastreadores de los motores de respuesta es requisito para que te citen con un enlace; bloquear los de entrenamiento es una decisión de negocio distinta, y no borra lo que los modelos existentes ya aprendieron.
Para revisar tu configuración actual, prueba robots.txt con cada user-agent de IA que te interese y luego pide una página con esa misma cadena de user-agent para ver si tu cortafuegos o tu CDN responde algo distinto de lo que permite el archivo.
Ponlo en práctica
Comprobador de rastreadores de IA
Ve qué rastreadores de IA y búsqueda pueden acceder a una URL y a cuáles bloqueas sin querer.
Fuentes
- Overview of OpenAI crawlers(se abre en una pestaña nueva)
OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler?(se abre en una pestaña nueva)
Claude Help Center
- Google's common crawlers(se abre en una pestaña nueva)
Google Crawling Infrastructure
- Perplexity crawlers(se abre en una pestaña nueva)
Perplexity
- RFC 9309: Robots Exclusion Protocol(se abre en una pestaña nueva)
IETF
Todos los enlaces se comprobaron el 8 de noviembre de 2026.
Términos relacionados
Los 46 términos¿La IA ya menciona tu marca?
Haz a ChatGPT y a Claude una pregunta de comprador con la comprobación gratuita de respuestas de IA y sigue después las respuestas en el tiempo con una cuenta gratuita de Autoranko.