Qué dicen a los rastreadores de IA los 500 dominios más populares de la web
Leímos el robots.txt del top 500 de Tranco el 8 de noviembre de 2026 y evaluamos 12 rastreadores de IA: quién bloquea GPTBot, ClaudeBot y la búsqueda con IA.
En resumen
- 241 de los 500 dominios sirvieron un robots.txt analizable; casi todos los demás son dominios de CDN, DNS o API sin sitio web.
- Bytespider es el token más bloqueado (27,4 %), seguido de CCBot (25,7 %). GPTBot y ClaudeBot están bloqueados en la raíz en el 22,4 % de los archivos.
- Los rastreadores de búsqueda se bloquean menos: OAI-SearchBot 12,9 %, Claude-SearchBot 14,1 %. 23 sitios bloquean GPTBot pero dejan pasar a OAI-SearchBot; ninguno hace lo contrario.
- 162 sitios (67,2 %) no bloquean ninguno de los 12 tokens en la raíz, y solo 88 (36,5 %) nombran alguno en sus reglas.
- 22 sitios bloquean los 12, sobre todo redes sociales y grandes plataformas; solo 10 archivos usan Content-Signal.
En esta página
- Por qué robots.txt es la palanca que cuenta frente a la IA
- Cómo recogimos los datos
- Qué devolvieron las 500 peticiones
- Con qué frecuencia se bloquea cada rastreador de IA
- Los sitios bloquean el entrenamiento más que la búsqueda
- La mayoría de las reglas no se escribieron para la IA
- Los sitios que bloquean a todos los rastreadores de IA
- Content-Signal todavía es raro
- La popularidad cambia poco
- Qué hacer con tu propio robots.txt
- Límites de este estudio
- Descarga los datos
- Preguntas frecuentes
- Datos en bruto
- Fuentes
Por qué robots.txt es la palanca que cuenta frente a la IA
Las empresas de IA que rastrean la web abierta publican los tokens de robots.txt que respetan, y la mayoría ya los separan por finalidad: un rastreador recoge datos de entrenamiento, otro construye un índice de búsqueda para respuestas con enlaces y un tercero abre una página cuando un usuario pregunta por ella. Esa separación permite decir «no entrenes con mis páginas» sin desaparecer de la búsqueda de ChatGPT ni de las respuestas de Claude, siempre que el robots.txt use los tokens correctos.
En Autoranko hacemos herramientas gratuitas que comprueban esto URL a URL, como el comprobador de rastreadores de IA. Antes de dar consejos, queríamos saber qué hacen de verdad los sitios grandes. Así que el 8 de noviembre de 2026 leímos los robots.txt de los 500 dominios más populares y los pasamos por el mismo analizador que usan nuestras herramientas.
Cómo recogimos los datos
- Lista: los 500 primeros dominios de la lista Tranco 94P72, generada el 7 de noviembre de 2026 con datos de CrUX, Farsight, Majestic, Cloudflare Radar, Cisco Umbrella del periodo 9 de octubre de 2026 – 7 de noviembre de 2026. Tranco clasifica dominios registrables: google.com cuenta una vez, no por separado www.google.com y mail.google.com.
- Petición: una petición a https://<dominio>/robots.txt por dominio, el 8 de noviembre de 2026 entre las 02:10 y las 02:12 UTC, con el agente de usuario
AutorankoResearch/1.0 (+https://autoranko.com/blog), como máximo 8 dominios a la vez, 8 segundos de tiempo de espera y hasta 5 redirecciones. Si un dominio no respondía en absoluto, probamos una vez www.<dominio> (23 dominios). - Analizador: la implementación de la RFC 9309 de Autoranko, el código de nuestro probador de robots.txt: gana la regla más larga que coincide, un Allow gana en caso de empate, los grupos del mismo token se combinan y un token sin grupo propio sigue a
User-agent: *. - Tokens: 12 tokens de productos de IA: GPTBot, OAI-SearchBot y ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot y Claude-User (Anthropic); PerplexityBot; Google-Extended; Applebot-Extended; CCBot (Common Crawl); Bytespider (ByteDance) y meta-externalagent (Meta).
- Veredictos para la raíz del sitio (/): bloqueado = las reglas que se aplican al token prohíben «/» (en la práctica,
Disallow: /); restringido en parte = «/» está permitido, pero al menos una ruta está prohibida (a menudo /search, /cart o /admin); permitido = no se aplica ninguna regla Disallow. Nombrado significa que el archivo tiene un grupo para ese token concreto.
Qué devolvieron las 500 peticiones
Solo la mitad de la lista tiene un sitio web con robots.txt en la raíz. La clasificación de Tranco se basa en parte en el tráfico DNS, así que los dominios de CDN, telemetría y API comparten lista con marcas conocidas.
| Resultado | Dominios |
|---|---|
| robots.txt analizado | 241 |
| Página HTML en lugar de robots.txt | 35 |
| Error 4xx (sin robots.txt; 26 nos rechazaron con 401, 403 o 418) | 73 |
| Sin respuesta (DNS, TLS, tiempo agotado, 5xx; 112 por DNS) | 151 |
El análisis que sigue usa los 241 archivos analizados. Quedan fuera los 35 dominios que devolvieron una página HTML en vez de un robots.txt (un rastreador no encontraría reglas y lo rastrearía todo) y los 26 que rechazaron nuestro rastreador: no podemos saber qué le enseñarían a GPTBot.
Con qué frecuencia se bloquea cada rastreador de IA
- Bloqueado
- Restringido en parte
- Permitido
- GPTBot54 (22,4 %)
- OAI-SearchBot31 (12,9 %)
- ChatGPT-User35 (14,5 %)
- ClaudeBot54 (22,4 %)
- Claude-SearchBot34 (14,1 %)
- Claude-User33 (13,7 %)
- PerplexityBot45 (18,7 %)
- Google-Extended50 (20,7 %)
- Applebot-Extended47 (19,5 %)
- CCBot62 (25,7 %)
- Bytespider66 (27,4 %)
- meta-externalagent51 (21,2 %)
Datos recogidos el 8 de noviembre de 2026. Fuente: lista Tranco 94P72, 500 primeros dominios.
| Token | Empresa | Finalidad | Bloqueado | En parte | Permitido | Nombrado |
|---|---|---|---|---|---|---|
GPTBot | OpenAI | Entrenamiento de IA | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) | 61 (25,3 %) |
OAI-SearchBot | OpenAI | Búsqueda con IA | 31 (12,9 %) | 174 (72,2 %) | 36 (14,9 %) | 44 (18,3 %) |
ChatGPT-User | OpenAI | Visita pedida por un usuario | 35 (14,5 %) | 170 (70,5 %) | 36 (14,9 %) | 47 (19,5 %) |
ClaudeBot | Anthropic | Entrenamiento de IA | 54 (22,4 %) | 151 (62,7 %) | 36 (14,9 %) | 59 (24,5 %) |
Claude-SearchBot | Anthropic | Búsqueda con IA | 34 (14,1 %) | 173 (71,8 %) | 34 (14,1 %) | 35 (14,5 %) |
Claude-User | Anthropic | Visita pedida por un usuario | 33 (13,7 %) | 174 (72,2 %) | 34 (14,1 %) | 31 (12,9 %) |
PerplexityBot | Perplexity | Búsqueda con IA | 45 (18,7 %) | 159 (66,0 %) | 37 (15,4 %) | 56 (23,2 %) |
Google-Extended | Token de control | 50 (20,7 %) | 154 (63,9 %) | 37 (15,4 %) | 58 (24,1 %) | |
Applebot-Extended | Apple | Token de control | 47 (19,5 %) | 161 (66,8 %) | 33 (13,7 %) | 41 (17,0 %) |
CCBot | Common Crawl | Entrenamiento de IA | 62 (25,7 %) | 147 (61,0 %) | 32 (13,3 %) | 53 (22,0 %) |
Bytespider | ByteDance | Entrenamiento de IA | 66 (27,4 %) | 145 (60,2 %) | 30 (12,4 %) | 50 (20,7 %) |
meta-externalagent | Meta | Entrenamiento de IA | 51 (21,2 %) | 160 (66,4 %) | 30 (12,4 %) | 38 (15,8 %) |
Bytespider es el token más bloqueado (27,4 % de los archivos), seguido de CCBot (25,7 %): los dos recogen datos para entrenar modelos y ninguno alimenta un producto de búsqueda al que el sitio pueda querer llegar. GPTBot y ClaudeBot están empatados con 54 bloqueos cada uno (22,4 %). El menos bloqueado es OAI-SearchBot (12,9 %). «Restringido en parte» es el estado más frecuente para todos los tokens, porque la mayoría de los archivos aparta unas pocas rutas de todos los rastreadores.
Los sitios bloquean el entrenamiento más que la búsqueda
| Empresa | Solo entrenamiento bloqueado | Solo búsqueda bloqueada | Ambos bloqueados |
|---|---|---|---|
| OpenAI (GPTBot / OAI-SearchBot) | 23 | 0 | 31 |
| Anthropic (ClaudeBot / Claude-SearchBot) | 20 | 0 | 34 |
23 sitios bloquean GPTBot y dejan pasar a OAI-SearchBot, y 20 bloquean ClaudeBot y permiten Claude-SearchBot. Ningún sitio de la muestra hizo lo contrario. Entre ellos están whatsapp.net, whatsapp.com, yahoo.com, t-online.de, snapchat.com, gravatar.com, flickr.com, ebay.com. OpenAI documenta los dos ajustes como independientes: prohibir GPTBot indica que el contenido no debe usarse para entrenar sus modelos fundacionales, mientras que los sitios que excluyen a OAI-SearchBot no aparecen en las respuestas de la búsqueda de ChatGPT. Anthropic traza la misma línea entre ClaudeBot (entrenamiento) y Claude-SearchBot (calidad de la búsqueda).
En total, 31 sitios bloquean al menos un rastreador de entrenamiento o un token de control, pero ningún rastreador de búsqueda ni visitante a petición del usuario. 47 bloquean al menos uno de OAI-SearchBot, Claude-SearchBot o PerplexityBot.
Google-Extended (20,7 % bloqueado) y Applebot-Extended (19,5 %) no son rastreadores sino tokens de control. Google dice que Google-Extended no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento, y Apple dice que las páginas que prohíben Applebot-Extended pueden seguir apareciendo en sus resultados de búsqueda. Bloquearlos es una decisión sobre el entrenamiento y el grounding de la IA, no sobre la búsqueda.
La mayoría de las reglas no se escribieron para la IA
88 de los 241 archivos (36,5 %) nombran al menos uno de los 12 tokens; los otros 153 dejan a todos los rastreadores de IA en manos del grupo User-agent: *. En el caso de GPTBot, 36 de sus 54 bloqueos vienen de un grupo que lo nombra; los otros 18 vienen de un User-agent: * que lo bloquea todo.
- GPTBot61 (25,3 %)
- ClaudeBot59 (24,5 %)
- Google-Extended58 (24,1 %)
- PerplexityBot56 (23,2 %)
- CCBot53 (22,0 %)
- Bytespider50 (20,7 %)
- ChatGPT-User47 (19,5 %)
- OAI-SearchBot44 (18,3 %)
- Applebot-Extended41 (17,0 %)
- meta-externalagent38 (15,8 %)
- Claude-SearchBot35 (14,5 %)
- Claude-User31 (12,9 %)
Un token sin grupo propio sigue las reglas de User-agent: *.
7 sitios hacen lo contrario: lo prohíben todo para User-agent: * y abren la puerta a rastreadores de IA concretos. Son netflix.com, flickr.com, sciencedirect.com, linktr.ee, reuters.com, trustpilot.com, wsj.com.
Los sitios que bloquean a todos los rastreadores de IA
22 sitios bloquean los 12 tokens en la raíz: facebook.com, fbcdn.net, gstatic.com, instagram.com, twitter.com, googlevideo.com, x.com, pinterest.com, tiktok.com, baidu.com, msn.com, reddit.com, registrar-servers.com, skybridge.click, nytimes.com, t.co, imdb.com, demdex.net, weibo.com, cookiedatabase.org, netcraze.io, kwai.net. La mayoría son redes sociales y grandes plataformas, junto a dominios técnicos de recursos y seguimiento y un gran periódico. 3 de ellos (tiktok.com, msn.com, nytimes.com) nombran uno a uno a los rastreadores de IA; el resto lo consigue prohibiendo todo a todos los rastreadores sin grupo propio. En total, 26 archivos prohíben el sitio entero en User-agent: *.
Content-Signal todavía es raro
La propuesta Content-Signal de Cloudflare añade al robots.txt una línea legible por máquinas como Content-Signal: search=yes, ai-train=no. 10 de los 241 archivos (4,1 %) la incluyen y 6 de ellos dicen ai-train=no. Expresa una preferencia sobre el uso, no una regla de acceso: nuestro analizador la ignora al decidir qué se puede rastrear.
La popularidad cambia poco
| Posición | Dominios | robots.txt analizado | GPTBot bloqueado | Nombran un token de IA |
|---|---|---|---|---|
| 1–100 | 100 | 53 | 15 (28,3 %) | 19 (35,8 %) |
| 101–250 | 150 | 72 | 16 (22,2 %) | 27 (37,5 %) |
| 251–500 | 250 | 116 | 23 (19,8 %) | 42 (36,2 %) |
Los 100 primeros bloquean GPTBot algo más a menudo (28,3 %) que los puestos 251–500 (19,8 %), pero los grupos son pequeños: la diferencia es de unos pocos sitios, así que conviene no sacar conclusiones.
Qué hacer con tu propio robots.txt
- Decide por finalidad, no por empresa. Entrenamiento, búsqueda y visitas pedidas por un usuario usan tokens distintos; trátalos como tres decisiones.
- Si quieres que te citen, no bloquees los rastreadores de búsqueda: OAI-SearchBot, Claude-SearchBot y PerplexityBot. Mantén abiertos también Googlebot y Bingbot, porque AI Overviews y Copilot responden desde esos índices.
- Bloquear GPTBot o ClaudeBot es una opción legítima y, según la documentación de OpenAI y Anthropic, no te saca de sus funciones de búsqueda.
- Nombra los tokens que quieres decir. Un bloqueo amplio en
User-agent: *atrapa también a los rastreadores de IA que quizá quieres, y un token que no nombras sigue al grupo*. - robots.txt es una petición, no un candado. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User porque la visita la pide un usuario. Si necesitas imponerlo, bloquea en el servidor o en la CDN.
- Comprueba los cambios. OpenAI indica que sus sistemas pueden tardar unas 24 horas en adaptarse a un robots.txt nuevo. Prueba cada URL importante con el comprobador de rastreadores de IA.
Límites de este estudio
- Tranco clasifica dominios registrables con señales de popularidad que incluyen tráfico DNS, así que los 500 primeros incluyen dominios de CDN, API y telemetría sin sitio web. Cuentan en los totales y salen del análisis de robots.txt.
- Cada robots.txt se pidió una vez, desde una sola máquina en Europa y con nuestro propio agente de usuario. Los sitios que sirven reglas distintas según el rastreador o la región pueden enseñar otras reglas a los rastreadores reales. Un 403 o una página de verificación mostrada a nosotros se registra como tal y se excluye.
- Solo evaluamos la raíz del sitio. «Restringido en parte» abarca desde una sola ruta /search prohibida hasta grandes zonas privadas.
- robots.txt expresa una petición, no un control de acceso: no demuestra que un rastreador la cumpla, y algunas empresas dicen que sus visitas pedidas por usuarios pueden ignorarla.
Descarga los datos
Los resultados en bruto, con cada dominio, el resultado de la petición y el veredicto de cada token, están en ai-crawlers-2026-11.json (171,6 KB, en inglés). Si los reutilizas, cita la lista Tranco: Le Pochat et al., «Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation», NDSS 2019.
Preguntas frecuentes
¿Bloquear GPTBot saca mi sitio de la búsqueda de ChatGPT?
No, según OpenAI. GPTBot recoge datos de entrenamiento; la búsqueda de ChatGPT usa OAI-SearchBot. OpenAI documenta los dos ajustes como independientes, y en nuestra muestra 23 sitios bloquean GPTBot y permiten OAI-SearchBot.
¿Qué significa «restringido en parte» en este estudio?
La raíz del sitio está permitida para ese rastreador, pero se le aplica al menos una regla Disallow: desde una sola ruta /search hasta una zona privada grande. Es el estado más común porque casi todos los robots.txt apartan unas cuantas rutas de todos los rastreadores.
¿Por qué solo se analizaron 241 de los 500 dominios?
Tranco clasifica dominios registrables con señales que incluyen tráfico DNS, así que los 500 primeros contienen muchos dominios de CDN, API y telemetría sin web. Analizamos todos los dominios que sirvieron un robots.txt analizable; los 259 restantes figuran en el conjunto de datos con su resultado.
¿Basta robots.txt para dejar fuera a los rastreadores de IA?
Es una petición, no un control de acceso. Las grandes empresas documentan que sus rastreadores la respetan, pero algunas dicen que las visitas pedidas por usuarios pueden no hacerlo, y un rastreador desconocido puede ignorarla. Si necesitas imponerlo, bloquea en el servidor o en la CDN.
¿Cómo compruebo mi propio robots.txt?
Pega tu URL en nuestro comprobador de rastreadores de IA: aplica el mismo analizador a 22 tokens de rastreadores y muestra la regla que decide cada uno.
Datos en bruto
- ai-crawlers-2026-11.json
JSON, 171,6 KB, recogidos el 8 de noviembre de 2026
Fuentes
Pregunta a un asistente de IA sobre este artículo
Cada enlace abre el asistente en una pestaña nueva con una pregunta sobre este artículo. Según el asistente, la pregunta queda escrita o se envía al momento; solo se pasan la pregunta y la dirección de esta página.
Cómo se hizo este artículo
Autoranko Research recogió los datos el 8 de noviembre de 2026 con el método descrito arriba. El texto se redactó con ayuda de IA y cada cifra se genera a partir del conjunto de datos publicado, así que las tablas y las frases no pueden contradecirse.
Avisar de un errorHerramientas gratuitas sobre este tema
- Comprobador de rastreadores de IAVe qué rastreadores de IA y búsqueda pueden acceder a una URL y a cuáles bloqueas sin querer.Abrir la herramienta
- Probador de robots.txtPrueba si un rastreador puede acceder a cualquier ruta, con la regla exacta que decide.Abrir la herramienta
- Generador de robots.txtCrea un robots.txt válido en tu navegador, con grupos para bloquear rastreadores de IA.Abrir la herramienta
- Auditoría de preparación GEOPuntúa cuán lista está una página para que los motores de respuesta la encuentren, lean y citen.Abrir la herramienta