autoranko
Estudio

Qué dicen a los rastreadores de IA los 500 dominios más populares de la web

Leímos el robots.txt del top 500 de Tranco el 8 de noviembre de 2026 y evaluamos 12 rastreadores de IA: quién bloquea GPTBot, ClaudeBot y la búsqueda con IA.

Por Autoranko Research10 min de lectura
Ver el Markdown

En resumen

  • 241 de los 500 dominios sirvieron un robots.txt analizable; casi todos los demás son dominios de CDN, DNS o API sin sitio web.
  • Bytespider es el token más bloqueado (27,4 %), seguido de CCBot (25,7 %). GPTBot y ClaudeBot están bloqueados en la raíz en el 22,4 % de los archivos.
  • Los rastreadores de búsqueda se bloquean menos: OAI-SearchBot 12,9 %, Claude-SearchBot 14,1 %. 23 sitios bloquean GPTBot pero dejan pasar a OAI-SearchBot; ninguno hace lo contrario.
  • 162 sitios (67,2 %) no bloquean ninguno de los 12 tokens en la raíz, y solo 88 (36,5 %) nombran alguno en sus reglas.
  • 22 sitios bloquean los 12, sobre todo redes sociales y grandes plataformas; solo 10 archivos usan Content-Signal.
En esta página
  1. Por qué robots.txt es la palanca que cuenta frente a la IA
  2. Cómo recogimos los datos
  3. Qué devolvieron las 500 peticiones
  4. Con qué frecuencia se bloquea cada rastreador de IA
  5. Los sitios bloquean el entrenamiento más que la búsqueda
  6. La mayoría de las reglas no se escribieron para la IA
  7. Los sitios que bloquean a todos los rastreadores de IA
  8. Content-Signal todavía es raro
  9. La popularidad cambia poco
  10. Qué hacer con tu propio robots.txt
  11. Límites de este estudio
  12. Descarga los datos
  13. Preguntas frecuentes
  14. Datos en bruto
  15. Fuentes

Por qué robots.txt es la palanca que cuenta frente a la IA

Las empresas de IA que rastrean la web abierta publican los tokens de robots.txt que respetan, y la mayoría ya los separan por finalidad: un rastreador recoge datos de entrenamiento, otro construye un índice de búsqueda para respuestas con enlaces y un tercero abre una página cuando un usuario pregunta por ella. Esa separación permite decir «no entrenes con mis páginas» sin desaparecer de la búsqueda de ChatGPT ni de las respuestas de Claude, siempre que el robots.txt use los tokens correctos.

En Autoranko hacemos herramientas gratuitas que comprueban esto URL a URL, como el comprobador de rastreadores de IA. Antes de dar consejos, queríamos saber qué hacen de verdad los sitios grandes. Así que el 8 de noviembre de 2026 leímos los robots.txt de los 500 dominios más populares y los pasamos por el mismo analizador que usan nuestras herramientas.

Cómo recogimos los datos

  • Lista: los 500 primeros dominios de la lista Tranco 94P72, generada el 7 de noviembre de 2026 con datos de CrUX, Farsight, Majestic, Cloudflare Radar, Cisco Umbrella del periodo 9 de octubre de 2026 – 7 de noviembre de 2026. Tranco clasifica dominios registrables: google.com cuenta una vez, no por separado www.google.com y mail.google.com.
  • Petición: una petición a https://<dominio>/robots.txt por dominio, el 8 de noviembre de 2026 entre las 02:10 y las 02:12 UTC, con el agente de usuario AutorankoResearch/1.0 (+https://autoranko.com/blog), como máximo 8 dominios a la vez, 8 segundos de tiempo de espera y hasta 5 redirecciones. Si un dominio no respondía en absoluto, probamos una vez www.<dominio> (23 dominios).
  • Analizador: la implementación de la RFC 9309 de Autoranko, el código de nuestro probador de robots.txt: gana la regla más larga que coincide, un Allow gana en caso de empate, los grupos del mismo token se combinan y un token sin grupo propio sigue a User-agent: *.
  • Tokens: 12 tokens de productos de IA: GPTBot, OAI-SearchBot y ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot y Claude-User (Anthropic); PerplexityBot; Google-Extended; Applebot-Extended; CCBot (Common Crawl); Bytespider (ByteDance) y meta-externalagent (Meta).
  • Veredictos para la raíz del sitio (/): bloqueado = las reglas que se aplican al token prohíben «/» (en la práctica, Disallow: /); restringido en parte = «/» está permitido, pero al menos una ruta está prohibida (a menudo /search, /cart o /admin); permitido = no se aplica ninguna regla Disallow. Nombrado significa que el archivo tiene un grupo para ese token concreto.

Qué devolvieron las 500 peticiones

Solo la mitad de la lista tiene un sitio web con robots.txt en la raíz. La clasificación de Tranco se basa en parte en el tráfico DNS, así que los dominios de CDN, telemetría y API comparten lista con marcas conocidas.

Resultado de la petición de robots.txt, 500 dominios
ResultadoDominios
robots.txt analizado241
Página HTML en lugar de robots.txt35
Error 4xx (sin robots.txt; 26 nos rechazaron con 401, 403 o 418)73
Sin respuesta (DNS, TLS, tiempo agotado, 5xx; 112 por DNS)151

El análisis que sigue usa los 241 archivos analizados. Quedan fuera los 35 dominios que devolvieron una página HTML en vez de un robots.txt (un rastreador no encontraría reglas y lo rastrearía todo) y los 26 que rechazaron nuestro rastreador: no podemos saber qué le enseñarían a GPTBot.

Con qué frecuencia se bloquea cada rastreador de IA

Veredicto en la raíz del sitio, 241 archivos robots.txt
  • Bloqueado
  • Restringido en parte
  • Permitido
  • GPTBot54 (22,4 %)
  • OAI-SearchBot31 (12,9 %)
  • ChatGPT-User35 (14,5 %)
  • ClaudeBot54 (22,4 %)
  • Claude-SearchBot34 (14,1 %)
  • Claude-User33 (13,7 %)
  • PerplexityBot45 (18,7 %)
  • Google-Extended50 (20,7 %)
  • Applebot-Extended47 (19,5 %)
  • CCBot62 (25,7 %)
  • Bytespider66 (27,4 %)
  • meta-externalagent51 (21,2 %)

Datos recogidos el 8 de noviembre de 2026. Fuente: lista Tranco 94P72, 500 primeros dominios.

Veredictos por token sobre 241 archivos robots.txt
TokenEmpresaFinalidadBloqueadoEn partePermitidoNombrado
GPTBotOpenAIEntrenamiento de IA54 (22,4 %)151 (62,7 %)36 (14,9 %)61 (25,3 %)
OAI-SearchBotOpenAIBúsqueda con IA31 (12,9 %)174 (72,2 %)36 (14,9 %)44 (18,3 %)
ChatGPT-UserOpenAIVisita pedida por un usuario35 (14,5 %)170 (70,5 %)36 (14,9 %)47 (19,5 %)
ClaudeBotAnthropicEntrenamiento de IA54 (22,4 %)151 (62,7 %)36 (14,9 %)59 (24,5 %)
Claude-SearchBotAnthropicBúsqueda con IA34 (14,1 %)173 (71,8 %)34 (14,1 %)35 (14,5 %)
Claude-UserAnthropicVisita pedida por un usuario33 (13,7 %)174 (72,2 %)34 (14,1 %)31 (12,9 %)
PerplexityBotPerplexityBúsqueda con IA45 (18,7 %)159 (66,0 %)37 (15,4 %)56 (23,2 %)
Google-ExtendedGoogleToken de control50 (20,7 %)154 (63,9 %)37 (15,4 %)58 (24,1 %)
Applebot-ExtendedAppleToken de control47 (19,5 %)161 (66,8 %)33 (13,7 %)41 (17,0 %)
CCBotCommon CrawlEntrenamiento de IA62 (25,7 %)147 (61,0 %)32 (13,3 %)53 (22,0 %)
BytespiderByteDanceEntrenamiento de IA66 (27,4 %)145 (60,2 %)30 (12,4 %)50 (20,7 %)
meta-externalagentMetaEntrenamiento de IA51 (21,2 %)160 (66,4 %)30 (12,4 %)38 (15,8 %)

Bytespider es el token más bloqueado (27,4 % de los archivos), seguido de CCBot (25,7 %): los dos recogen datos para entrenar modelos y ninguno alimenta un producto de búsqueda al que el sitio pueda querer llegar. GPTBot y ClaudeBot están empatados con 54 bloqueos cada uno (22,4 %). El menos bloqueado es OAI-SearchBot (12,9 %). «Restringido en parte» es el estado más frecuente para todos los tokens, porque la mayoría de los archivos aparta unas pocas rutas de todos los rastreadores.

Los sitios bloquean el entrenamiento más que la búsqueda

Cuántos sitios bloquean el rastreador de entrenamiento, el de búsqueda o los dos
EmpresaSolo entrenamiento bloqueadoSolo búsqueda bloqueadaAmbos bloqueados
OpenAI (GPTBot / OAI-SearchBot)23031
Anthropic (ClaudeBot / Claude-SearchBot)20034

23 sitios bloquean GPTBot y dejan pasar a OAI-SearchBot, y 20 bloquean ClaudeBot y permiten Claude-SearchBot. Ningún sitio de la muestra hizo lo contrario. Entre ellos están whatsapp.net, whatsapp.com, yahoo.com, t-online.de, snapchat.com, gravatar.com, flickr.com, ebay.com. OpenAI documenta los dos ajustes como independientes: prohibir GPTBot indica que el contenido no debe usarse para entrenar sus modelos fundacionales, mientras que los sitios que excluyen a OAI-SearchBot no aparecen en las respuestas de la búsqueda de ChatGPT. Anthropic traza la misma línea entre ClaudeBot (entrenamiento) y Claude-SearchBot (calidad de la búsqueda).

En total, 31 sitios bloquean al menos un rastreador de entrenamiento o un token de control, pero ningún rastreador de búsqueda ni visitante a petición del usuario. 47 bloquean al menos uno de OAI-SearchBot, Claude-SearchBot o PerplexityBot.

Google-Extended (20,7 % bloqueado) y Applebot-Extended (19,5 %) no son rastreadores sino tokens de control. Google dice que Google-Extended no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento, y Apple dice que las páginas que prohíben Applebot-Extended pueden seguir apareciendo en sus resultados de búsqueda. Bloquearlos es una decisión sobre el entrenamiento y el grounding de la IA, no sobre la búsqueda.

La mayoría de las reglas no se escribieron para la IA

88 de los 241 archivos (36,5 %) nombran al menos uno de los 12 tokens; los otros 153 dejan a todos los rastreadores de IA en manos del grupo User-agent: *. En el caso de GPTBot, 36 de sus 54 bloqueos vienen de un grupo que lo nombra; los otros 18 vienen de un User-agent: * que lo bloquea todo.

Archivos con un grupo propio para cada token, sobre 241
  • GPTBot61 (25,3 %)
  • ClaudeBot59 (24,5 %)
  • Google-Extended58 (24,1 %)
  • PerplexityBot56 (23,2 %)
  • CCBot53 (22,0 %)
  • Bytespider50 (20,7 %)
  • ChatGPT-User47 (19,5 %)
  • OAI-SearchBot44 (18,3 %)
  • Applebot-Extended41 (17,0 %)
  • meta-externalagent38 (15,8 %)
  • Claude-SearchBot35 (14,5 %)
  • Claude-User31 (12,9 %)

Un token sin grupo propio sigue las reglas de User-agent: *.

7 sitios hacen lo contrario: lo prohíben todo para User-agent: * y abren la puerta a rastreadores de IA concretos. Son netflix.com, flickr.com, sciencedirect.com, linktr.ee, reuters.com, trustpilot.com, wsj.com.

Los sitios que bloquean a todos los rastreadores de IA

22 sitios bloquean los 12 tokens en la raíz: facebook.com, fbcdn.net, gstatic.com, instagram.com, twitter.com, googlevideo.com, x.com, pinterest.com, tiktok.com, baidu.com, msn.com, reddit.com, registrar-servers.com, skybridge.click, nytimes.com, t.co, imdb.com, demdex.net, weibo.com, cookiedatabase.org, netcraze.io, kwai.net. La mayoría son redes sociales y grandes plataformas, junto a dominios técnicos de recursos y seguimiento y un gran periódico. 3 de ellos (tiktok.com, msn.com, nytimes.com) nombran uno a uno a los rastreadores de IA; el resto lo consigue prohibiendo todo a todos los rastreadores sin grupo propio. En total, 26 archivos prohíben el sitio entero en User-agent: *.

Content-Signal todavía es raro

La propuesta Content-Signal de Cloudflare añade al robots.txt una línea legible por máquinas como Content-Signal: search=yes, ai-train=no. 10 de los 241 archivos (4,1 %) la incluyen y 6 de ellos dicen ai-train=no. Expresa una preferencia sobre el uso, no una regla de acceso: nuestro analizador la ignora al decidir qué se puede rastrear.

La popularidad cambia poco

GPTBot bloqueado y tokens de IA nombrados, por tramo de la lista
PosiciónDominiosrobots.txt analizadoGPTBot bloqueadoNombran un token de IA
1–1001005315 (28,3 %)19 (35,8 %)
101–2501507216 (22,2 %)27 (37,5 %)
251–50025011623 (19,8 %)42 (36,2 %)

Los 100 primeros bloquean GPTBot algo más a menudo (28,3 %) que los puestos 251–500 (19,8 %), pero los grupos son pequeños: la diferencia es de unos pocos sitios, así que conviene no sacar conclusiones.

Qué hacer con tu propio robots.txt

  1. Decide por finalidad, no por empresa. Entrenamiento, búsqueda y visitas pedidas por un usuario usan tokens distintos; trátalos como tres decisiones.
  2. Si quieres que te citen, no bloquees los rastreadores de búsqueda: OAI-SearchBot, Claude-SearchBot y PerplexityBot. Mantén abiertos también Googlebot y Bingbot, porque AI Overviews y Copilot responden desde esos índices.
  3. Bloquear GPTBot o ClaudeBot es una opción legítima y, según la documentación de OpenAI y Anthropic, no te saca de sus funciones de búsqueda.
  4. Nombra los tokens que quieres decir. Un bloqueo amplio en User-agent: * atrapa también a los rastreadores de IA que quizá quieres, y un token que no nombras sigue al grupo *.
  5. robots.txt es una petición, no un candado. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User porque la visita la pide un usuario. Si necesitas imponerlo, bloquea en el servidor o en la CDN.
  6. Comprueba los cambios. OpenAI indica que sus sistemas pueden tardar unas 24 horas en adaptarse a un robots.txt nuevo. Prueba cada URL importante con el comprobador de rastreadores de IA.

Límites de este estudio

  • Tranco clasifica dominios registrables con señales de popularidad que incluyen tráfico DNS, así que los 500 primeros incluyen dominios de CDN, API y telemetría sin sitio web. Cuentan en los totales y salen del análisis de robots.txt.
  • Cada robots.txt se pidió una vez, desde una sola máquina en Europa y con nuestro propio agente de usuario. Los sitios que sirven reglas distintas según el rastreador o la región pueden enseñar otras reglas a los rastreadores reales. Un 403 o una página de verificación mostrada a nosotros se registra como tal y se excluye.
  • Solo evaluamos la raíz del sitio. «Restringido en parte» abarca desde una sola ruta /search prohibida hasta grandes zonas privadas.
  • robots.txt expresa una petición, no un control de acceso: no demuestra que un rastreador la cumpla, y algunas empresas dicen que sus visitas pedidas por usuarios pueden ignorarla.

Descarga los datos

Los resultados en bruto, con cada dominio, el resultado de la petición y el veredicto de cada token, están en ai-crawlers-2026-11.json (171,6 KB, en inglés). Si los reutilizas, cita la lista Tranco: Le Pochat et al., «Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation», NDSS 2019.

Preguntas frecuentes

¿Bloquear GPTBot saca mi sitio de la búsqueda de ChatGPT?

No, según OpenAI. GPTBot recoge datos de entrenamiento; la búsqueda de ChatGPT usa OAI-SearchBot. OpenAI documenta los dos ajustes como independientes, y en nuestra muestra 23 sitios bloquean GPTBot y permiten OAI-SearchBot.

¿Qué significa «restringido en parte» en este estudio?

La raíz del sitio está permitida para ese rastreador, pero se le aplica al menos una regla Disallow: desde una sola ruta /search hasta una zona privada grande. Es el estado más común porque casi todos los robots.txt apartan unas cuantas rutas de todos los rastreadores.

¿Por qué solo se analizaron 241 de los 500 dominios?

Tranco clasifica dominios registrables con señales que incluyen tráfico DNS, así que los 500 primeros contienen muchos dominios de CDN, API y telemetría sin web. Analizamos todos los dominios que sirvieron un robots.txt analizable; los 259 restantes figuran en el conjunto de datos con su resultado.

¿Basta robots.txt para dejar fuera a los rastreadores de IA?

Es una petición, no un control de acceso. Las grandes empresas documentan que sus rastreadores la respetan, pero algunas dicen que las visitas pedidas por usuarios pueden no hacerlo, y un rastreador desconocido puede ignorarla. Si necesitas imponerlo, bloquea en el servidor o en la CDN.

¿Cómo compruebo mi propio robots.txt?

Pega tu URL en nuestro comprobador de rastreadores de IA: aplica el mismo analizador a 22 tokens de rastreadores y muestra la regla que decide cada uno.

Datos en bruto

Fuentes

Pregunta a un asistente de IA sobre este artículo

Cada enlace abre el asistente en una pestaña nueva con una pregunta sobre este artículo. Según el asistente, la pregunta queda escrita o se envía al momento; solo se pasan la pregunta y la dirección de esta página.

Cómo se hizo este artículo

Autoranko Research recogió los datos el 8 de noviembre de 2026 con el método descrito arriba. El texto se redactó con ayuda de IA y cada cifra se genera a partir del conjunto de datos publicado, así que las tablas y las frases no pueden contradecirse.

Avisar de un error

Herramientas gratuitas sobre este tema

Descubre qué dicen los asistentes de IA de tu mercado

Autoranko sigue las preguntas de tus compradores en los modelos GPT y Claude, indica en cada cifra cómo se midió y escribe los artículos que las responden.