Qué dicen a los rastreadores de IA los 500 dominios más populares de la web
Leímos el robots.txt del top 500 de Tranco el 8 de noviembre de 2026 y evaluamos 12 rastreadores de IA: quién bloquea GPTBot, ClaudeBot y la búsqueda con IA.
Firma de la organización
El equipo de Autoranko
Autoranko Research es la firma que usa el equipo de Autoranko para los estudios y las guías del blog. Cada estudio recoge sus propios datos (publicamos el método, la fecha y los resultados en bruto junto al artículo) y cada guía describe cómo se comporta de verdad el producto, con los umbrales y límites sacados de su código.
Los artículos se redactan con ayuda de IA y se contrastan con los datos en bruto o con el producto antes de publicarse. Cuando una persona con nombre revisa un artículo, su nombre y la fecha de la revisión aparecen en él.
Leímos el robots.txt del top 500 de Tranco el 8 de noviembre de 2026 y evaluamos 12 rastreadores de IA: quién bloquea GPTBot, ClaudeBot y la búsqueda con IA.
Pedimos /llms.txt al top 500 de Tranco el 8 de noviembre de 2026 y validamos cada archivo: 59 publican uno válido y 59 responden con HTML.
Qué significa «Rastreada: actualmente sin indexar», cómo leer cada campo de la API de inspección de URL, su cuota de 2.000 al día y qué arreglos sirven.
El método de nuestras cifras de visibilidad en IA: preguntas de compra sin adornos, extracción aparte, varias muestras y por qué la API no es ChatGPT.com.
Dónde publica Autoranko de forma nativa, cuándo usar el blog alojado o un feed y cómo funciona el webhook firmado, con lo que transporta cada método.
Cuotas, modo revisión, anticanibalización y pausa ante fallos: las reglas de nuestro piloto automático, con sus umbrales, y lo que nos negamos a automatizar.