Auditoría AI en Common Crawl: comprueba si los crawlers de LLM ven tu sitio
Usa el índice gratuito de Common Crawl y pruebas con CCBot para ver si tus páginas aparecen en una capa de crawl pública que los equipos de AI pueden usar.
TL;DR: Common Crawl tiene un índice público gratuito que puedes consultar desde la terminal. En cinco minutos puedes comprobar si CCBot puede acceder a tu sitio y si snapshots recientes de Common Crawl incluyen tus URLs.
Eso es evidencia útil para AI SEO. No prueba que ChatGPT, Claude, Gemini o un modelo específico haya entrenado con tu página. Prueba algo más concreto y accionable: tu sitio aparece, o no aparece, en una capa de crawl pública que equipos e investigadores de AI pueden usar.
Hay un buen tip de SEO circulando: usar Common Crawl para revisar si tu sitio está en la capa de datos web abiertos que muchos sistemas de AI pueden utilizar.
El tip vale la pena. La afirmación necesita precisión.
La guía AI Visibility Audit de Common Crawl empuja a los SEOs a mirar una capa anterior a rankings, prompt tracking y citas en respuestas AI: el acceso del crawler. Si el crawl no puede llegar a tus páginas, esas páginas tienen menos oportunidades de aparecer en datasets de entrenamiento futuros, sistemas de recuperación, grafos de citas y superficies de respuesta AI.
Así que sí: corre la prueba. Pero no vendas más de lo que demuestra.
La prueba de cinco minutos en Common Crawl
Abre la terminal y reemplaza example.com por tu dominio.
DOMAIN="example.com"
# 1. Revisa el robots.txt vivo
curl -s "https://$DOMAIN/robots.txt"
# 2. Prueba si una petición tipo CCBot es bloqueada en el edge
curl -A "CCBot/2.0" -I -L "https://$DOMAIN/"
# 3. Encuentra el índice más nuevo disponible en Common Crawl
curl -s "https://index.commoncrawl.org/collinfo.json" | python3 -c \
'import json,sys; print(json.load(sys.stdin)[0]["id"])'
# 4. Consulta ese índice para el dominio
INDEX="CC-MAIN-2026-25"
curl "https://index.commoncrawl.org/${INDEX}-index?url=${DOMAIN}/*&output=json" | head
Si aparecen filas, Common Crawl tiene capturas de ese dominio en ese snapshot. Si no aparece nada, tienes una pregunta de crawlabilidad que investigar.
Qué demuestra realmente esta prueba
La prueba del índice de Common Crawl responde una pregunta concreta:
¿Common Crawl registró URLs de este dominio en este snapshot?
Eso no es lo mismo que decir:
- "Un LLM específico entrenó con esta página."
- "Esta página va a aparecer en respuestas AI."
- "Este dominio tiene gran visibilidad AI."
- "El contenido fue entendido, parseado o citado correctamente."
Piensa en esto como un diagnóstico de la capa de crawl. Te dice si la página entró en un corpus público que puede alimentar investigación, entrenamiento, evaluación, análisis y workflows de recuperación. Eso importa. También es solo una parte del stack de visibilidad AI.
Yo lo pondría junto a logs, checks de HTML server-rendered, revisión de datos estructurados, análisis de links internos y tracking de citas AI. Encaja especialmente bien con la lógica de crawlers de AI crawler ghost citations y los checks de contenido legible para agentes en llms.txt y Lighthouse Agentic Browsing.
El resultado de SEOFrancisco
Corrí la prueba contra SEOFrancisco el 10 de julio de 2026.
| Check | Resultado | Qué significa |
|---|---|---|
| robots.txt | User-agent: * Allow: / |
No hay bloqueo explícito de CCBot en el robots vivo. |
| Petición con user-agent CCBot | HTTP 200 |
La home no bloqueó una petición estilo CCBot en el edge. |
| Índice más reciente disponible | CC-MAIN-2026-25 |
En la fecha de prueba, el índice listado más nuevo era el de junio de 2026. |
Filas en CC-MAIN-2026-25 |
29 | SEOFrancisco apareció en el snapshot más reciente disponible. |
Filas en CC-MAIN-2026-21 |
101 | SEOFrancisco también apareció en el índice de mayo de 2026 usado por el ejemplo original. |
Eso es un pass limpio para la prueba básica de acceso. No significa que todas las páginas estén representadas, que cada captura sea útil o que un modelo haya entrenado con esas URLs. Significa que el dominio es visible en el índice público de Common Crawl y que hoy no bloquea una petición estilo CCBot.
Cómo leer la respuesta JSON
Una fila del índice de Common Crawl suele incluir campos como estos:
{
"urlkey": "com,seofrancisco)/insights/example",
"timestamp": "20260617165032",
"url": "https://seofrancisco.com/insights/example/",
"mime": "text/html",
"status": "200",
"digest": "...",
"length": "15531",
"filename": "crawl-data/CC-MAIN-2026-25/segments/..."
}Los campos más útiles para una lectura SEO rápida son:
url: la URL capturada. Revisa si es el host y path canónico que te importa.timestamp: cuándo la capturó Common Crawl. Ayuda a separar presencia histórica de presencia actual.status: el estado HTTP registrado. Un 200 es más limpio que un redirect, bloqueo o error.mime: el tipo de contenido. La mayoría de páginas editoriales deberían aparecer como HTML.length: una señal aproximada de tamaño. HTML muy pequeño puede indicar captura débil, redirect, shell o contenido bloqueado.filename: el archivo WARC donde vive la captura, útil si más adelante quieres recuperar el registro archivado.
La documentación del índice de Common Crawl explica que el índice apunta a registros dentro de archivos WARC. Para esta auditoría rápida no necesitas bajar el WARC. Solo necesitas saber si el crawl encontró páginas reales y qué estado devolvieron.
Por qué importa el check de CCBot
La consulta del índice te dice qué capturó Common Crawl en el pasado. La petición con CCBot te dice qué permite tu sitio hoy.
Esas dos cosas pueden no coincidir.
Un sitio puede aparecer en CC-MAIN-2026-21 porque era crawlable en mayo y luego desaparecer porque una regla de CDN, firewall o robots.txt gestionado bloqueó crawlers AI. También puede pasar lo inverso: el sitio está abierto hoy, pero no aparece en un snapshot reciente porque todavía no fue descubierto, priorizado o recrawleado.
La documentación de CCBot también advierte que algunos crawlers se hacen pasar por CCBot. Si revisas logs, no confíes solo en el user-agent. Verifica IP y reverse DNS antes de culpar o bloquear al crawler real.
Qué arreglar si Common Crawl no te ve
Si el comando no devuelve nada, no entres en pánico. Empieza con una checklist técnica aburrida.
- Revisa robots.txt: busca
User-agent: CCBoto reglas amplias que bloqueen crawlers AI. - Revisa CDN y WAF: un robots limpio no sirve si el edge devuelve 403 a tráfico estilo CCBot.
- Revisa el host canónico: consulta
example.com/*ywww.example.com/*si tu sitio usa ambos en redirects o URLs antiguas. - Revisa status codes: redirects pueden estar bien, pero 403, 404, 5xx o 200 diminutos necesitan investigación.
- Revisa links internos y sitemap: un dominio puede estar abierto, pero mal descubierto.
- Revisa contenido renderizado: si el contenido principal solo aparece después de JavaScript, el crawler puede capturar un shell pobre.
- Revisa evidencia estructurada: article, organization, author, product, service, FAQ, breadcrumb y datos locales deben coincidir con el contenido visible.
Aquí el SEO técnico clásico sigue cargando el peso. Los sistemas AI cambiaron las superficies posteriores, no la necesidad de un acceso limpio. Cubrí el mismo principio desde el lado de Google en la documentación de AI Search de Google: páginas crawlables, útiles y bien estructuradas siguen haciendo el trabajo.
Convierte el tip en una auditoría repetible
Yo agregaría esto como una sección pequeña dentro de toda auditoría de AI SEO:
| Capa | Pregunta | Evidencia |
|---|---|---|
| Acceso | ¿CCBot puede llegar al sitio? | Status HTTP desde una petición con user-agent CCBot. |
| Política | ¿Los crawlers AI están bloqueados intencionalmente o por accidente? | robots.txt, configuración de CDN y reglas WAF. |
| Presencia | ¿El dominio aparece en snapshots recientes de Common Crawl? | Filas del último índice en index.commoncrawl.org. |
| Calidad | ¿Las páginas importantes están capturadas como HTML útil? | Status, MIME type, tamaño, host canónico y checks por página. |
| Acción | ¿Qué debe cambiar antes del próximo snapshot? | Lista de fixes con responsable, patrón de URL y fecha de recheck. |
Combínalo con prompt tracking, reportes de citas, revisión de logs y una auditoría de estructura de contenido. Las herramientas de prompts pueden decirte si apareces en respuestas. Common Crawl te dice si una de las capas públicas de crawl te vio.
Si estás construyendo workflows SEO con Claude, esto también encaja como una skill pequeña: aceptar un dominio, leer robots.txt, probar CCBot, encontrar el índice más nuevo, consultar Common Crawl, contar filas y crear un reporte pass/fail corto. Encaja naturalmente junto a una skill de auditoría técnica SEO para Claude.
FAQ
¿Aparecer en Common Crawl prueba que mi sitio fue usado para entrenar un LLM?
No. Prueba que Common Crawl registró URLs de tu sitio en ese snapshot. Muchos equipos e investigadores de AI usan datos de Common Crawl, pero el índice no prueba que un modelo específico haya entrenado con tu página.
¿Qué significa una respuesta vacía de Common Crawl?
Significa que la consulta no encontró filas en esa colección. Puede ser bloqueo, falta de descubrimiento, baja prioridad de crawl, host equivocado, ausencia en ese snapshot o una forma de entregar contenido que Common Crawl no capturó.
¿Debería permitir CCBot?
Es una decisión de negocio y política. Si la visibilidad AI forma parte de tu estrategia, bloquear Common Crawl puede reducir tu presencia en una capa pública importante. Si pesan más licencias, privacidad, derechos de publisher o política legal, el bloqueo puede ser intencional. El error no es elegir; el error es permitir o bloquear sin saberlo.
¿Cada cuánto debo correr esta auditoría?
Córrela después de cambios grandes en CDN, WAF, robots, migraciones, rendering o plataforma. Para programas activos de AI SEO, un check mensual contra la colección más nueva de Common Crawl es una buena cadencia.
¿Esto reemplaza las herramientas de visibilidad AI?
No. Revisa una capa upstream de crawl. Las herramientas de visibilidad AI, los datos de Bing AI Performance, los referidos, los logs y las pruebas con prompts responden preguntas distintas. La mejor auditoría las usa juntas, sin fingir que una superficie explica todo.
Conclusión
El comando de Common Crawl vale la pena porque te da algo concreto para inspeccionar.
Si CCBot está bloqueado, arregla la decisión de acceso o documenta por qué es intencional. Si el índice más reciente no tiene filas, investiga descubrimiento, patrones de host, status codes y prioridad de crawl. Si el índice tiene filas, no declares victoria todavía. Revisa si las páginas importantes son las que se están capturando y si devuelven HTML útil.
AI SEO no son solo screenshots de prompts. Empieza con si las máquinas pueden llegar, guardar, parsear y reutilizar la evidencia que publicas.
