Herramienta SEO gratuita
Robots.txt Tester
Pruebe su contenido de robots.txt y pruebe si se permiten o bloquean rutas URL específicas para cualquier rastreador, incluyendo bots AI como GPTBot y ClaudeBot.
Robots.txt Contenido
Prueba una ruta URL
Robots comunes.txt Errores
Bloquear archivos CSS y JS
Dejar /assets/ o /static/ evita que Googlebot renderice sus páginas. Google necesita acceso a CSS, JS e imágenes para indexar correctamente el contenido. Sólo bloquea recursos verdaderamente privados.
Olvida a los rastreadores de IA
GPTBot, ClaudeBot y PerplexityBot respetan robots.txt. Si quieres bloquear el entrenamiento de IA pero permite el indexado de búsqueda, agrega bloques específicos para cada bot AI en lugar de usar una manta.
Trailing slash inconsistencia
Disallow: /blog y Disallow: /blog/ son diferentes. Los primeros bloques /blog, /blog/, y /blogging. El segundo solo bloquea los caminos comenzando con /blog/. Sé preciso sobre lo que piensas bloquear.
Directiva de mapa de sitio perdido
Incluya siempre una línea de mapas que apunta a su mapa de sitio XML. Esto ayuda a los rastreadores a descubrir contenido incluso si algunos enlaces internos están desaparecidos. Ponlo fuera de cualquier bloque de usuario-agente.
Usando robots.txt para seguridad
Robots.txt es accesible públicamente y sólo una sugerencia. Nunca lo use para ocultar páginas sensibles. Use autenticación, etiquetas meta noindex, o autenticación HTTP en su lugar.