Probador de robots.txt
Carga el robots.txt de un sitio o pega el tuyo, introduce una URL y elige un rastreador. Obtienes un veredicto claro, la línea exacta que lo decide y esa misma prueba contra doce rastreadores importantes a la vez.
Vale cualquier token de rastreador, así que escribe el que necesites si no aparece en la lista.
Las reglas pegadas se evalúan íntegramente en tu navegador. Cargar el robots.txt de un dominio pasa por nuestro servidor solo para descargar ese archivo público, y no se almacena nada.
Cómo funciona de verdad la coincidencia de reglas en robots.txt
Un archivo robots.txt es un conjunto de grupos. Cada grupo empieza con una o varias líneas User-agent y contiene las reglas Allow y Disallow que se aplican a esos rastreadores. Un rastreador solo lee el grupo que coincide con su propio token de producto, más el grupo comodín si ningún grupo con nombre le encaja, así que las reglas escritas para Googlebot no afectan en nada a GPTBot.
Cuando varias reglas de un grupo coinciden con la misma URL, gana la más específica: aquella cuyo patrón cubre más caracteres. Si un Allow y un Disallow empatan en longitud, gana el Allow. Ese orden viene de RFC 9309, el Protocolo de Exclusión de Robots estandarizado, y es la razón por la que Disallow: /admin/ junto a Allow: /admin/public/ deja rastreable la carpeta pública.
Los patrones admiten dos comodines. El asterisco representa cualquier secuencia de caracteres y el signo de dólar ancla el patrón al final de la URL. Las rutas distinguen mayúsculas y minúsculas, los nombres de rastreador no, y un robots.txt solo rige su propio esquema, host y puerto, así que el archivo del subdominio www no cubre el dominio a secas.
Qué te muestra el probador
- El veredicto para el rastreador que elijas, con la regla exacta y el número de línea que lo respaldan
- La misma URL probada contra doce rastreadores a la vez, bots de búsqueda y bots de IA en paralelo
- Qué grupo ha coincidido, indicando si era un grupo con nombre o el comodín
- Todas las líneas Sitemap declaradas en el archivo
- Avisos de análisis: reglas escritas antes de cualquier línea User-agent, directivas no admitidas, URLs absolutas en Disallow, Sitemap ausente
Comprobador de preparación para IA
¿Pueden ChatGPT, Claude y Perplexity leer y citar tu sitio? Comprueba llms.txt, las reglas de robots.txt para rastreadores de IA, los datos estructurados y los metadatos.
Comprueba tu preparación para IA →Del blog
Errores de hreflang que arruinan el SEO internacional
Diez errores explican casi todas las configuraciones de hreflang rotas, y la mayoría falla en silencio. Así se detecta y se corrige cada uno.
robots.txtrobots.txt para rastreadores de IA: recetas listas
Tres recetas y una tabla bot por bot para controlar GPTBot, ClaudeBot, PerplexityBot y los demás desde un pequeño archivo de texto.
sitemapsErrores comunes en sitemaps XML y cómo corregirlos
Del espacio de nombres equivocado al «No se ha podido obtener» de Search Console: cada error habitual de sitemap con su síntoma, su causa y su arreglo.