Técnico
GPTBot, ChatGPT-User y robots.txt
robots.txt ya no es solo para Google. Un Disallow silencioso te borra de ChatGPT, Claude y Perplexity. Esta es la lista que comprueba Meridiano.
Por LRA Agencia Creativa · · Ciudad de México
¿Qué user-agents de IA debo permitir?
GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Anthropic-AI, PerplexityBot, Google-Extended, Grok y bingbot. Si tu robots.txt dice User-agent: * / Disallow: / y luego solo abre Googlebot, el resto se queda fuera. Copia las reglas de https://meridiano.labratart.com.mx/robots.txt como plantilla.
¿Dónde se publica robots.txt?
En la raíz: https://tu-dominio.com/robots.txt. Debe incluir Sitemap: https://tu-dominio.com/sitemap.xml. Meridiano lee ese archivo en cada auditoría. Si responde 404, asumimos Allow por defecto, pero un WAF delante igual te borra.
¿Cloudflare o SiteGround pueden anular el Allow?
Sí. El robots.txt dice Allow y el firewall igual pide captcha al datacenter. Resultado: score 18, grado F, “no extraíble”. En Chrome ves la web; el HTML que recibe el bot es un desafío. Hay que permitir esos user-agents en el WAF, no solo en robots.txt.
¿Cómo lo verifico en un minuto?
Abre tu robots.txt. Busca GPTBot y ClaudeBot. Si no están, agrégalos. Luego pega la home en Meridiano. El pilar Acceso de IAs debe quedar en 100. Si no, el informe te dice qué crawler está bloqueado.
Preguntas frecuentes
¿Permitir GPTBot le da mi contenido para entrenar?+–
GPTBot cubre consulta y, según OpenAI, entrenamiento. Google-Extended controla Gemini. Si no quieres entrenamiento pero sí citas, revisa las políticas vigentes de cada motor y sé explícito. Bloquearlos todos te saca de las respuestas con fuente.
¿Meridiano cambia mi robots.txt?+–
No. Te dice qué está mal. El generador de llms.txt tampoco toca robots. LRA puede implementarlo si lo pides.