Generador de robots.txt
Crea un archivo robots.txt personalizado online — permite o bloquea rastreadores, añade tu sitemap y copia el resultado. Gratis, al instante y privado en tu navegador.
Añade Disallow: / para GPTBot, ClaudeBot, Google-Extended y CCBot. No afecta a tu posicionamiento en Google ni en Bing.
¿Qué es un archivo robots.txt?
Un robots.txt vive en la raíz del sitio (por ejemplo https://ejemplo.com/robots.txt) e indica a los rastreadores qué rutas pueden pedir. Es una señal pública de crawl budget, no un muro de seguridad. Los buscadores lo leen para evitar paneles de admin, carpetas temporales o URLs con parámetros poco útiles.
Cómo usar este generador de robots.txt
1. Elige si los bots están permitidos por defecto o bloqueados en todo el sitio.
2. Añade opcionalmente la URL de tu Sitemap.
3. Lista carpetas a Disallow (una ruta por línea), como /admin o /tmp.
4. Define un crawl-delay si quieres frenar bots educados (Googlebot lo ignora).
5. Copia el robots.txt generado y súbelo a la raíz de tu dominio.
Directivas robots.txt (chuleta)
User-agent — a qué bot aplican las reglas (* = todos).
Disallow — rutas que no deben rastrearse.
Allow — excepciones dentro de un árbol bloqueado.
Sitemap — URL absoluta a tu sitemap XML.
Crawl-delay — segundos entre peticiones para bots que lo respetan.
User-agent: * Disallow: /admin/ Disallow: /tmp/ Sitemap: https://ejemplo.com/sitemap.xml
Cómo bloquear los bots de IA con robots.txt
Marca Bloquear bots de IA y el generador añade una regla para cuatro rastreadores de inteligencia artificial: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) y CCBot (Common Crawl). A cada uno le pone Disallow: /, que le pide no usar ninguna página de tu web.
No todos hacen lo mismo. GPTBot y ClaudeBot recopilan contenido que puede usarse para entrenar modelos de IA. Google-Extended no es un rastreador: es una señal para que Google no use tu contenido en el entrenamiento de Gemini ni para dar contexto a sus respuestas. No cambia nada en el buscador de Google. CCBot alimenta el archivo abierto de Common Crawl, un conjunto de datos público que cualquiera puede reutilizar.
Esta opción no bloquea los rastreadores de los buscadores con IA (OAI-SearchBot, del buscador de ChatGPT, Claude-SearchBot y PerplexityBot), así que tu web puede seguir saliendo en sus respuestas. Tampoco bloquea los agentes que abren una página cuando un usuario lo pide (ChatGPT-User, Claude-User y Perplexity-User). Ten en cuenta que robots.txt es una petición, no un bloqueo técnico: los bots que cumplen las normas lo respetan, pero otros pueden ignorarlo. Además, solo afecta a lo que se rastree a partir de ahora. Lo que ya se haya recopilado no se borra.
# Block AI bots User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /
Errores frecuentes con robots.txt
Bloquear CSS/JS que Google necesita para renderizar, usar robots.txt para “ocultar” archivos confidenciales (pueden descubrirse por enlaces), olvidar que el archivo debe estar en la raíz, o publicar un Disallow: / en producción por error. Tras desplegar, revísalo en el informe de robots.txt y con la inspección de URLs de Search Console.
Robots.txt vs meta robots
robots.txt controla el rastreo de rutas. Una etiqueta meta robots noindex (o cabecera X-Robots-Tag) controla la indexación de una URL ya descargada. Para sacar una página de los resultados suele hacer falta noindex — no solo un Disallow. Usa ambos con intención: Disallow para no malgastar crawl; noindex para páginas que no deben indexarse.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
Es un archivo de texto en la raíz de tu web que da instrucciones a los robots (rastreadores) sobre qué páginas visitar o ignorar.
¿Dónde debo colocarlo?
En el directorio raíz del sitio (p. ej. https://ejemplo.com/robots.txt).
¿Robots.txt oculta páginas a los usuarios?
No, solo instruye a bots. Para proteger una página de personas usa autenticación o contraseña.
¿Disallow saca una página de Google?
No de forma fiable. Puede frenar el rastreo, pero la URL puede seguir apareciendo sin snippet. Usa noindex cuando necesites desindexar.
¿Es gratis este generador de robots.txt?
Sí. Funciona entero en tu navegador: no se sube la configuración de tu sitio.
¿Cómo bloqueo GPTBot y otros bots de IA en robots.txt?
Crea un grupo por bot: User-agent: con su nombre y debajo Disallow: /. Por ejemplo, User-agent: GPTBot y en la línea siguiente Disallow: /. En este generador basta con marcar «Bloquear bots de IA» para añadir de una vez GPTBot, ClaudeBot, Google-Extended y CCBot. Después, sube el archivo a la raíz de tu dominio.
¿Bloquear Google-Extended afecta a mi posicionamiento en Google?
No. Google indica que Google-Extended no influye en que tu web aparezca en el buscador ni es un factor de ranking. Solo controla si Google puede usar tu contenido para entrenar Gemini y dar contexto a sus respuestas. Googlebot sigue rastreando tu web como siempre.
¿Si bloqueo GPTBot, ChatGPT deja de encontrar mi web?
No. GPTBot es el rastreador de entrenamiento de OpenAI. El buscador de ChatGPT usa otro bot, OAI-SearchBot, que esta opción no bloquea. Si también bloqueas OAI-SearchBot, tu web no saldrá en las respuestas de búsqueda de ChatGPT. Cuando un usuario le pide a ChatGPT abrir una página, usa ChatGPT-User, y OpenAI avisa de que robots.txt puede no aplicarse.