1. Elige un preset
Comienza con un preset de un clic para sitios estándar, WordPress o para bloquear crawlers de IA.
Generador de Robots.txt
Crea, personaliza y descarga un archivo robots.txt para tu web — con presets para crawlers de IA, WordPress y más.
Añade reglas separadas para crawlers individuales (Googlebot, bots de IA, etc.)
Cómo funciona
2. Personaliza reglas
Añade rutas bloqueadas, rutas permitidas, sitemaps y reglas por bot para un control detallado.
3. Copia o descarga
Copia la salida al portapapeles o descárgala como archivo .txt listo para subir.
Qué es un archivo robots.txt y por qué lo necesitas
Un archivo robots.txt es un documento de texto simple que se coloca en la raíz de tu sitio web (ej. https://ejemplo.com/robots.txt) e indica a los rastreadores de buscadores qué páginas o directorios pueden o no acceder. Sigue el Protocolo de Exclusión de Robots, un estándar soportado por todos los buscadores principales como Google, Bing y DuckDuckGo.
Aunque los sitios pequeños pueden funcionar sin él, tener un robots.txt bien configurado te ayuda a controlar el presupuesto de rastreo, evitar la indexación de paneles de administración o áreas de staging, y — cada vez más importante — bloquear los crawlers de IA como GPTBot, CCBot y Google-Extended para que no rastreen tu contenido.
Cómo crear y verificar tu robots.txt
Usa nuestro generador para construir el archivo visualmente, luego descárgalo o cópialo. Súbelo al directorio raíz de tu dominio para que sea accesible en tudominio.com/robots.txt. Después de subirlo, puedes verificar que funciona correctamente usando el Probador de robots.txt de Google Search Console.
Recuerda que robots.txt solo aconseja a los rastreadores — no impone control de acceso. Si necesitas evitar que una página aparezca en los resultados de búsqueda, combina robots.txt con una etiqueta noindex de meta robots en la propia página.
Errores comunes en robots.txt que debes evitar
Bloquear archivos CSS y JS: Google necesita acceso a tus hojas de estilo y scripts para renderizar las páginas correctamente. Bloquearlos puede perjudicar tu posicionamiento. Olvidar la barra final: Disallow: /admin bloquea tanto /admin como /admin-page, mientras que Disallow: /admin/ solo bloquea rutas dentro de ese directorio. Usar robots.txt como seguridad: Las URLs bloqueadas pueden aparecer igualmente en los resultados si otras páginas enlazan a ellas.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
Es un archivo de texto plano ubicado en la raíz de tu dominio que indica a los crawlers de buscadores y robots web qué páginas o directorios pueden o no pueden rastrear. Sigue el Protocolo de Exclusión de Robots.
¿Dónde debo colocar mi archivo robots.txt?
Debe estar en la raíz de tu dominio, accesible en https://tudominio.com/robots.txt. No funcionará si se coloca en un subdirectorio.
¿Cómo bloqueo los crawlers de IA con robots.txt?
Añade bloques User-agent separados para bots de IA como GPTBot, ChatGPT-User, Google-Extended, CCBot y ClaudeBot, cada uno seguido de Disallow: /. Nuestro generador incluye un preset de un clic "Bloquear crawlers IA" para esto.
¿Cuál es la diferencia entre robots.txt y meta robots?
robots.txt impide que los crawlers accedan a las páginas, mientras que las etiquetas <meta name="robots"> controlan si aparecen en los resultados de búsqueda. Usa ambos juntos para un control completo.
¿Qué pasa si no tengo archivo robots.txt?
Los buscadores rastrearán e intentarán indexar todas las páginas accesibles de tu sitio. Esto suele funcionar para sitios pequeños, pero los sitios grandes se benefician de controlar su presupuesto de rastreo.
¿Robots.txt oculta páginas a los usuarios?
No. Solo da instrucciones a los bots. Si necesitas impedir el acceso humano, usa protección por contraseña o autenticación del servidor.