Generador de robots.txt
Crea un archivo robots.txt con reglas Allow y Disallow por bot, enlaces al sitemap y retraso de rastreo. Plantillas para WordPress y tiendas online, con validación.
Cargando Generador de robots.txt…
Tus archivos nunca salen de tu dispositivo
Cómo usar Generador de robots.txt
- 1
Abre Generador de robots.txt en esta página. Se carga directamente en tu navegador.
- 2
Añade tu archivo, texto o valores y ajusta la configuración.
- 3
Copia o descarga el resultado. No se sube ni se guarda nada.
Acerca de esta herramienta
El archivo robots.txt está en la raíz de tu sitio web e indica a los rastreadores de los buscadores qué partes del sitio pueden visitar. Este generador de robots.txt crea el archivo por ti a partir de un formulario sencillo: elige los bots, añade reglas Allow y Disallow, enlaza tu sitemap y copia o descarga un archivo que se revisa en busca de errores mientras trabajas.
Cómo crear un archivo robots.txt
- Empieza con una plantilla: Open to all, Block all, WordPress o E-commerce.
- Elige los user agents: todos los bots (*) o algunos concretos como Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider, Slurp, facebookexternalhit, Twitterbot, LinkedInBot o un nombre personalizado.
- Añade reglas Disallow y Allow para rutas, o elige entre rutas habituales que bloquear.
- Añade la URL de tu sitemap y, si hace falta, un retraso de rastreo y un host preferido.
- Revisa la validación y la vista previa, descarga robots.txt y súbelo a la raíz de tu sitio.
La sintaxis en resumen
| Regla | Significado |
|---|---|
| User-agent: * | Las reglas siguientes se aplican a todos los bots |
| Disallow: /admin/ | No rastrear nada dentro de /admin/ |
| Allow: /admin/help | Excepción a un Disallow más amplio |
| Disallow: /*.pdf$ | Bloquear todas las URL que terminan en .pdf |
| Disallow: /*? | Bloquear URL con parámetros |
| Sitemap: https://example.com/sitemap.xml | Dónde está tu sitemap |
Importante
- Robots.txt controla el rastreo, no la indexación. Una página bloqueada puede seguir apareciendo en Google si otros sitios enlazan a ella. Para dejar una página fuera de los resultados, usa una metaetiqueta noindex y deja que se rastree.
- No es seguridad. El archivo es público y cualquiera puede leerlo. Protege las zonas privadas con un inicio de sesión.
- No bloquees CSS, JavaScript ni imágenes que tus páginas necesitan; Google renderiza las páginas y de lo contrario podría evaluarlas mal.
- Google ignora Crawl-delay; Bing y algunos otros lo respetan.
- Un archivo por host, en https://yourdomain.com/robots.txt, con el nombre en minúsculas.
Después de subirlo, prueba el archivo en Google Search Console. Luego crea un sitemap con el generador de sitemap XML y define las etiquetas adecuadas de cada página con el generador de metaetiquetas.
Preguntas frecuentes
¿Dónde pongo el archivo robots.txt?
En la raíz de tu dominio, para que esté disponible en https://yourdomain.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Robots.txt impide que una página aparezca en Google?
No. Impide el rastreo, no la indexación. Usa una metaetiqueta noindex en la página y no la bloquees en robots.txt, para que Google pueda ver el noindex.
¿Cómo bloqueo todos los bots?
Usa la plantilla Block all, que escribe User-agent: * seguido de Disallow: /. Úsala solo en sitios de pruebas o privados.
¿Qué diferencia hay entre Allow y Disallow?
Disallow bloquea una ruta; Allow crea una excepción dentro de una ruta bloqueada. Cuando las reglas se solapan, Google sigue la más específica.
¿Debo añadir mi sitemap a robots.txt?
Sí. Una línea Sitemap ayuda a todos los buscadores a encontrarlo, además de enviarlo en Search Console.
¿Puedo bloquear los rastreadores de IA?
Sí. Añade un user agent personalizado como GPTBot o CCBot con Disallow: /. Los bots bien diseñados lo respetan; otros puede que no.