Gerador de robots.txt
Crie um arquivo robots.txt com regras Allow e Disallow por bot, links para o sitemap e atraso de rastreamento. Modelos para WordPress e lojas virtuais, com validação.
Carregando Gerador de robots.txt…
Seus arquivos nunca saem do seu dispositivo
Como usar Gerador de robots.txt
- 1
Abra Gerador de robots.txt nesta página. Ele carrega direto no seu navegador.
- 2
Adicione seu arquivo, texto ou valores e ajuste as configurações.
- 3
Copie ou baixe o resultado. Nada é enviado nem armazenado.
Sobre esta ferramenta
O arquivo robots.txt fica na raiz do seu site e informa aos rastreadores dos buscadores quais partes do site eles podem visitar. Este gerador de robots.txt cria o arquivo para você a partir de um formulário simples: escolha os bots, adicione regras Allow e Disallow, informe o seu sitemap e copie ou baixe um arquivo verificado contra erros enquanto você trabalha.
Como criar um arquivo robots.txt
- Comece com um modelo: Open to all, Block all, WordPress ou E-commerce.
- Escolha os user agents: todos os bots (*) ou bots específicos como Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider, Slurp, facebookexternalhit, Twitterbot, LinkedInBot ou um nome personalizado.
- Adicione regras Disallow e Allow para caminhos, ou escolha entre caminhos comuns para bloquear.
- Adicione a URL do seu sitemap e, se precisar, um atraso de rastreamento e um host preferido.
- Confira a validação e a prévia, baixe o robots.txt e envie-o para a raiz do seu site.
A sintaxe em resumo
| Regra | Significado |
|---|---|
| User-agent: * | As regras abaixo valem para todos os bots |
| Disallow: /admin/ | Não rastrear nada dentro de /admin/ |
| Allow: /admin/help | Exceção a um Disallow mais amplo |
| Disallow: /*.pdf$ | Bloquear todas as URLs que terminam em .pdf |
| Disallow: /*? | Bloquear URLs com parâmetros |
| Sitemap: https://example.com/sitemap.xml | Onde está o seu sitemap |
Importante saber
- O robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer no Google se outros sites apontarem para ela. Para tirar uma página dos resultados, use uma meta tag noindex e deixe que ela seja rastreada.
- Não é segurança. O arquivo é público e qualquer pessoa pode lê-lo. Proteja áreas privadas com login.
- Não bloqueie CSS, JavaScript ou imagens de que suas páginas precisam; o Google renderiza as páginas e pode avaliá-las mal caso contrário.
- O Google ignora Crawl-delay; o Bing e alguns outros respeitam.
- Um arquivo por host, em https://yourdomain.com/robots.txt, com o nome em minúsculas.
Depois de enviar, teste o arquivo no Google Search Console. Em seguida, crie um sitemap com o gerador de sitemap XML e defina as tags certas de cada página com o gerador de meta tags.
Perguntas frequentes
Onde coloco o arquivo robots.txt?
Na raiz do seu domínio, para que fique acessível em https://yourdomain.com/robots.txt. Cada subdomínio precisa do próprio arquivo.
O robots.txt impede uma página de aparecer no Google?
Não. Ele impede o rastreamento, não a indexação. Use uma meta tag noindex na página e não a bloqueie no robots.txt, para que o Google consiga ver o noindex.
Como bloqueio todos os bots?
Use o modelo Block all, que escreve User-agent: * seguido de Disallow: /. Use apenas em sites de homologação ou privados.
Qual a diferença entre Allow e Disallow?
Disallow bloqueia um caminho; Allow cria uma exceção dentro de um caminho bloqueado. Quando as regras se sobrepõem, o Google segue a mais específica.
Devo adicionar meu sitemap ao robots.txt?
Sim. Uma linha Sitemap ajuda todos os buscadores a encontrá-lo, além de enviá-lo no Search Console.
Posso bloquear rastreadores de IA?
Sim. Adicione um user agent personalizado como GPTBot ou CCBot com Disallow: /. Bots bem-comportados respeitam; outros talvez não.