Robots.txt: o que é, como configurar e controlar robôs de IA

O que é robots.txt

Robots.txt é um arquivo de texto simples, publicado na raiz de um domínio, que informa aos rastreadores dos mecanismos de busca quais URLs do site eles podem acessar. Ele segue o Protocolo de Exclusão de Robôs (Robots Exclusion Protocol), um padrão criado nos anos 1990 e respeitado pelos principais buscadores.

A função principal, segundo a própria documentação do Google, é evitar que o servidor seja sobrecarregado de requisições e orientar os robôs para longe de áreas sem valor para a busca: carrinhos de compra, resultados de busca interna, filtros infinitos, áreas administrativas e ambientes de teste.

Três ideias resumem bem o papel do arquivo:

• É um pedido, não uma trava. Googlebot, Bingbot e outros robôs respeitáveis obedecem às regras, mas robôs mal-intencionados podem simplesmente ignorá-las. Conteúdo sensível precisa de senha, não de robots.txt.
• Vale por host. O arquivo de www.exemplo.com.br não vale para blog.exemplo.com.br, nem para a versão http:// se o site estiver em https://. Cada combinação de protocolo, host e porta precisa do seu próprio arquivo.
• Fica sempre na raiz. O endereço é obrigatoriamente https://seudominio.com.br/robots.txt. Robôs não procuram o arquivo em subpastas.

Como o Google lê o robots.txt

Antes de rastrear qualquer página de um host, o Googlebot busca o robots.txt desse host e aplica as regras do grupo que corresponde ao seu nome. Alguns detalhes técnicos da especificação do Google fazem diferença no dia a dia:

• Cache de até 24 horas. O Google costuma guardar o arquivo em cache por até um dia. Uma alteração não tem efeito imediato.
• Limite de 500 KiB. Tudo o que passar desse tamanho é ignorado. Arquivos gigantes, com milhares de linhas, são sinal de que algo precisa ser simplificado.
• Diferencia maiúsculas e minúsculas nos caminhos. A regra Disallow: /Fotos não bloqueia /fotos. Já os nomes dos campos (Disallow ou disallow) e os user-agents não diferenciam.
• Regra mais específica vence. Quando um allow e um disallow se aplicam à mesma URL, vale o caminho mais longo. Em empate, o Google escolhe a regra menos restritiva.

O que acontece quando o arquivo dá erro

O código HTTP que o servidor devolve ao pedir o robots.txt muda completamente o comportamento do robô:

Sintaxe: diretivas e caracteres especiais

O arquivo é organizado em grupos. Cada grupo começa com uma ou mais linhas user-agent e é seguido pelas regras que valem para aquele robô. Comentários começam com #.

Dois caracteres especiais ajudam a escrever regras mais precisas:

• * corresponde a qualquer sequência de caracteres. Exemplo: Disallow: /*?filtro= bloqueia qualquer URL com esse parâmetro.
• $ marca o fim da URL. Exemplo: Disallow: /*.pdf$ bloqueia URLs terminadas em .pdf.

Exemplos prontos de robots.txt

Liberar tudo e informar o sitemap

É o ponto de partida ideal para a maioria dos sites institucionais e blogs:

A linha Sitemap é uma das formas de avisar o Google sobre o seu sitemap XML, junto com o envio pelo Search Console.

Típico de WordPress

Aqui o allow mais específico libera o arquivo de AJAX, que muitos temas e plugins usam para carregar conteúdo.

Loja virtual com filtros e busca interna

Esse tipo de bloqueio evita que o Googlebot gaste tempo em milhares de combinações de filtros, assunto central do guia de crawl budget (orçamento de rastreamento).

Robots.txt não é noindex

Esse é o erro conceitual mais comum em SEO técnico. O robots.txt impede o acesso à página, mas não impede que a URL entre no índice. Se outros sites linkarem para uma URL bloqueada, o Google pode exibi-la nos resultados apenas com o endereço, sem descrição. No Search Console, isso aparece como “Indexada, mas bloqueada pelo robots.txt”.

O caminho certo para manter uma página fora dos resultados é a tag noindex. E existe uma armadilha: se a página tiver noindex e também estiver bloqueada no robots.txt, o Googlebot nunca vai ler a tag, porque não pode abrir a página. Para desindexar, a URL precisa estar liberada para rastreamento.

Como criar e configurar o arquivo

1. Liste o que não deve ser rastreado
   Mapeie áreas sem valor de busca: painel administrativo, carrinho, busca interna, parâmetros de ordenação e filtros, páginas de login. Na dúvida, não bloqueie.
2. Escreva o arquivo em texto puro
   Use um editor simples, salve como robots.txt (tudo em minúsculas) com codificação UTF-8. Nada de Word ou formatação.
3. Publique na raiz do domínio
   Suba o arquivo para a pasta pública principal. Em WordPress, o próprio sistema gera um robots.txt virtual, e plugins como Yoast ou Rank Math permitem editá-lo pelo painel.
4. Inclua a linha do sitemap
   Use sempre a URL absoluta, com https://. Pode listar mais de um sitemap.
5. Libere CSS, JavaScript e imagens
   O Google renderiza as páginas como um navegador. Bloquear recursos essenciais pode fazer com que ele veja uma versão quebrada do site.
6. Teste e monitore
   Abra seudominio.com.br/robots.txt no navegador, confira o relatório de robots.txt do Search Console e acompanhe o relatório de indexação nas semanas seguintes.

Erros mais comuns

• Esquecer o Disallow: / do ambiente de homologação: o site novo vai ao ar copiando o robots.txt do ambiente de testes e some do Google. É um dos erros mais caros em migrações.
• Bloquear páginas que têm noindex: o Google não consegue ler a tag e a URL pode continuar nos resultados.
• Bloquear URLs que deveriam ser redirecionadas: se a URL antiga está bloqueada, o robô não enxerga o redirecionamento 301 e os sinais demoram muito mais para passar para a página nova.
• Bloquear pastas de recursos como /wp-content/ ou /assets/, o que prejudica a renderização.
• Usar robots.txt para esconder conteúdo sensível: o arquivo é público. Qualquer pessoa pode abrir e ver exatamente quais caminhos você tentou esconder.
• Confiar em crawl-delay para o Google: o Googlebot ignora a diretiva. Se o servidor está sofrendo, o caminho é melhorar a infraestrutura ou responder temporariamente com 503 ou 429.

Como testar no Search Console

O antigo “Testador de robots.txt” foi descontinuado em 2023 e deu lugar ao relatório de robots.txt, que fica em Configurações no Google Search Console. Ele mostra:

• Quais arquivos robots.txt o Google encontrou para os 20 principais hosts da propriedade.
• Quando cada arquivo foi rastreado pela última vez e se a busca deu certo.
• Erros e avisos de interpretação, além do histórico de versões dos últimos 30 dias.
• Um botão para solicitar novo rastreamento do arquivo em casos urgentes, como depois de corrigir um bloqueio acidental.

Para checar uma URL específica, use a Inspeção de URL: ela informa se o rastreamento foi permitido ou bloqueado pelo robots.txt.

Robots.txt e os robôs de IA

Com a busca generativa, o robots.txt ganhou um papel novo: definir quais empresas de IA podem usar o seu conteúdo e para quê. Cada empresa publica os nomes (tokens) dos seus robôs, e as funções são diferentes:

Um ponto importante: o Google-Extended não controla os AI Overviews. Eles fazem parte da Pesquisa e usam o Googlebot. Segundo o Google, para limitar o que aparece da sua página nesses recursos, os controles são nosnippet, data-nosnippet, max-snippet ou noindex. Exemplo de bloqueio só para treinamento, mantendo a visibilidade nas buscas:

Perguntas Frequentes

Todo site precisa de robots.txt?

Não é obrigatório. Sem o arquivo (ou com resposta 404), o Google rastreia o site sem restrições. Mesmo assim, vale ter um robots.txt simples para indicar o sitemap e bloquear áreas sem valor de busca.

Bloquear uma página no robots.txt tira ela do Google?

Não. O bloqueio impede o rastreamento, mas a URL ainda pode ser indexada se receber links, aparecendo sem descrição. Para remover uma página dos resultados, use noindex e deixe a URL liberada no robots.txt.

Quanto tempo leva para o Google ver uma alteração no robots.txt?

O Google costuma manter o arquivo em cache por até 24 horas. Em situações urgentes, dá para solicitar um novo rastreamento pelo relatório de robots.txt do Search Console.

Posso usar robots.txt para bloquear robôs de IA?

Sim, para os robôs que respeitam o protocolo, como GPTBot, OAI-SearchBot e o token Google-Extended. Lembre que bloquear robôs de busca com IA pode tirar o seu site das respostas desses assistentes.

Subdomínios usam o mesmo robots.txt?

Não. Cada host tem o seu arquivo. O blog em blog.exemplo.com.br precisa de um robots.txt próprio, separado do domínio principal.