X-Robots-Tag: o que é, como configurar e quando usar

O que é X-Robots-Tag

X-Robots-Tag é um cabeçalho de resposta HTTP que informa aos robôs dos buscadores como uma URL pode ser indexada e exibida nos resultados, aceitando as mesmas regras da meta tag robots, mas funcionando para qualquer tipo de arquivo.

A resposta do servidor tem cabeçalhos (status, tipo de conteúdo, data) e corpo (o HTML, o PDF, a imagem). A meta robots fica no corpo, dentro do <head>; o X-Robots-Tag fica nos cabeçalhos. Por isso ele funciona onde a meta tag não pode: um PDF ou um JPG não têm <head>.

Na prática, o X-Robots-Tag é usado em três situações:

• Arquivos não HTML: PDFs de catálogos antigos, planilhas, imagens de bancos de imagem, vídeos que você não quer ver na busca.
• Regras em massa: aplicar noindex a um diretório inteiro, a um subdomínio de homologação ou a URLs com determinado padrão, direto na configuração do servidor, sem mexer em cada página.
• Quando o HTML não é editável: sistemas fechados ou legados, em que é mais fácil configurar o servidor ou o CDN.

O X-Robots-Tag não faz parte de nenhuma especificação formal: a MDN o descreve como um padrão de fato, respeitado apenas por robôs cooperativos.

Como funciona a sintaxe

A forma mais simples é uma linha no cabeçalho da resposta com a regra desejada:

A partir daí, a documentação do Google prevê algumas variações:

• Várias regras no mesmo cabeçalho, separadas por vírgula: X-Robots-Tag: noindex, nofollow.
• Vários cabeçalhos na mesma resposta, um por linha. O Google considera todos.
• Regras para um robô específico, com o nome do user agent antes da regra: X-Robots-Tag: googlebot: nofollow. Sem nome de robô, a regra vale para todos os rastreadores.
• Sem diferença entre maiúsculas e minúsculas: o nome do cabeçalho, o nome do robô e os valores são lidos da mesma forma.

X-Robots-Tag, meta robots e robots.txt: diferenças

Os três controles costumam ser confundidos, mas atuam em momentos diferentes. O robots.txt decide se o robô pode rastrear (baixar) a URL. A meta robots e o X-Robots-Tag decidem o que o buscador pode fazer com a URL depois de rastreá-la: indexar, mostrar trecho, seguir links.

A documentação do Google explica que uma página bloqueada no robots.txt ainda pode aparecer nos resultados se outros sites linkarem para ela, porque o robô nunca chega a ver a regra de noindex. Para tirar algo do índice, a URL precisa estar liberada para rastreamento e entregar o noindex (no HTML ou no cabeçalho). Só depois de removida, se fizer sentido, você bloqueia o rastreamento.

Entre X-Robots-Tag e meta robots o efeito é o mesmo: qualquer regra válida em uma vale na outra. A escolha é operacional: para uma página isolada, a meta tag via CMS é mais simples; para todos os PDFs ou um ambiente de homologação inteiro, o cabeçalho é mais seguro. Para entender o processo completo, veja o guia de indexação no Google.

Regras suportadas pelo Google

A lista abaixo segue a especificação oficial de meta robots, data-nosnippet e X-Robots-Tag do Google Search Central, atualizada em março de 2026. Outros buscadores podem interpretar as regras de forma diferente.

Dois detalhes evitam surpresas. Primeiro, as regras de exibição não bloqueiam os dados estruturados: um resultado rico pode continuar aparecendo, com exceção do limite imposto por max-snippet em descrições. Segundo, o X-Robots-Tag não substitui a tag canonical. Se você tem duas versões do mesmo conteúdo e quer consolidar sinais em uma delas, canonical é o caminho; noindex apenas esconde uma URL.

Exemplos em Apache, .htaccess e Nginx

Os exemplos abaixo partem da documentação do Google. No Apache, as regras podem ir no httpd.conf ou no .htaccess, e dependem do módulo mod_headers ativo. No Nginx, vão no arquivo .conf do site, dentro do bloco server.

Todos os PDFs fora do índice

Apache ou .htaccess:

Nginx:

Imagens fora do Google Imagens

Apache ou .htaccess, para PNG, JPG, JPEG e GIF:

Nginx:

Um arquivo específico

No Apache, troque o padrão pelo nome do arquivo (<Files "tabela-2024.pdf">), com o .htaccess no mesmo diretório. No Nginx, use o caminho exato: location = /arquivos/tabela-2024.pdf.

Como testar se o cabeçalho está ativo

Como o X-Robots-Tag não aparece no código-fonte, um noindex esquecido pode derrubar o tráfego sem que ninguém perceba olhando o HTML. Siga esta rotina sempre que mexer na configuração:

1. Consulte o cabeçalho pela linha de comando
   No terminal, rode curl -sI https://www.seusite.com.br/arquivo.pdf e procure a linha X-Robots-Tag. Repita com -A "Googlebot" se o servidor ou o CDN tratar robôs de forma diferente.
2. Confira no navegador
   No Chrome, abra o DevTools (F12), vá à aba Network, recarregue a página, clique na requisição do documento ou do arquivo e veja os Response Headers.
3. Use a Inspeção de URL do Search Console
   Na ferramenta de Google Search Console, inspecione a URL e faça o teste ao vivo. O relatório mostra se a indexação é permitida e, nos detalhes da resposta, os cabeçalhos HTTP recebidos pelo Googlebot.
4. Acompanhe o relatório de indexação de páginas
   O relatório de páginas do Search Console lista as URLs em que o Googlebot encontrou uma regra noindex. Se aparecer algo que deveria estar indexado, investigue o cabeçalho e o HTML.
5. Peça um novo rastreamento e aguarde
   O Google só aplica a regra quando volta à URL. A documentação avisa que isso pode levar meses em páginas menos importantes; solicitar a indexação pela Inspeção de URL acelera o processo.

Em sites grandes, inclua o X-Robots-Tag na auditoria técnica de rotina, ao lado de status HTTP e canonical: rastreadores de SEO listam o cabeçalho por URL e revelam regras aplicadas por engano.

X-Robots-Tag e controles para a busca com IA

Com AI Overviews, Modo IA e assistentes generativos, muitos sites querem controlar o uso do próprio conteúdo. O X-Robots-Tag é parte da resposta, mas não toda.

Dentro da busca do Google: nosnippet e max-snippet

A especificação do Google deixa claro que nosnippet se aplica também a AI Overviews e Modo IA, e impede que o conteúdo seja usado como entrada direta nesses recursos. O max-snippet também vale para os recursos de IA, limitando quanto texto pode ser exibido. Como qualquer outra regra, ambas podem ir no cabeçalho, o que é útil para aplicar a uma seção inteira do site.

O custo é alto: nosnippet também remove o trecho de texto do resultado tradicional, o que costuma reduzir cliques. Para proteger só uma parte da página (um preço, um trecho exclusivo para assinantes), o atributo data-nosnippet em elementos span, div ou section é mais cirúrgico, mas ele vive no HTML, não no cabeçalho. Para a estratégia completa, veja o guia de SEO para AI Overviews e Modo IA.

Fora da busca: Google-Extended

O Google-Extended é um token de produto do robots.txt, e não um cabeçalho. Segundo a lista de rastreadores comuns do Google, ele controla se o conteúdo pode ser usado para treinar futuras gerações dos modelos Gemini e para grounding no app Gemini e no Vertex AI. Ele não tem um user agent HTTP próprio (o rastreamento usa os user agents normais do Google) e não afeta a inclusão nem o ranqueamento na Busca. A documentação do X-Robots-Tag não prevê o Google-Extended como destinatário do cabeçalho, então o caminho é o robots.txt:

Bloquear o Google-Extended não tira o site dos AI Overviews, que fazem parte da Busca. E usar noindex ou nosnippet contra a IA também afeta a busca tradicional: é uma decisão de negócio.

Para outros robôs de IA, confira na documentação de cada empresa quais controles ela honra. Para quem quer ser citado, e não bloqueado, o trabalho é de GEO (Generative Engine Optimization), e o cuidado é não aplicar restrições sem querer.

Erros comuns

• Bloquear no robots.txt e aplicar noindex ao mesmo tempo: o robô não rastreia, não vê o cabeçalho e a URL pode continuar indexada.
• Levar o noindex da homologação para a produção: configurações de servidor costumam ser copiadas em migrações. Um noindex global no ambiente novo derruba o site aos poucos, conforme o Google recrawleia.
• Expressão regular ampla demais: um bloco de imagens que pega também as fotos de produto que você quer no Google Imagens.
• Cabeçalho duplicado e contraditório: servidor, CDN e plugin de SEO enviando regras diferentes. Como vale a mais restritiva, um noindex perdido em uma camada prevalece.
• Tirar o arquivo do sitemap antes da remoção: manter a URL no sitemap XML até ela sair do índice ajuda o Google a voltar e ver a regra.
• Usar o cabeçalho como proteção: noindex não é controle de acesso. Documentos sigilosos precisam de autenticação.
• Desperdiçar rastreamento: para arquivos irrelevantes em volume, pense no crawl budget, mas só bloqueie no robots.txt depois que saírem do índice.

Perguntas Frequentes

X-Robots-Tag e meta robots têm o mesmo efeito?

Sim. Qualquer regra válida na meta robots vale no X-Robots-Tag. Muda só o lugar: HTML ou cabeçalho HTTP. Para PDFs e imagens, só o cabeçalho funciona.

Como tirar um PDF do Google?

Configure o servidor para enviar X-Robots-Tag: noindex na resposta do arquivo, garanta que ele não esteja bloqueado no robots.txt e peça um novo rastreamento na Inspeção de URL do Search Console. Para remoção urgente e temporária, use também a ferramenta de remoções.

O nosnippet tira meu site dos AI Overviews?

Segundo o Google, nosnippet vale para AI Overviews e Modo IA e impede o uso do conteúdo como entrada direta neles. Mas também remove o trecho do resultado tradicional, o que pode reduzir cliques.

Bloquear o Google-Extended afeta meu ranqueamento?

Não. O Google afirma que o Google-Extended não afeta inclusão nem ranqueamento na Busca. Ele controla treinamento e grounding dos modelos Gemini, via robots.txt.