Robots.txt: o que é, como configurar e controlar robôs de IA
Entenda o que é robots.txt, como o Google lê o arquivo, veja exemplos prontos, a diferença para noindex e como controlar robôs de IA como o GPTBot.
Resumo rápido
es-419 não é aceito pelo Google.Hreflang é um atributo que indica aos mecanismos de busca as versões alternativas de uma página para diferentes idiomas ou regiões, permitindo que o Google mostre a cada usuário a versão mais adequada ao seu idioma e país. Ele aparece no código como rel="alternate" hreflang="...".
Imagine uma empresa brasileira que vende para Brasil e Portugal e tem uma versão em espanhol para a América Latina. Sem hreflang, um usuário em Lisboa pode cair na página com preços em reais e “você” em todo o texto, enquanto um mexicano encontra a versão em português. Com hreflang, você diz explicitamente ao Google: “esta é a página para pt-BR, esta para pt-PT e esta para falantes de espanhol”.
Dois pontos costumam surpreender:
A documentação do Google recomenda indicar as versões alternativas em três cenários principais:
Se o seu site tem um único idioma e atende um único país, você não precisa de hreflang. O mesmo vale para um blog em português que recebe visitas de Portugal sem ter uma versão específica para lá.
Para não confundir: páginas traduzidas não são consideradas conteúdo duplicado. Para o Google, versões localizadas só são duplicadas quando o conteúdo principal continua sem tradução. Já duas páginas muito parecidas no mesmo idioma (pt-BR e pt-PT quase idênticas, por exemplo) podem ser agrupadas como duplicatas.
O valor do hreflang tem uma ou duas partes separadas por hífen: primeiro o idioma, no padrão ISO 639-1, e depois, opcionalmente, a região, no padrão ISO 3166-1 Alpha-2.
| Valor | Significado | Válido? |
|---|---|---|
pt |
Português, qualquer país | Sim |
pt-BR |
Português para usuários no Brasil | Sim |
pt-PT |
Português para usuários em Portugal | Sim |
es |
Espanhol, qualquer país | Sim |
en-US |
Inglês para usuários nos Estados Unidos | Sim |
br |
Parece “Brasil”, mas é o código do idioma bretão | Não faz o que você espera |
en-UK |
UK é código reservado; o correto é en-GB |
Não (a região é ignorada) |
es-419 |
Espanhol da América Latina | Não é aceito pelo Google |
x-default |
Página padrão para quem não se encaixa em nenhuma versão | Sim |
O valor reservado x-default indica a página de fallback, aquela que deve aparecer quando o idioma do usuário não corresponde a nenhuma versão listada. Ele foi pensado para páginas seletoras de idioma ou home pages que redirecionam automaticamente, mas pode ser usado em qualquer página. Em um site com versões pt-BR, pt-PT e es, o x-default poderia apontar para uma versão em inglês ou para uma página de escolha de país.
Dica para a América Latina: como o es-419 não é suportado, use es para a versão genérica em espanhol e, se tiver páginas específicas, códigos de país como es-MX, es-AR ou es-CO. Ter uma versão genérica no idioma, além das regionais, é uma recomendação do próprio Google.
Para o Google, os três métodos são equivalentes. Usar mais de um ao mesmo tempo não traz benefício e só aumenta a chance de conflito.
| Método | Onde fica | Melhor para | Cuidado |
|---|---|---|---|
| Tags no HTML | <link> dentro do <head> de cada página |
Sites pequenos e médios, CMS com plugin de tradução | Aumenta o tamanho do <head> quando há muitos idiomas |
| Cabeçalho HTTP | Cabeçalho Link: na resposta do servidor |
Arquivos que não são HTML, como PDFs | Exige acesso à configuração do servidor |
| Sitemap XML | Elementos <xhtml:link> dentro de cada <url> |
Sites grandes, com muitas versões e páginas | O sitemap precisa ser mantido em sincronia com o site |
Se optar pelo sitemap, cada URL entra em um <url> próprio, com a lista completa de versões (incluindo ela mesma). As entradas filhas não contam no limite de URLs do arquivo. Veja os fundamentos do arquivo em sitemap XML.
Uma empresa tem a mesma página de serviço em quatro versões. O bloco abaixo vai, idêntico, no <head> de todas elas:
Repare nas regras aplicadas:
hreflang="pt-BR" apontando para ela própria.https://). Caminhos relativos como /br/servico/ não são aceitos.media, na mesma tag <link>.<head> bem formado. Na dúvida, cole o código renderizado em um validador de HTML, como sugere o próprio Google, para confirmar que elas não ficaram fora do head.As URLs alternativas não precisam estar no mesmo domínio. O hreflang funciona entre exemplo.com.br e exemplo.pt, por exemplo. Para escolher a estrutura (domínios por país, subdomínios ou subpastas), considere custo, manutenção e força dos backlinks: subpastas concentram a autoridade em um domínio só, enquanto domínios com código de país (ccTLD) dão um sinal geográfico mais forte.
As duas anotações resolvem problemas diferentes. A tag canonical diz qual URL é a principal entre duplicatas; o hreflang liga versões equivalentes em idiomas ou regiões diferentes. Elas funcionam juntas quando cada versão de idioma tem canonical apontando para ela mesma.
O problema aparece quando o canonical de uma versão aponta para outra. Se a página pt-PT tem canonical para a pt-BR, você está dizendo ao Google que a pt-PT é uma duplicata e não deve ser indexada, ao mesmo tempo em que o hreflang pede para exibi-la em Portugal. Os sinais se contradizem. Regra prática: o hreflang deve apontar apenas para URLs canônicas e indexáveis, sem noindex e sem redirecionamento.
Atenção a versões quase idênticas: se as páginas pt-BR e pt-PT têm praticamente o mesmo texto, o Google pode escolher uma delas como canônica e deixar a outra fora do índice, mesmo com hreflang correto. Diferencie de verdade: moeda, preços, frete, contatos, ortografia e exemplos locais.
Hreflang é uma das implementações técnicas com maior taxa de erro. No levantamento da Ahrefs com 374.756 domínios, 67% das implementações tinham algum problema. Os mais frequentes:
br achando que é Brasil, ou uk achando que é Reino Unido.O Search Console tinha um relatório de Segmentação Internacional que mostrava erros de hreflang, mas o Google o descontinuou em 2022, junto com a configuração de país de destino. O suporte ao hreflang continua; o que mudou foi a forma de verificar:
Os AI Overviews e o Modo IA do Google se apoiam no índice e nos sistemas de ranqueamento da busca tradicional, e o Google afirma que não há requisitos técnicos extras para aparecer nesses recursos. Isso significa que um site internacional bem resolvido para a busca orgânica, com versões indexadas e ligadas por hreflang, também entrega à IA as páginas certas para cada idioma. Saiba mais em SEO para AI Overviews e Modo IA.
Fora do Google, não há documentação pública mostrando como ChatGPT ou Perplexity tratam o hreflang. O que se sabe é que essas ferramentas respondem no idioma do usuário e buscam fontes na web. Ter conteúdo realmente localizado (e não uma tradução automática rasa) aumenta a chance de a sua página ser a fonte escolhida em cada mercado, algo central em uma estratégia de GEO.
Não diretamente. Ele não é um sinal de ranqueamento, e sim uma forma de o Google trocar a versão exibida pela mais adequada ao idioma e país do usuário. O ganho aparece em cliques, engajamento e conversão.
Use pt-BR para português voltado ao Brasil, ou apenas pt se a página atende qualquer falante de português. Nunca use só br, que é o código do idioma bretão.
Não. O hreflang só faz sentido quando existem duas ou mais versões da mesma página para idiomas ou regiões diferentes.
Pode, mas não há benefício. O Google considera os métodos equivalentes, e manter dois aumenta o risco de informações conflitantes. Escolha o que for mais fácil de manter no seu site.
Em geral, nada é penalizado: as anotações com erro são ignoradas, total ou parcialmente. O resultado prático é o Google exibir a versão errada para parte dos usuários, como a página brasileira para quem está em Portugal.
Fontes e referências
Ricardo Nakamura lidera o SEO Next+ da Oxigenweb, departamento dedicado a SEO e GEO (Generative Engine Optimization). Há mais de 5 anos conduz projetos digitais de ponta a ponta para marcas como JBS, Grupo Petrópolis, Caloi e Lufthansa City Center. Escreve sobre processos escaláveis de SEO, busca orientada por IA e como transformar otimização em resultado de negócio.
Ver perfil e todos os artigos de Ricardo →Entenda o que é robots.txt, como o Google lê o arquivo, veja exemplos prontos, a diferença para noindex e como controlar robôs de IA como o GPTBot.
Deixe seu comentário