Googlebot: o que é o robô do Google e como identificá-lo

O que é o Googlebot

Googlebot é o robô (crawler) que o Google usa para visitar e baixar páginas da web para a Busca, e opera em duas versões: Googlebot Smartphone, que simula um usuário de celular, e Googlebot Desktop, que simula um computador.

Se o rastreamento é o processo, o Googlebot é quem o executa. Ele é o agente que aparece nos logs do servidor, que lê o robots.txt e que renderiza as páginas com uma versão sempre atualizada do Chromium. O que ele coleta alimenta o índice de onde saem os resultados orgânicos, o Discover e os recursos de IA da Busca. A decisão de guardar ou não a página no índice vem depois, na etapa de indexação.

As duas versões obedecem ao mesmo token no robots.txt (Googlebot), então não é possível bloquear só uma delas por lá. Segundo a documentação oficial, a maior parte das requisições vem do Googlebot Smartphone, consequência direta da indexação mobile-first.

Googlebot e os outros robôs do Google

O Googlebot não é o único robô do Google. A documentação de infraestrutura de rastreamento lista vários rastreadores, cada um com seu token no robots.txt:

Bloquear o token Googlebot no robots.txt afeta toda a presença na Busca. E bloquear o rastreamento não é o mesmo que tirar a página do índice: para isso, a diretiva é o noindex, que o Googlebot só lê se puder acessar a página.

Como identificar o Googlebot

O cabeçalho user-agent do Googlebot é frequentemente falsificado por outros robôs, então ver “Googlebot” no log não prova nada. O Google indica duas formas de confirmação:

• DNS reverso e direto: o nome do IP deve terminar em googlebot.com, google.com ou googleusercontent.com, e esse nome precisa apontar de volta para o mesmo IP.
• Faixas de IP publicadas: para grandes volumes, o Google publica arquivos JSON com os IPs dos seus rastreadores, como o common-crawlers.json.

Nos user agents, o trecho Chrome/W.X.Y.Z indica a versão do Chromium e muda com o tempo; ao filtrar logs, use curingas. Para ver como o Googlebot enxerga uma página, a Inspeção de URL do Google Search Console mostra o HTML renderizado. Excesso de visitas costuma ter causa estrutural, como navegação facetada, assunto do verbete crawl budget.

Googlebot e a busca com IA

Os AI Overviews e o Modo IA não exigem liberar outro robô. O Google afirma que as regras de robots.txt para o Googlebot são o controle para o rastreamento da Busca, incluindo esses recursos. Para limitar o que aparece, valem os controles de snippet, como nosnippet e max-snippet. O Google-Extended, por sua vez, não afeta a inclusão nem o ranqueamento na Busca.

Perguntas Frequentes

Com que frequência o Googlebot visita um site?

Não há frequência fixa. Para a maioria dos sites, a orientação do Google é que o Googlebot não acesse mais de uma vez a cada poucos segundos, em média.

Dá para bloquear só o Googlebot Desktop?

Não pelo robots.txt. As duas versões usam o mesmo token, Googlebot. A diferença aparece apenas no user agent registrado nos logs.

O Googlebot executa JavaScript?

Sim. Ele renderiza as páginas com uma versão atualizada do Chromium. Conteúdo que depende de clique ou de recursos bloqueados pode não ser visto.