Crawl Budget: o que é o orçamento de rastreamento e como otimizar

O que é crawl budget

Crawl budget, ou orçamento de rastreamento, é a quantidade de URLs de um site que o Googlebot pode e quer rastrear em um intervalo de tempo. Como a web é praticamente infinita e os recursos do Google não são, o buscador precisa decidir quanto tempo dedicar a cada site e em quais páginas gastar esse tempo.

O conceito importa porque rastreamento é a porta de entrada de tudo. Uma página que não é rastreada não chega ao índice, e uma página atualizada que demora a ser rastreada de novo continua aparecendo com a versão antiga. A sequência completa (rastrear, indexar e exibir) está explicada no guia de indexação.

Como o Google define o orçamento

A documentação oficial explica o crawl budget como a combinação de dois elementos:

A demanda é influenciada por três fatores que o Google descreve:

• Inventário percebido: sem orientação, o Google tenta rastrear todas as URLs que conhece. Se muitas forem duplicadas ou inúteis, tempo de rastreamento é desperdiçado. É o fator que você mais controla.
• Popularidade: URLs mais populares na web tendem a ser rastreadas com mais frequência para se manterem atualizadas no índice.
• Desatualização: o Google tenta rastrear de novo os documentos com frequência suficiente para captar mudanças.

Mesmo que o servidor aguente muito, se a demanda for baixa o Google rastreia pouco. E mesmo com muita demanda, um servidor lento limita o rastreamento.

Quem precisa se preocupar

O guia do Google sobre crawl budget é classificado como avançado e voltado a perfis específicos. Os números abaixo são, nas palavras do próprio Google, estimativas aproximadas:

• Sites grandes: mais de 1 milhão de páginas únicas, com conteúdo que muda cerca de uma vez por semana.
• Sites médios ou grandes muito dinâmicos: mais de 10 mil páginas únicas com conteúdo que muda diariamente.
• Sites com muitas URLs “Descoberta, mas não indexada no momento” no relatório de indexação do Search Console.

Para a grande maioria dos sites institucionais, blogs e lojas pequenas, o Google rastreia tudo o que precisa sem esforço especial. Se as páginas novas costumam ser indexadas no mesmo dia ou em poucos dias, crawl budget não é o seu problema. Nesse caso, a energia rende mais em conteúdo, linkagem interna e autoridade.

Mitos e verdades sobre crawl budget

O Google publicou uma página específica para desfazer confusões sobre rastreamento. Os pontos principais:

O que desperdiça rastreamento

Na prática, quase todo problema de crawl budget vem de um mesmo lugar: o site expõe ao robô muito mais URLs do que páginas úteis. Os vilões mais frequentes:

• Navegação facetada e filtros: cada combinação de filtro vira uma URL nova, com conteúdo quase igual.
• Parâmetros de rastreamento e sessão: UTMs, IDs de sessão e parâmetros de ordenação em links internos.
• Espaços infinitos: calendários com “próximo mês” sem fim, paginações que geram páginas vazias, buscas internas indexáveis.
• Conteúdo duplicado: versões com e sem barra, maiúsculas e minúsculas, http e https, www e sem www.
• Soft 404: páginas que dizem “produto indisponível” mas respondem com código 200, ou URLs removidas redirecionadas em massa para a home.
• Cadeias longas de redirecionamento: cada salto é uma requisição a mais.
• Servidor lento ou instável: reduz o limite de capacidade e, consequentemente, o volume rastreado.

Como otimizar o crawl budget

1. Consolide o conteúdo duplicado
   Escolha uma URL por conteúdo e aponte as variações para ela com redirecionamento ou tag canonical. Lembre que a canonical não impede o rastreamento das variações; ela reduz o problema ao longo do tempo, mas URLs que nem deveriam existir precisam ser eliminadas na origem.
2. Bloqueie no robots.txt o que não deve ser rastreado
   Filtros sem valor de busca, carrinho, busca interna e parâmetros de ordenação podem ser bloqueados no robots.txt. O Google observa que esse bloqueio só libera orçamento para outras páginas se o site já estiver no limite de capacidade.
3. Não use noindex como ferramenta de economia
   O Google ainda precisa visitar a página para ler o noindex. Para URLs que você não quer nem rastreadas, robots.txt é o caminho. Para tirar uma página do índice, aí sim noindex.
4. Retorne 404 ou 410 para páginas removidas de vez
   O Google entende rapidamente que a URL não existe mais e para de insistir nela. Corrija também os soft 404.
5. Elimine cadeias de redirecionamento
   Atualize links internos para apontar direto para o destino final e mantenha cada redirecionamento 301 com um único salto sempre que possível.
6. Mantenha o sitemap limpo e com lastmod preciso
   Um sitemap XML só com URLs canônicas e datas confiáveis ajuda o Google a priorizar o que mudou.
7. Acelere o servidor e a renderização
   Respostas rápidas aumentam o limite de capacidade. O Google também recomenda suportar respostas 304 Not Modified, que economizam banda quando a página não mudou. Melhorias de desempenho também beneficiam os usuários, tema dos Core Web Vitals.

Como monitorar no Search Console

Três relatórios do Google Search Console mostram como o seu crawl budget está sendo usado:

Para sites muito grandes, a análise de logs do servidor complementa o Search Console: ela mostra exatamente quais URLs o Googlebot visitou, com que frequência e quanto tempo gastou em áreas sem valor.

Crawl budget na era da IA

Os AI Overviews e o Modo IA usam o índice da Pesquisa Google. Se uma página importante demora semanas para ser rastreada de novo, a versão desatualizada é a que fica disponível para os sistemas de IA. Em temas que mudam rápido, como preços, estoque ou dados de mercado, isso faz diferença na chance de ser citado.

Outro ponto de atenção é a carga dos robôs de IA. Além do Googlebot, rastreadores de empresas como OpenAI, Anthropic e Perplexity também visitam os sites. Eles não consomem o orçamento do Google, mas consomem a capacidade do servidor. Se o servidor fica lento por causa deles, o Google reduz o limite de capacidade. Monitore os logs e, se necessário, controle esses robôs pelo robots.txt ou no nível do servidor. Para entender como a visibilidade em IA funciona, veja o guia de GEO (Generative Engine Optimization).

Perguntas Frequentes

Meu site pequeno precisa se preocupar com crawl budget?

Em geral, não. O Google afirma que sites pequenos com conteúdo importante e atualizado também são rastreados com frequência. A preocupação vale para sites com centenas de milhares ou milhões de URLs, ou com muitas páginas que mudam todo dia.

Crawl budget influencia o ranqueamento?

Não. O Google diz que rastreamento não é fator de ranqueamento. Um crawl budget bem usado faz páginas novas e atualizadas chegarem mais rápido ao índice, mas não melhora a posição delas.

Como aumentar o crawl budget do meu site?

Melhore a velocidade e a estabilidade do servidor (limite de capacidade) e aumente o interesse do Google pelo conteúdo (demanda), com páginas únicas, úteis e populares. Ao mesmo tempo, elimine URLs duplicadas e de baixo valor.

Bloquear páginas no robots.txt economiza crawl budget?

Evita que o Google gaste tempo nessas URLs. Segundo o Google, porém, o tempo economizado só é redirecionado para outras páginas se o site já estiver no limite de capacidade de rastreamento.

Erros 404 prejudicam o crawl budget?

Não. O Google classifica como mito a ideia de que páginas 4xx desperdiçam orçamento (com exceção do 429). Para páginas removidas de forma permanente, retornar 404 ou 410 é justamente a recomendação.