Compreender o orçamento de rastreio e a sua importância
O orçamento de rastreio é um conceito crítico para a manutenção e otimização de sites. Refere-se à quantidade de atenção que os motores de pesquisa dedicam a um site para descobrir e atualizar o seu conteúdo. Compreender este equilíbrio ajuda a garantir que as páginas importantes de um site sejam visitadas com a frequência necessária, sem sobrecarregar a infraestrutura técnica que suporta o projeto.
Esta ferramenta ajuda a estimar quantas páginas o servidor de um site pode suportar com segurança para serem rastreadas por dia, comparando esse valor com a procura diária estimada de rastreio do site. Ao permitir o ajuste de várias premissas do site e do servidor, o utilizador consegue visualizar o impacto direto nas estimativas de rastreio, facilitando a identificação de potenciais gargalos e problemas de cobertura.
Fatores que influenciam a procura de rastreio e a capacidade do servidor
A dinâmica de rastreio de um site depende de duas vertentes principais: a necessidade de atualização do próprio site (procura) e a robustez da infraestrutura que o aloja (capacidade).
Do lado do site, o volume total de páginas e a frequência com que o conteúdo é alterado determinam o esforço necessário para manter o índice dos motores de pesquisa atualizado. Do lado do servidor, o desempenho técnico dita o limite de segurança para evitar que a atividade dos robôs prejudique a experiência dos utilizadores reais. Os fatores que influenciam diretamente esta relação incluem:
- O volume de Páginas rastreáveis.
- O Intervalo médio de atualização do conteúdo.
- O Tempo médio de resposta (ms) do servidor.
- A Capacidade do servidor (requests/second) global.
- A Capacidade disponível para crawlers (%).
- A Simultaneidade permitida do rastreador.
Como estimar a procura diária de rastreio
A procura diária de rastreio representa o volume de pedidos que os robôs precisariam de efetuar diariamente para manter o conteúdo do site atualizado no seu índice. Esta estimativa baseia-se no tamanho do site e no ciclo de vida do seu conteúdo.
Para calcular este valor, a ferramenta utiliza as seguintes entradas na secção Procura do local:
- Páginas rastreáveis: O número total de páginas que compõem o site.
- Intervalo médio de atualização: Um número associado a uma unidade de tempo, que pode ser definida em dias, semanas ou meses.
Adicionalmente, a fórmula recorre ao Multiplicador de procura (com um valor padrão de 1,2) para ajustar a estimativa. A procura diária é calculada matematicamente como a contagem de páginas dividida pelo intervalo de atualização alvo, sendo depois multiplicada pelo fator de procura.
Avaliar a capacidade do servidor para o rastreio
A capacidade do servidor determina o limite seguro de pedidos que a sua infraestrutura consegue processar sem sofrer degradação de desempenho. Esta avaliação considera a velocidade de resposta e os limites de concorrência configurados.
As hipóteses de capacidade do servidor são definidas através dos seguintes parâmetros:
- Tempo médio de resposta (ms): O tempo que o servidor demora a responder a um pedido, medido em milissegundos.
- Capacidade do servidor (requests/second): O limite máximo de pedidos por segundo que o servidor suporta.
- Capacidade disponível para crawlers (%): A percentagem da largura de banda ou recursos do servidor dedicada exclusivamente aos robôs de pesquisa.
- Simultaneidade permitida do rastreador: O número de ligações simultâneas que os robôs podem abrir.
A capacidade segura diária é calculada como o menor valor entre os limites de taxa de solicitação e de simultaneidade, sendo este resultado reduzido pela percentagem definida em Utilização segura (%) (que possui um valor padrão de 70%).
Identificar gargalos de capacidade e cobertura
Após processar as variáveis introduzidas, a ferramenta gera métricas que revelam a eficiência do rastreio e onde se encontram as limitações do sistema. Os resultados apresentados incluem:
- Procura de rastreio/dia: O volume estimado de pedidos diários necessários.
- Capacidade segura/dia: O limite diário de pedidos que o servidor aguenta em segurança.
- Estimativa de rastreios alcançáveis/dia: O volume real de rastreios que se prevê conseguir realizar.
- Demanda atendida: A percentagem da procura que a capacidade segura consegue cobrir (visualmente limitada a um intervalo de 0–100%).
- Dias para cobrir todas as páginas: O tempo necessário para que todo o inventário de páginas seja rastreado.
A ferramenta identifica também o Gargalo de capacidade, que pode assumir um de dois diagnósticos:
- Taxa de solicitação disponível: Quando o limite reside na taxa de pedidos por segundo configurada.
- Simultaneidade e tempo de resposta: Quando o fator limitador é a combinação das ligações simultâneas com a velocidade de resposta do servidor.
Se a Demanda atendida for inferior a 100%, o estado apresentado será "A procura modelada está acima da estimativa de capacidade segura". Caso seja igual ou superior a 100%, o estado exibido será "A estimativa da capacidade segura cobre a procura modelada".
Regras de validação e privacidade de dados
Para garantir a precisão dos cálculos, a ferramenta aplica regras estritas de validação de dados. O utilizador deve preencher todos os campos de entrada para que a estimativa seja calculada. As regras de validação incluem:
- Todas as entradas devem ser números finitos comuns dentro do intervalo suportado.
- Cada valor introduzido deve ser estritamente maior que zero.
- O valor máximo permitido para qualquer número é 1e12.
- As hipóteses percentuais, como a Capacidade disponível para crawlers (%) e a Utilização segura (%), não devem ser superiores a 100%.
Se estas regras não forem cumpridas, a ferramenta exibirá mensagens de erro específicas, tais como "Preencha todas as entradas para calcular a estimativa", "Introduza números finitos comuns dentro do intervalo suportado", "Cada entrada deve ser maior que zero" ou "As hipóteses percentuais não devem ser superiores a 100%".
No que diz respeito à privacidade, o processamento é totalmente seguro. As premissas do seu site e servidor são calculadas no seu browser. Nada é carregado em BroBroGo.
Perguntas frequentes
Isto prevê a frequência com que o Googlebot irá rastrear o meu site? Não. Os motores de pesquisa definem a procura e a capacidade de rastreio a partir de sinais que não são totalmente públicos. Esta estimativa serve para planeamento e comparação; calibre-o com os registos do servidor e os relatórios de rastreio. Adicionalmente, deve ter em conta que esta é uma estimativa de planeamento, não uma promessa de motor de busca. O rastreio não garante a indexação, e as taxas reais de rastreio dependem também do valor do conteúdo, dos erros, da procura e da política do rastreador.
Como é calculada a estimativa? A procura diária é a contagem de páginas dividida pelo intervalo de atualização alvo e depois multiplicada pelo fator de procura. A capacidade segura é o menor entre a taxa de solicitação e os limites de simultaneidade, reduzido pela utilização de segurança.