Gerador e Validador de Robots.txt
Crie regras de rastreamento e verifique que caminhos o Googlebot pode aceder.
Regras de rastreamento
Comece com o rastreador (crawler) que deve seguir estas regras.
Sitemaps
robots.txt gerado
0Verificação de regras
Testar um caminho
As suas regras de rastreamento são criadas e verificadas no seu navegador. Nada é enviado para o BroBroGo.
Perguntas Frequentes
O que pode este gerador adicionar ao robots.txt?
Adicione um grupo de user-agent, caminhos de permissão (Allow) e bloqueio (Disallow) e um ou mais URLs de sitemap. A pré-visualização estará pronta para ser copiada para um ficheiro robots.txt.
Como é que o verificador de caminho escolhe uma regra?
Segue a ordem de correspondência do Google: o caminho correspondente mais longo vence. Se as regras Allow e Disallow correspondentes forem igualmente específicas, a regra Allow vence.
A regra Disallow remove uma página da Pesquisa Google?
Não. Uma página bloqueada ainda pode aparecer nos resultados de pesquisa se outras páginas tiverem links para ela. Use noindex, controlo de acesso ou remova a página se precisar de a manter totalmente fora das pesquisas.