Gerador e Validador de Robots.txt

Crie regras de rastreamento e verifique quais caminhos o Googlebot pode acessar.

Regras de rastreamento

Comece com o rastreador (crawler) que deve seguir estas regras.

Sitemaps

robots.txt gerado

0
Pronto. O exemplo bloqueia /admin para todos os rastreadores.

Verificação de regras

    Testar um caminho

    Suas regras de rastreamento são criadas e verificadas no seu navegador. Nada é enviado para o BroBroGo.

    FAQ

    O que este gerador pode adicionar ao robots.txt?

    Adicione um grupo de user-agent, caminhos de permissão (Allow) e bloqueio (Disallow) e uma ou mais URLs de sitemap. A visualização estará pronta para ser copiada em um arquivo robots.txt.

    Como o verificador de caminho escolhe uma regra?

    Ele segue a ordem de correspondência do Google: o caminho correspondente mais longo vence. Se as regras Allow e Disallow correspondentes forem igualmente específicas, a regra Allow vence.

    A regra Disallow remove uma página da Pesquisa Google?

    Não. Uma página bloqueada ainda pode aparecer nos resultados de pesquisa se outras páginas tiverem links para ela. Use noindex, controle de acesso ou remova a página se precisar mantê-la totalmente fora das buscas.

    Formatador e Validador XMLFormate, minifique e verifique a estrutura do XML diretamente no seu navegador.Codificador/Decodificador de URL + Entidades HTMLCodifique URLs, decodifique escapes percentuais e converta entidades HTML.Gerador de Slug de URLTransforme títulos de páginas em slugs de URL limpos e separados por hifens.Gerador de XML SitemapTransforme URLs de páginas e metadados de rastreamento em um sitemap.xml pronto para uso.Gerador de HreflangAdicione cada URL localizada e obtenha um conjunto completo de hreflang com x-default.Verificador de Tag CanonicalInsira a URL de uma página para encontrar sua tag canonical e compará-la com o endereço da página.Gerador de Regras de RedirecionamentoTransforme mapeamentos de CSV de origem e destino em regras 301 ou 302 para Nginx, Apache e Vercel.