Generatore e Validatore Robots.txt

Definisca le regole di scansione e verifichi a quali percorsi può accedere Googlebot.

Regole di scansione

Inizi con il crawler che deve seguire queste regole.

Sitemap

robots.txt generato

0
Pronto. L'esempio blocca il percorso /admin per tutti i crawler.

Verifica regole

    Verifica un percorso

    Le Sue regole di scansione vengono create e verificate direttamente nel Suo browser. Nulla viene caricato su BroBroGo.

    FAQ

    Cosa posso aggiungere al file robots.txt con questo generatore?

    Consente di aggiungere un gruppo user-agent, percorsi Allow e Disallow e uno o più URL di sitemap. L'anteprima è pronta per essere copiata in un file robots.txt.

    In che modo lo strumento di verifica del percorso sceglie una regola?

    Segue l'ordine di corrispondenza di Google: vince il percorso corrispondente più lungo. Se le regole Allow e Disallow corrispondenti sono ugualmente specifiche, prevale Allow.

    La direttiva Disallow rimuove una pagina dalla Ricerca Google?

    No. Una pagina bloccata può comunque apparire nei risultati di ricerca se altre pagine contengono link che puntano ad essa. Utilizzi il tag noindex, i controlli di accesso o rimuova la pagina se desidera che non compaia affatto nei motori di ricerca.

    Formattatore / Validatore XMLFormatta, minimizza e verifica la struttura XML direttamente nel browser.Codificatore/Decodificatore URL + Entità HTMLCodifichi URL, decodifichi sequenze di escape percentuale ed esegua l'escape di entità HTML.Generatore di URL SlugTrasformi i titoli delle pagine in URL slug puliti e separati da trattini.Generatore di XML SitemapTrasformi gli URL delle pagine e i metadati di scansione in un file sitemap.xml pronto all'uso.Generatore HreflangAggiunga ciascun URL localizzato e ottenga un set completo di tag hreflang con x-default.Verifica Tag CanonicalInserisca l'URL di una pagina per trovarne il tag canonical e confrontarlo con l'indirizzo della pagina.Generatore di Regole di ReindirizzamentoTrasformi le mappature CSV di origine e destinazione in regole 301 o 302 per Nginx, Apache e Vercel.