Gjeneruesi & Validuesi i Robots.txt

Ndërtoni rregulla zvarritjeje dhe kontrolloni se cilin shteg mund të vizitojë Googlebot.

Rregullat e zvarritjes (crawl)

Filloni me crawler-in që duhet të ndjekë këto rregulla.

Hartat e sajtit (sitemaps)

Robots.txt i gjeneruar

0
Gati. Shembulli bllokon /admin për të gjithë crawler-at.

Kontrolli i rregullave

    Testo një shteg

    Rregullat tuaja të zvarritjes krijohen dhe kontrollohen në shfletuesin tuaj. Asgjë nuk ngarkohet në BroBroGo.

    Pyetje të shpeshta

    Çfarë mund të shtojë ky gjenerues në robots.txt?

    Shtoni një grup user-agent, shtigjet Allow dhe Disallow, dhe një ose më shumë URL të hartës së sajtit (sitemap). Parashikimi është gati për t'u kopjuar në një skedar robots.txt.

    Si e zgjedh një rregull kontrolluesi i shtegut?

    Ai ndjek radhën e përputhjes së Google: shtegu më i gjatë përputhës fiton. Nëse rregullat përputhëse Allow dhe Disallow janë po aq specifike, fiton Allow.

    A e heq Disallow një faqe nga Google Search?

    Jo. Një faqe e bllokuar mund të shfaqet ende në rezultatet e kërkimit kur faqet e tjera lidhen me të. Përdorni noindex, kontrollin e qasjes ose hiqni faqen kur dëshironi ta mbani jashtë kërkimit.

    Formatues / Validues XMLFormatoni, minifikoni dhe kontrolloni strukturën XML në shfletuesin tuaj.Koduesi/Dekoduesi i URL-ve + Entitetet HTMLKodon URL-të, dekodon shmangiet me përqindje dhe shmang entitetet HTML.Gjeneruesi i URL SlugKthejini titujt e faqeve në slug-je URL-sh të pastra dhe me viza lidhëse.Gjeneruesi i XML SitemapKthejini URL-të e faqeve dhe meta-të dhënat e zvarritjes në një sitemap.xml gati për përdorim.Gjeneruesi i HreflangShtoni çdo URL të lokalizuar dhe merrni një grup të plotë hreflang me x-default.Kontrolluesi i Tagave KanonikëVendosni URL-në e një faqeje për të gjetur kanoniken e saj dhe për ta krahasuar me adresën e faqes.Gjeneruesi i Rregullave të RidrejtimitKthejeni CSV-në me përputhjet e burimit dhe destinacionit në rregulla 301 ose 302 për Nginx, Apache dhe Vercel.