Namen in delovanje datoteke robots.txt
Datoteka robots.txt je preprosta tekstovna datoteka, ki jo skrbniki spletnih mest postavijo v korenski imenik svoje domene. Njen glavni namen je usmerjanje spletnih pajkov (kot je Googlebot) in določanje, katere dele spletnega mesta lahko obiščejo ter katerih ne. S pravilno konfiguracijo te datoteke lahko nadzorujete obremenitev strežnika in preprečite plazenje po nepotrebnih ali zasebnih delih spletnega mesta.
Orodje Robots.txt generator in preverjevalnik omogoča enostavno sestavljanje pravil plazenja in preverjanje, do katerih poti lahko dostopa Googlebot. Z njim lahko ustvarite datoteko robots.txt s pravili za User-agent, Allow, Disallow in Sitemap ter hkrati preverite skladnjo, konflikte in dostopnost poti za Googlebot.
Pravila plazenja in direktive User-agent
Vsaka skupina pravil v datoteki robots.txt se začne z določitvijo uporabniškega agenta (User-agent), ki mu pravila pripadajo. Uporabniški agent predstavlja ime spletnega pajka.
- User-agent: Vnos določa ime pajka, na katerega se nanašajo pravila. Znak
*se uporablja kot splošno pravilo, ki velja za vse spletne pajke. Ime uporabniškega agenta ne sme vsebovati presledkov. Če vnesete neveljavno ime, orodje prikaže opozorilo: Vnesite eno ime uporabniškega agenta brez presledkov ali uporabite * za vse pajke. - Združevanje skupin: Če je isti uporabniški agent naveden v več ločenih skupinah, bo Google te skupine združil. Orodje na to opozori z obvestilom: Google združi skupine, ki navajajo istega uporabniškega agenta.
Interakcija med pravili Allow in Disallow
Znotraj vsake skupine za določenega uporabniškega agenta določite poti, ki so dovoljene ali prepovedane:
- Disallow (Prepovej): Preprečuje spletnim pajkom dostop do določene poti.
- Allow (Dovoli): Omogoča dostop do poti znotraj sicer prepovedanega imenika.
Vse poti pravil se morajo začeti z znakom / in ne smejo vsebovati presledkov. Če pravilo krši to strukturo, se izpiše napaka: Poti pravil se morajo začeti z / in ne smejo vsebovati presledkov.
Znak $ se lahko uporabi le na koncu poti pravila za označevanje konca niza. Če ga uporabite drugje, orodje javi napako: Znak $ uporabite le na koncu poti pravila.
Konflikti in podvajanja pravil
Pri pisanju pravil lahko pride do prekrivanja ali napak, ki jih orodje samodejno zazna:
- Podvojena pravila: Če se isto pravilo ponovi za istega uporabniškega agenta, se izpiše opozorilo: To pravilo se ponavlja za istega uporabniškega agenta.
- Iste poti: Če pravili Allow in Disallow uporabljata isto pot, nastane konflikt. Orodje vas opozori z obvestilom: Pravili Allow in Disallow uporabljata isto pot. Google uporabi Allow, ko sta obe enako specifični.
Vključitev kazal spletnega mesta (Sitemaps)
Kazalo spletnega mesta (Sitemap) pomaga spletnim pajkom hitreje odkriti in indeksirati vaše vsebine. V datoteko robots.txt lahko dodate enega ali več URL-jev kazal sitemap.
URL-ji kazal sitemap morajo biti zapisani kot celotni naslovi, ki se začnejo s protokolom http:// ali https://. Če vnesete nepopoln naslov, bo orodje javilo napako: URL-ji kazal sitemap potrebujejo celoten naslov http:// ali https://.
Kako Google določa vrstni red ujemanja pravil
Ko Googlebot obišče vaše spletno mesto, analizira pravila v robots.txt po natančno določenem vrstnem redu:
- Dolžina poti: Google vedno upošteva najdaljšo ujemajočo se pot. Dolžina pravila (število znakov v poti) določa njegovo specifičnost. Zmaga tisto pravilo, ki je bolj specifično (daljše).
- Enaka specifičnost: Če sta ujemajoči se pravili Allow in Disallow enako specifični (imata enako dolžino poti), ima pravilo Allow prednost pred Disallow.
Omejitve datoteke robots.txt pri indeksiranju
Pomembno je razumeti, da robots.txt ni varnostno orodje in ne preprečuje prikazovanja strani v rezultatih iskanja.
Blokirana stran se še vedno lahko pojavi med rezultati iskanja, če nanjo kažejo povezave z drugih strani. Datoteka robots.txt namreč preprečuje le plazenje (branje vsebine strani s strani pajka), ne pa samega indeksiranja URL-ja. Orodje ne preverja prisotnosti oznak noindex, nastavitev nadzora dostopa (kot je overjanje z geslom) ali dejanskega odstranjevanja strani s strežnika.
Lokalno obdelovanje podatkov in zasebnost
Vsi vnosi, generiranje pravil in preizkusi poti se izvajajo lokalno. Vaša pravila plazenja se ustvarijo in preverijo v vašem brskalniku. Med delom se nič ne prenaša na BroBroGo, kar zagotavlja, da vaša konfiguracija ostane zasebna pred objavo.
Orodje ima tudi omejitev glede velikosti datoteke. Če generirana datoteka robots.txt preseže 100.000 znakov, se izpiše opozorilo: Ta datoteka robots.txt je prevelika za pregled tukaj.
Pogosta vprašanja (FAQ)
Kaj vse lahko s tem generatorjem dodam v robots.txt?
Dodajte skupino uporabniških agentov, poti za Allow in Disallow ter enega ali več URL-jev kazal sitemap. Predogled je takoj pripravljen za kopiranje v datoteko robots.txt.
Kako preverjevalnik poti izbere pravilo?
Sledi Googlovemu vrstnemu redu ujemanja: zmaga najdaljša ujemajoča se pot. Če sta ujemajoči se pravili Allow in Disallow enako specifični, prevlada Allow.
Ali pravilo Disallow odstrani stran iz Googlovega iskanja?
Ne. Blokirana stran se še vedno lahko pojavi med rezultati iskanja, če nanjo kažejo povezave z drugih strani. Če želite stran popolnoma umakniti iz iskanja, uporabite oznako noindex, omejitev dostopa ali pa stran odstranite.
Kako preizkusim, ali določeno pravilo blokira pot?
V delu za preizkušanje vnesite pot URL (ki se mora začeti z /) in izberite spletnega pajka. Orodje bo izračunalo rezultat in prikazalo enega od naslednjih izhodov:
- Dovoljeno —
{rule}(če pot dovoljuje specifično pravilo) - Blokirano —
{rule}(če pot blokira specifično pravilo) - Ni ujemajočega se pravila. Google to pot privzeto dovoljuje. (če ni nobenega pravila, ki bi vplivalo na to pot)