Robots.txt generatorius ir tikrintuvas

Kas yra robots.txt failas ir kam jis reikalingas

Svetainės valdymo procese itin svarbu kontroliuoti, kaip paieškos variklių robotai (pavyzdžiui, „Googlebot“) nuskaito jūsų turinį. Šiam tikslui naudojamas robots.txt failas – tekstinis dokumentas, esantis pagrindiniame svetainės kataloge. Šis failas nurodo paieškos robotams, kuriuos puslapius ar katalogus jie gali aplankyti, o kurių prieiga jiems yra apribota.

Naudojant „Robots.txt generatorius ir tikrintuvas“ įrankį, svetainių administratoriai ir programuotojai gali lengvai sukurti tikslias nuskaitymo taisykles bei iškart patikrinti, ar konkretūs svetainės keliai bus pasiekiami paieškos robotams. Tai padeda išvengti situacijų, kai svarbūs puslapiai netyčia užblokuojami nuo paieškos sistemų, arba kai robotai eina į privačias svetainės dalis.

Kaip veikia „User-agent“ direktyvos

Kiekviena robots.txt taisyklė prasideda nuo nurodymo, kuriam paieškos robotui ji yra taikoma. Tam naudojama User-agent direktyva. Įrankis pagal numatytuosius nustatymus pradeda darbą su šia konfigūracija:

• User-agent: * (taikoma visiems paieškos robotams)
• Disallow: /admin (blokuojama prieiga prie administratoriaus aplanko)

Kuriant taisykles, svarbu laikytis sintaksės reikalavimų. Pavyzdžiui, „user-agent“ pavadinime negali būti tarpų. Jei įvedamas netinkamas pavadinimas, įrankis pateikia klaidą: „Įveskite vieną „user-agent“ pavadinimą be tarpų arba naudokite * visiems robotams.“. Taip pat, jei tas pats paieškos robotas nurodomas keliose skirtingose grupėse, sistema parodo įspėjimą: „„Google“ sujungia grupes, kurios nurodo tą patį „user-agent“.“.

„Allow“ ir „Disallow“ taisyklių sąveika

Pagrindinis robots.txt turinys valdomas dviem instrukcijomis:

1. Disallow (Neleisti): nurodo kelius, kurių robotas neturėtų nuskaityti.
2. Allow (Leisti): nurodo išimtis blokuojamuose kataloguose, leidžiant nuskaityti konkrečius failus ar subkatalogus.

Visi taisyklių keliai privalo prasidėti / simboliu ir juose negali būti tarpų. Pažeidus šią taisyklę, įrankis parodys pranešimą: „Taisyklių keliai turi prasidėti / ir juose negali būti tarpų.“. Specialusis simbolis $ gali būti naudojamas tik pačioje kelio pabaigoje, siekiant nurodyti tikslią kelio pabaigos atitiktį. Jei jis įterpiamas kitoje vietoje, rodoma klaida: „Simbolį $ naudokite tik taisyklės kelio pabaigoje.“.

Jei netyčia sukuriama identiška taisyklė tam pačiam robotui, sistema jus įspės pranešimu: „Ši taisyklė tam pačiam „user-agent“ yra pakartota.“. Taip pat gali kilti konfliktas, kai abi taisyklės naudoja tą patį kelią. Tokiu atveju įrankis pateikia įspėjimą: „„Allow“ ir „Disallow“ naudoja tą patį kelią. „Google“ taiko „Allow“, kai abi taisyklės yra vienodai tikslios.“.

Kaip „Google“ apdoroja taisyklių prioritetus

Kai paieškos robotas tikrina svetainės kelius, jis vadovaujasi griežta taisyklių derinimo tvarka, kurią naudoja ir šis tikrinimo įrankis:

• Ilgiausio kelio taisyklė: laimi tas kelias, kuris turi daugiausiai simbolių (yra ilgiausias ir tiksliausias).
• Vienodo tikslumo konfliktas: jei sutampančios „Allow“ ir „Disallow“ taisyklės yra vienodai tikslios, pirmenybė teikiama „Allow“.

Atliekant testavimą su įrankiu, įvedamas norimas URL kelias ir pasirenkamas paieškos robotas. Tikrinimo rezultatas gali pateikti vieną iš šių būsenų:

• Leidžiama — {rule} (kelias yra prieinamas pagal nurodytą taisyklę).
• Blokuojama — {rule} (kelias yra užblokuotas konkrečia taisykle).
• Sutampančios taisyklės nėra. „Google“ šį kelią leidžia pagal numatytuosius nustatymus..

Svetainės medžio (Sitemap) integravimas

Svetainės medžio (Sitemap) URL nurodymas robots.txt faile padeda paieškos robotams greičiau rasti ir indeksuoti visas svarbias svetainės nuorodas. Įrankyje pridedami svetainės medžio adresai privalo būti pilni, prasidedantys http:// arba https:// protokolu. Jei įvedamas neteisingas formatas, sistema parodys klaidą: „Svetainės medžio URL reikalingas pilnas http:// arba https:// adresas.“.

Techniniai apribojimai ir privatumo politika

Naudojantis įrankiu, svarbu žinoti kelis techninius aspektus:

• Dydžio limitas: jei sugeneruotas robots.txt failas viršija 100 000 simbolių ribą, sistema parodys pranešimą: „Šis robots.txt failas yra per didelis, kad jį būtų galima peržiūrėti čia.“.
• Duomenų apdorojimas: jūsų nuskaitymo taisyklės sukuriamos ir tikrinamos naršyklėje. Nieko nesiunčiama į „BroBroGo“. Tai užtikrina, kad jūsų konfigūracijos duomenys lieka jūsų įrenginyje.
• Indeksavimo ribotumas: robots.txt failas kontroliuoja tik paieškos robotų nuskaitymo srautą (angl. crawling), bet ne patį indeksavimą. Užblokuotas puslapis vis tiek gali pasirodyti paieškos rezultatuose, jei kitos svetainės pateikia nuorodas į jį. Šis įrankis neatlieka patikros dėl noindex direktyvų, prieigos kontrolės (slaptažodžių apsaugos) ar puslapio pašalinimo užklausų.

---

Dažniausiai užduodami klausimai (DUK)

Ką šis generatorius gali pridėti prie robots.txt?

Pridėkite „user-agent“ grupę, „Allow“ ir „Disallow“ kelius bei vieną ar daugiau svetainės medžio (sitemap) URL. Sugeneruotą peržiūrą galite iškart nukopijuoti į savo robots.txt failą.

Kaip kelių tikrinimo įrankis pasirenka taisyklę?

Ji vadovaujasi „Google“ taisyklių derinimo tvarka: laimi ilgiausias sutampantis kelias. Jei sutampančios „Allow“ ir „Disallow“ taisyklės yra vienodai tikslios, pirmenybė teikiama „Allow“.

Ar „Disallow“ taisyklė pašalina puslapį iš „Google“ paieškos?

Ne. Užblokuotas puslapis vis tiek gali pasirodyti paieškos rezultatuose, jei kitos svetainės pateikia nuorodas į jį. Jei norite, kad puslapis nebūtų įtrauktas į paiešką, naudokite „noindex“ žymą, prieigos kontrolę arba pašalinkite puslapį.

Kur apdorojami mano įvesti duomenys ir taisyklės?

Jūsų nuskaitymo taisyklės sukuriamos ir tikrinamos naršyklėje. Nieko nesiunčiama į „BroBroGo“, todėl jūsų konfigūracijos išlieka privačios jūsų vietinėje aplinkoje.