Robots.txt faila mērķis un darbības principi
Tīmekļa vietnes uzturēšanai un optimizācijai meklētājprogrammām ir nepieciešama precīza kontrole pār to, kā pārlūkošanas roboti (piemēram, Googlebot) piekļūst vietnes saturam. Robots.txt ir teksta fails, ko izvieto vietnes saknes direktorijā, lai sniegtu norādes šiem robotiem. Izmantojot rīku "Robots.txt ģenerators un validētājs", vietņu uzturētāji un izstrādātāji var izveidot standartiem atbilstošus noteikumus un uzreiz pārbaudīt, vai konkrēti ceļi tiks atļauti vai bloķēti.
Šis rīks nodrošina pilnīgu datu privātumu, jo visi pārlūkošanas noteikumi tiek izveidoti un pārbaudīti pārlūkprogrammā. Nekas netiek augšupielādēts BroBroGo serveros.
Noklusējuma konfigurācijā rīks piedāvā sākuma sagatavi ar šādiem iestatījumiem:
User-agent: *Disallow: /admin
Tas nozīmē, ka visām meklētājprogrammām pēc noklusējuma tiek liegta piekļuve direktorijai /admin.
Lietotāja aģentu direktīvas
Lietotāja aģents definē konkrētu pārlūka robotu, uz kuru attiecas sekojošie noteikumi. Lai pareizi konfigurētu šo sadaļu, jāievēro noteikti sintakses nosacījumi:
- Kā lietotāja aģenta nosaukumu var norādīt specifisku robota vārdu vai simbolu
*, kas attiecas uz visām meklētājprogrammām vienlaicīgi. - Lietotāja aģenta nosaukums nedrīkst saturēt atstarpes. Ja šis nosacījums tiek pārkāpts, rīks uzrāda kļūdu: "Ievadiet vienu lietotāja aģenta nosaukumu bez atstarpēm vai izmantojiet * visām meklētājprogrammām.".
- Ja viens un tas pats lietotāja aģents tiek definēts vairākās atsevišķās grupās, sistēma brīdina: "Google apvieno grupas, kurās norādīts viens un tas pats lietotāja aģents.".
Atļaušanas (Allow) un aizliegšanas (Disallow) noteikumi
Katram lietotāja aģentam var piesaistīt specifiskus ceļu noteikumus, izmantojot Allow (atļaut) vai Disallow (aizliegt) direktīvas. Šo noteikumu definēšanā pastāv stingri sintakses un loģikas ierobežojumi:
- Ceļa formāts: Noteikumu ceļiem obligāti jāsākas ar
/un tie nedrīkst saturēt atstarpes. Pretējā gadījumā tiek attēlots paziņojums: "Noteikumu ceļiem jāsākas ar / un tie nedrīkst saturēt atstarpes.". - Beigu enkurs ($): Simbolu
$izmanto, lai norādītu precīzu ceļa nobeigumu. Šo zīmi drīkst izmantot tikai noteikuma ceļa beigās. Ja simbols tiek ievietots citur, rīks fiksē kļūdu: "Izmantojiet $ zīmi tikai noteikuma ceļa beigās.". - Dublēšanās: Ja kāds noteikums tam pašam lietotāja aģentam tiek pievienots atkārtoti, tiek parādīts brīdinājums: "Šis noteikums tam pašam lietotāja aģentam atkārtojas.".
- Konflikti: Ja direktīvās
AllowunDisallowtiek izmantots pilnīgi vienāds ceļš, rīks brīdina: "Direktīvās Allow un Disallow izmantots viens un tas pats ceļš. Google piemēros Allow, ja abi noteikumi ir vienlīdz specifiski.".
Vietnes kartes (Sitemap) pievienošana
Vietnes kartes (Sitemap) norādīšana robots.txt failā palīdz meklētājprogrammām ātrāk atrast un indeksēt vietnes lapas.
Pievienojot vietnes kartes URL, tam ir jābūt pilnam un absolūtam tīmekļa protokola adreses formātam, kas sākas ar http:// vai https://. Ja ievadītā adrese neatbilst šim formātam, validētājs uzrāda kļūdu: "Vietnes kartes URL ir jānorāda kā pilna http:// vai https:// adrese.".
Google noteikumu prioritāte un ceļu pārbaude
Kad meklētājprogrammas robots nolasa robots.txt failu, tas izmanto specifiskus prioritātes algoritmus, lai izšķirtu, kurš noteikums ir jāpiemēro konkrētam URL ceļam. Šis rīks simulē Google izmantoto saderības pārbaudes loģiku:
- Garākā ceļa prioritāte: Google piemēro noteikumu, kura ceļa definīcija ir visgarākā (visprecīzākā). Garākais atbilstošais ceļš vienmēr uzvar neatkarīgi no tā, vai tā ir
AllowvaiDisallowdirektīva. - Vienāds garums: Ja atbilstošie
AllowunDisallownoteikumi ir vienlīdz specifiski (tiem ir vienāds rakstzīmju skaits ceļā), priekšroka tiek dotaAllowdirektīvai.
Pārbaudes rezultātu paziņojumi
Veicot ceļa testēšanu rīka saskarnē, sistēma var uzrādīt šādus rezultātus:
- Atļauts —
{rule}: Norāda, ka pārbaudītais ceļš ir pieejams robotam, un uzrāda konkrēto noteikumu, kas to atļauj. - Bloķēts —
{rule}: Norāda, ka piekļuve ceļam ir liegta, un uzrāda bloķējošo noteikumu. - Nav atbilstošu noteikumu. Google pēc noklusējuma atļauj piekļuvi šim ceļam.: Tiek attēlots gadījumos, kad neviens no definētajiem noteikumiem neattiecas uz pārbaudāmo ceļu.
Ja kopējais saģenerētā robots.txt faila apjoms pārsniedz 100 000 rakstzīmju, validētājs pārtrauc analīzi un izvada paziņojumu: "Šis robots.txt fails ir pārāk liels, lai to pārskatītu šeit.".
Robots.txt ierobežojumi indeksācijas kontrolē
Ir svarīgi saprast, ka robots.txt fails kontrolē tikai pārlūkošanas piekļuvi (crawling), nevis lapu indeksāciju meklētājprogrammu rezultātos.
Ja lapa ir bloķēta ar Disallow direktīvu, meklētājprogrammas robots to neapmeklēs, taču šī lapa joprojām var tikt indeksēta un parādīties meklēšanas rezultātos, ja uz to ved saites no citām iekšējām vai ārējām tīmekļa lapām. Robots.txt neaizstāj un neietver tādus drošības un indeksācijas kontroles mehānismus kā:
noindexmeta tagi vai HTTP galvenes- Lietotāju piekļuves kontrole (autorizācija un paroles)
- Pilnīga lapu izdzēšana no servera
Ja nepieciešams pilnībā garantēt, ka saturs neparādīsies meklētājprogrammās, jāizmanto iepriekš minētās alternatīvās metodes, nevis tikai robots.txt aizliegumi.
Biežāk uzdotie jautājumi (FAQ)
Ko ar šo ģeneratoru var pievienot robots.txt failam?
Pievienojiet lietotāja aģentu grupu, atļautos (Allow) un aizliegtos (Disallow) ceļus, kā arī vienu vai vairākus vietnes kartes (sitemap) URL. Priekšskatījums ir gatavs kopēšanai jūsu robots.txt failā.
Kā ceļu pārbaudītājs izvēlas noteikumu?
Tas seko Google noteikumu prioritātei: uzvar garākais atbilstošais ceļš. Ja atbilstošie Allow un Disallow noteikumi ir vienlīdz specifiski, priekšroka tiek dota Allow.
Vai Disallow direktīva izņem lapu no Google meklēšanas rezultātiem?
Nē. Bloķēta lapa joprojām var parādīties meklēšanas rezultātos, ja uz to ved saites no citām lapām. Ja vēlaties pilnībā novērst lapas parādīšanos meklēšanā, izmantojiet noindex tagu, piekļuves kontroli vai izdzēsiet lapu.
Vai mani vietnes noteikumi tiek sūtīti uz serveri?
Nē. Jūsu pārlūkošanas noteikumi tiek izveidoti un pārbaudīti pārlūkprogrammā. Nekas netiek augšupielādēts BroBroGo serveros.