Robotų nuskaitymo biudžeto sąmatos
Svetainės nuskaitymo biudžeto (angl. crawl budget) supratimas ir valdymas yra kritinis techninio SEO bei svetainių priežiūros aspektas. Šis įrankis leidžia įvertinti, kiek puslapių svetainės serveris gali saugiai apdoroti per dieną, ir palyginti šį pajėgumą su numatytuoju paros nuskaitymo poreikiu. Keisdami svetainės ir serverio prielaidas, galite identifikuoti potencialias technines kliūtis bei įvertinti, ar jūsų serverio ištekliai yra pakankami visam puslapių indeksui apdoroti per norimą laikotarpį.
Svarbu pabrėžti, kad visi skaičiavimai atliekami tiesiogiai jūsų naršyklėje. Jūsų svetainės ir serverio prielaidos apskaičiuojamos jūsų naršyklėje. Nieko neįkelta į BroBroGo.
Nuskaitymo poreikio ir serverio pajėgumo veiksniai
Nuskaitymo biudžeto planavimas remiasi dviem pagrindinėmis pusėmis: svetainės poreikiais (paklausa) ir serverio fizinėmis galimybėmis (pajėgumu).
Svetainės paklausą tiesiogiai lemia jos dydis ir turinio atnaujinimo dažnumas. Didelėms svetainėms arba el. parduotuvėms, kurių produktai ir kainos kinta kasdien, reikalingas žymiai intensyvesnis nuskaitymas, kad paieškos sistemos laiku indeksuotų pasikeitimus.
Serverio pajėgumą riboja techniniai parametrai:
- Atsako laikas: kuo greičiau serveris atsako į užklausą, tuo daugiau puslapių paieškos robotas gali nuskaityti per tą patį laiko tarpą.
- Lygiagretumas (concurrency): vienu metu vykdomų užklausų skaičius, kurį serveris leidžia konkrečiam robotui, neperkraudamas sistemos.
- Bendra serverio talpa: maksimalus užklausų skaičius per sekundę, kurį serveris gali apdoroti, atsižvelgiant į tai, kad dalis išteklių turi likti realiems svetainės lankytojams.
Įvesties duomenys ir taikomos taisyklės
Norint gauti tikslią sąmatą, įrankyje reikia užpildyti šiuos laukelius:
- Nuskaitomi puslapiai: bendras svetainės puslapių skaičius.
- Vidutinis atnaujinimo intervalas: skaičius ir pasirinktas vienetas – „dienų“, „savaites“ arba „mėnesių“.
- Vidutinis atsako laikas (ms): serverio reakcijos laikas milisekundėmis.
- Serverio talpa (requests/second): maksimalus serverio apdorojamų užklausų skaičius per sekundę.
- Tikrintuvams prieinama talpa (%): serverio išteklių dalis, skiriama paieškos robotams.
- Leidžiamas tikrinimo vienu metu: maksimalus lygiagrečių užklausų skaičius.
- Paklausos daugiklis: koeficientas, įvertinantis papildomas užklausas (pavyzdžiui, vaizdų, CSS ar JS failų nuskaitymą). Numatytoji reikšmė yra 1.2.
- Saugus naudojimas (%): serverio apkrovos saugumo riba, kad robotai nesutrikdytų svetainės veikimo. Numatytoji reikšmė yra 70%.
Validavimo taisyklės ir ribojimai:
- Norėdami apskaičiuoti sąmatą, užpildykite kiekvieną įvestį.
- Įveskite įprastus baigtinius skaičius palaikomo diapazono ribose. Maksimali leistina skaitinė įvesties reikšmė yra 1e12.
- Kiekviena įvestis turi būti didesnė už nulį.
- Procentinės prielaidos turi būti ne didesnės nei 100%.
Rezultatų interpretavimas ir kliūčių nustatymas
Atlikus skaičiavimus, įrankis pateikia šiuos rodiklius:
- Tikrinimo poreikis per dieną: paros užklausų skaičius, reikalingas norint palaikyti nurodytą atnaujinimo ciklą.
- Saugus pajėgumas per dieną: maksimalus užklausų skaičius per parą, kurį serveris gali saugiai apdoroti.
- Apskaičiuotas pasiekiamas tikrinimų skaičius per dieną: realiai pasiekiamas nuskaitymų skaičius, atsižvelgiant į poreikio ir pajėgumo santykį.
- Paklausa padengta: procentinė reikšmė, vizualiai ribojama nuo 0% iki 100%.
- Dienos visiems puslapiams aprėpti: laikas, per kurį bus nuskaityti visi puslapiai.
- Pajėgumų kliūtis: nurodo pagrindinį ribojantį veiksnį. Tai gali būti „Galima užklausų norma“ arba „Lygiagretumas ir reakcijos laikas“.
Priklausomai nuo gauto rezultato, sistema pateikia vieną iš būsenos pranešimų:
- Jei paklausa padengta 100% arba daugiau: „Saugios talpos įvertinimas apima sumodeliuotą paklausą.“
- Jei paklausa padengta mažiau nei 100%: „Sumodeliuota paklausa viršija saugaus pajėgumo įvertinimą.“
Skaičiavimo metodika
Dienos paklausa yra puslapių skaičius, padalytas iš tikslinio atnaujinimo intervalo, tada padaugintas iš paklausos koeficiento.
Saugus pajėgumas yra mažesnis iš užklausos dažnio ir lygiagretumo ribų, sumažintas saugos panaudojimu. Užklausų dažnio ribą nustato serverio talpa, padauginta iš tikrintuvams prieinamos talpos dalies. Lygiagretumo ribą nustato leidžiamas tikrinimas vienu metu, padalytas iš vidutinio atsako laiko sekundėmis. Mažesnioji iš šių dviejų reikšmių yra padauginama iš paros sekundžių skaičiaus (86 400) ir saugaus naudojimo procento.
Dažniausiai užduodami klausimai (DUK)
Ar tai numato, kaip dažnai Googlebot tikrins mano svetainę?
Ne. Paieškos varikliai nustato tikrinimo poreikį ir pajėgumą iš signalų, kurie nėra visiškai vieši. Ši sąmata skirta planavimui ir palyginimui; sukalibruokite jį naudodami serverio žurnalus ir tikrinimo ataskaitas.
Kaip apskaičiuojama sąmata?
Dienos paklausa yra puslapių skaičius, padalytas iš tikslinio atnaujinimo intervalo, tada padaugintas iš paklausos koeficiento. Saugus pajėgumas yra mažesnis iš užklausos dažnio ir lygiagretumo ribų, sumažintas saugos panaudojimu.
Kas nutinka, jei mano serverio atsako laikas yra per ilgas?
Ilgas atsako laikas sumažina saugų paros pajėgumą, nes paieškos robotas turi ilgiau laukti kiekvieno puslapio užkrovimo. Tokiu atveju įrankis kaip pagrindinę pajėgumų kliūtį dažniausiai nurodys „Lygiagretumas ir reakcijos laikas“.
Kodėl svarbus paklausos daugiklis?
Paieškos robotai nuskaito ne tik HTML dokumentus, bet ir kitus resursus, reikalingus puslapio atvaizdavimui (CSS, JavaScript, paveikslėlius). Paklausos daugiklis padeda įvertinti šį papildomą serverio apkrovimą.