Förståelse av crawl budget och dess betydelse för webbplatser
Sökmotorers sökrobotar har inte obegränsade resurser, och de vill inte heller överbelasta de servrar de besöker. Begreppet crawl budget (genomsökningsbudget) handlar om att balansera en sökmotors efterfrågan på att indexera innehåll mot vad en webbplatsserver faktiskt klarar av att leverera utan att prestandan försämras. För teknisk SEO-personal och webbplatsansvariga är det kritiskt att förstå denna balans. Om en webbplats har fler sidor än vad sökrobotarna hinner eller tillåts genomsöka inom en rimlig tidsram, riskerar viktigt innehåll att föråldras i sökmotorernas index eller helt lämnas oindexerat.
Verktyget Robotar Crawl Budget Estimator är utformat för att hjälpa dig att uppskatta hur många sidor en webbplatsserver säkert kan hantera att få genomsökta per dag, och jämföra detta med den uppskattade dagliga efterfrågan på genomsökning för webbplatsen. Genom att justera olika antaganden om webbplatsen och servern kan du identifiera potentiella flaskhalsar och se hur kapaciteten påverkas.
Faktorer som påverkar efterfrågan och serverkapacitet
Flera parametrar samverkar för att bestämma hur effektivt en webbplats kan genomsökas. Dessa kan delas upp i två huvudkategorier: efterfrågan från webbplatsens eget innehåll och serverns tekniska begränsningar.
Efterfrågan på genomsökning
Efterfrågan styrs i hög grad av webbplatsens storlek och hur ofta innehållet uppdateras. En stor webbplats med frekventa uppdateringar kräver tätare besök av sökrobotar för att hålla indexet aktuellt.
- Genomsökningsbara sidor: Det totala antalet unika URL-adresser som är tillgängliga för indexering.
- Genomsnittligt uppdateringsintervall: Hur ofta innehållet på dessa sidor förändras i genomsnitt, mätt i dagar, veckor eller månader.
- Efterfrågemultiplikator: En faktor som tar hänsyn till att sökrobotar ofta laddar ner resurser som bilder, CSS och JavaScript utöver själva HTML-sidan, eller att vissa sidor genomsöks oftare än genomsnittet. Standardvärdet i verktyget är 1.2.
Serverns kapacitet
Serverns förmåga att svara på anrop sätter den absoluta gränsen för hur snabbt en sökrobot kan arbeta.
- Genomsnittlig svarstid (ms): Tiden det tar för servern att svara på en enskild begäran, mätt i millisekunder. Lägre svarstid innebär att fler sidor kan hämtas per sekund.
- Serverkapacitet (requests/second): Det maximala antalet förfrågningar som servern kan hantera per sekund totalt.
- Tillgänglig kapacitet för sökrobotar (%): Den andel av serverns totala kapacitet som kan avsättas till sökrobotar utan att det påverkar vanliga mänskliga besökare negativt.
- Tillåten sökrobot samtidighet: Det maximala antalet parallella anslutningar som en sökrobot tillåts göra samtidigt.
- Säker användning (%): En säkerhetsmarginal för att förhindra att servern överbelastas vid plötsliga trafiktoppar. Standardvärdet är 70%.
Hur den dagliga efterfrågan beräknas
För att planera din crawl budget måste du först veta hur stor den teoretiska efterfrågan är. Verktyget beräknar detta genom en specifik formel:
Crawl efterfrågan / dag = ( Antal sidor / Måluppdateringsintervall i dagar ) × Efterfrågemultiplikator
Om du exempelvis har 100 000 genomsökningsbara sidor med ett genomsnittligt uppdateringsintervall på 30 dagar, och använder en efterfrågemultiplikator på 1.2, blir beräkningen:
Crawl efterfrågan / dag = ( (100 000) / 30 ) × 1.2 ≈ 4 000 genomsökningar per dag
Bedömning av serverkapacitet och flaskhalsar
Serverns säkra kapacitet per dag beräknas som det lägsta värdet av två olika begränsningar: förfrågningsfrekvensen (baserad på serverkapacitet och tillgänglig andel) och samtidighetsgränsen (baserad på tillåten samtidighet och svarstid). Detta värde reduceras sedan med säkerhetsmarginalen för att inte riskera serverns stabilitet.
Formeln för säker kapacitet är:
Säker kapacitet / dag = min(Förfrågningsfrekvensgräns, Samtidighetsgräns) × Säker användning (%) × 86 400 sekunder/dag
Verktyget identifierar automatiskt vilken av dessa två faktorer som utgör den begränsande faktorn och visar detta under Kapacitetsflaskhals:
- Tillgänglig förfrågningsfrekvens: Serverns totala kapacitet per sekund sätter stopp.
- Samtidighet och svarstid: Sökrobotens begränsning i antal parallella trådar i kombination med långsamma svarstider hindrar snabbare genomsökning.
Användning av verktyget och inmatningsregler
För att göra en beräkning i Robotar Crawl Budget Estimator måste samtliga fält fyllas i. Om något fält lämnas tomt visas felmeddelandet:
Fyll i varje inmatning för att beräkna uppskattningen.
Följande regler och valideringar gäller för inmatningen:
- Alla värden måste vara vanliga, ändliga tal inom det stödda intervallet (maximalt tillåtna värde är 1e12). Vid felaktiga tecken visas:
Ange vanliga ändliga tal inom det intervall som stöds.
- Varje inmatat värde måste vara strikt större än noll. Om noll eller ett negativt tal anges visas:
Varje ingång måste vara större än noll.
- Procentuella fält, såsom Tillgänglig kapacitet för sökrobotar (%) och Säker användning (%), får inte överstiga 100%. Om detta överskrids visas:
Procentuella antaganden får inte vara mer än 100%.
När alla värden är korrekt ifyllda visas resultatet direkt. Om den beräknade kapaciteten täcker efterfrågan (det vill säga att Efterfrågan täcks når 100% eller mer) visas statusen:
Den säkra kapacitetsuppskattningen täcker den modellerade efterfrågan.
Om kapaciteten är otillräcklig och täckningen understiger 100% visas istället:
Den modellerade efterfrågan ligger över den säkra kapacitetsuppskattningen.
Observera att utmatningen för Efterfrågan täcks är visuellt begränsad till ett intervall mellan 0% och 100%.
Integritet och lokal beräkning
När du använder detta verktyg kan du vara trygg med att dina tekniska data förblir privata. Din webbplats och serverantaganden beräknas i din webbläsare. Ingenting laddas upp till BroBroGo. Beräkningarna sker helt lokalt på din egen enhet med hjälp av JavaScript.
Vanliga frågor (FAQ)
Förutsäger detta hur ofta Googlebot kommer att genomsöka min webbplats?
Nej. Sökmotorer ställer krav på genomsökning och kapacitet från signaler som inte är helt offentliga. Denna uppskattning är till för planering och jämförelse; kalibrera den med serverloggar och genomsökningsrapporter.
Hur beräknas uppskattningen?
Daglig efterfrågan är antalet sidor dividerat med måluppdateringsintervallet, multiplicerat med efterfrågefaktorn. Säker kapacitet är den lägsta av förfrågningsfrekvensen och samtidighetsgränserna, reducerad med säkerhetsanvändningen.
Vad händer om min webbplats har en täckning under 100%?
Det betyder att din server, under de angivna begränsningarna och säkerhetsmarginalerna, inte kan hantera den genomsökningshastighet som krävs för att hålla hela webbplatsen uppdaterad i sökmotorns index. Du kan behöva förbättra serverns svarstid, öka serverkapaciteten eller optimera webbplatsens struktur så att färre oviktiga sidor behöver genomsökas.
Varför är "Säker användning (%)" satt till 70% som standard?
Att låta sökrobotar använda 100% av den tillgängliga serverkapaciteten innebär en stor risk. Om webbplatsen plötsligt får en ökning av vanliga mänskliga besökare kan servern bli överbelastad och krascha. En säkerhetsmarginal på 70% säkerställer att det alltid finns utrymme för oväntade belastningstoppar.