Forståelse av gjennomsøkingsbudsjett og serverkapasitet
Et gjennomsøkingsbudsjett (crawl budget) definerer hvor mange sider en søkemotorrobot, som for eksempel Googlebot, kan og vil gjennomsøke på et nettsted innenfor et gitt tidsrom. For teknisk SEO-personell og nettstedsansvarlige er det kritisk å forstå balansen mellom nettstedets behov for oppdatering og serverens faktiske evne til å håndtere denne trafikken uten at det går utover ytelsen for vanlige brukere.
Dette verktøyet hjelper deg med å estimere hvor mange sider en nettsides server trygt kan håndtere å få gjennomsøkt per dag, og sammenligner dette med den estimerte daglige etterspørselen etter gjennomsøking. Ved å justere ulike forutsetninger for nettstedet og serveren, kan du avdekke potensielle flaskehalser i infrastrukturen og vurdere om hele sidebeholdningen kan dekkes innenfor en ønsket oppdateringssyklus.
Det er viktig å skille mellom et teoretisk estimat for gjennomsøkingsbudsjett og den faktiske oppførselen til søkemotorer. Søkemotorer fastsetter sine egne grenser basert på signaler som ikke er offentlig tilgjengelige. Dette verktøyet gir et sammenligningsgrunnlag for planlegging, og bør kalibreres mot faktiske serverlogger og rapporter i søkeverktøy.
Faktorer som påvirker etterspørsel og kapasitet
Både nettstedets struktur og serverens tekniske oppsett påvirker hvor effektivt en søkerobot kan indeksere innholdet. De viktigste faktorene kan deles inn i to kategorier:
Etterspørselssiden (Crawl Demand)
- Gjennomsøkbare sider: Det totale antallet unike nettadresser som krever regelmessig gjennomsøking.
- Gjennomsnittlig oppdateringsintervall: Hvor ofte innholdet endres og krever ny indeksering (målt i dager, uker eller måneder).
- Etterspørselsmultiplikator: En faktor som tar høyde for at roboter ofte må gjennomsøke sider flere ganger enn det strengt tatt lineære oppdateringsintervallet tilsier, for eksempel på grunn av oppdagelse av nye lenker eller ujevn distribusjon av endringer.
Kapasitetssiden (Server Capacity)
- Serverkapasitet (requests/second): Det maksimale antallet forespørsler serveren kan håndtere per sekund totalt.
- Kapasitet tilgjengelig for robotsøkeprogrammer (%): Andelen av den totale serverkapasiteten som kan tildeles roboter uten at det påvirker vanlige besøkende.
- Gjennomsnittlig responstid (ms): Tiden det tar for serveren å svare på en forespørsel. Lavere responstid øker antallet sider en robot kan hente per sekund under en gitt samtidighetsgrense.
- Tillatt søkerobotsamtidig: Det maksimale antallet parallelle tilkoblinger (concurrency) som roboter tillates å opprette mot serveren samtidig.
- Sikker bruk (%): En sikkerhetsmargin som reduserer den teoretiske maksimalkapasiteten for å unngå overbelastning under trafikktopper.
Slik beregnes estimatene
Verktøyet bruker spesifikke matematiske formler for å beregne forholdet mellom etterspørsel og kapasitet.
Daglig etterspørsel
Daglig etterspørsel beregnes ved å ta det totale sideantallet og dele det på måloppdateringsintervallet, for deretter å multiplisere resultatet med etterspørselsfaktoren:
Krav etterspørsel / dag = ( Gjennomsøkbare sider / Oppdateringsintervall i dager ) × Etterspørselsmultiplikator
Sikker kapasitet
Sikker kapasitet beregnes som den laveste verdien av to uavhengige begrensninger: forespørselsraten (basert på serverens RPS og tildelte andel) og samtidighetsgrensen (basert på tillatt samtidighet og responstid). Denne laveste verdien reduseres deretter med sikkerhetsutnyttelsen:
-
Grense basert på forespørselsrate (RPS-grense per dag): RPS-grense = Serverkapasitet (requests/second) × ( (Kapasitet tilgjengelig for robotsøkeprogrammer (%)) / 100 ) × 86400
-
Grense basert på samtidighet og responstid (Samtidighetsgrense per dag): Samtidighetsgrense = ( Tillatt søkerobotsamtidig / (Gjennomsnittlig responstid (ms) / 1000) ) × 86400
-
Endelig sikker kapasitet: Sikker kapasitet / dag = min(RPS-grense, Samtidighetsgrense) × ( (Sikker bruk (%)) / 100 )
Identifisering av flaskehalser
Når beregningen kjøres, vil verktøyet identifisere hva som begrenser serverens kapasitet mest under feltet Flaskehals i kapasitet. De to mulige flaskehalsene er:
- Tilgjengelig forespørselsrate: Oppstår når den totale tildelte serverkapasiteten i forespørsler per sekund (RPS) er den begrensende faktoren.
- Samtidighet og responstid: Oppstår når kombinasjonen av treg responstid og begrensninger på parallelle tilkoblinger hindrer roboten i å nå den tildelte RPS-grensen.
Hvis den beregnede verdien for Etterspørsel dekket faller under 100 %, vil verktøyet vise statusmeldingen: "Den modellerte etterspørselen er over det sikre kapasitetsestimatet". Hvis kapasiteten er tilstrekkelig til å dekke etterspørselen, vises statusen: "Det sikre kapasitetsestimatet dekker den modellerte etterspørselen". Verdien for dekning begrenses visuelt til et intervall mellom 0 % og 100 %.
Regler for inndata og feilmeldinger
For at estimatoren skal kunne utføre beregningene, må alle inndata oppfylle følgende kriterier:
- Alle felt må fylles ut. Hvis et felt står tomt, vises feilmeldingen: "Fullfør hver inndata for å beregne estimatet.".
- Verdiene må være ordinære, endelige tall innenfor det støttede området (maksimal verdi er 1 × 10¹²). Ved ugyldige tegn eller for høye verdier vises: "Skriv inn vanlige endelige tall innenfor det støttede området.".
- Alle inndata må være strengt større enn null. Hvis null eller et negativt tall oppgis, vises: "Hver inngang må være større enn null.".
- Prosentandeler, som Kapasitet tilgjengelig for robotsøkeprogrammer (%) og Sikker bruk (%), kan ikke overstige 100 %. Ved overskridelse vises: "Prosentforutsetninger må ikke være mer enn 100%.".
Personvern og databehandling
Når du bruker denne estimatoren, behandles alle data lokalt på din egen enhet. Forutsetningene for nettstedet og serveren din beregnes i nettleseren din. Ingenting er lastet opp til BroBroGo.
Ofte stilte spørsmål (FAQ)
Forutsier dette hvor ofte Googlebot vil gjennomsøke nettstedet mitt?
Nei. Søkemotorer setter krav om gjennomsøking og kapasitet fra signaler som ikke er fullstendig offentlige. Dette anslaget er for planlegging og sammenligning; kalibrer den med serverlogger og gjennomgangsrapporter.
Hvordan beregnes estimatet?
Daglig etterspørsel er sideantall delt på måloppdateringsintervallet, deretter multiplisert med etterspørselsfaktoren. Sikker kapasitet er den laveste av begjæringsraten og samtidighetsgrensene, redusert med sikkerhetsutnyttelsen.
Hva betyr det hvis flaskehalsen er "Samtidighet og responstid"?
Dette betyr at selv om serveren din har ledig kapasitet målt i forespørsler per sekund, gjør trege responstider eller strenge grenser for parallelle tilkoblinger at roboter ikke klarer å hente sidene raskt nok. Å redusere responstiden (ms) vil øke den effektive kapasiteten under denne flaskehalsen.
Hvorfor er "Etterspørsel dekket" begrenset til maksimalt 100 %?
Selv om serveren din har kapasitet til å håndtere langt flere forespørsler enn den modellerte etterspørselen, kan ikke den faktiske dekningen av nettstedets sider overstige 100 %. Prosentandelen viser hvor stor del av det estimerte behovet som er dekket, ikke overskytende serverkapasitet.