Estimator for robotters crawlbudget

Forståelse af crawlbudget og dets betydning for websteder

Et websteds crawlbudget definerer, hvor effektivt og regelmæssigt søgemaskiner kan gennemsøge dets sider. For tekniske SEO-specialister og webstedsadministratorer er det afgørende at forstå balancen mellem webstedets størrelse og serverens evne til at håndtere denne trafik. Hvis en server overbelastes af søgerobotter, kan det sløve oplevelsen for almindelige brugere. Omvendt vil en for lav serverkapacitet betyde, at vigtige opdateringer på webstedet ikke opdages i tide, fordi søgemaskinerne begrænser deres crawlfrekvens for at beskytte serveren.

Dette planlægningsværktøj gør det muligt at simulere og sammenligne den estimerede daglige crawl-efterspørgsel med et sikkert kapacitetsestimat for serveren. Ved at justere parametre som svartider, opdateringsintervaller og samtidighed, kan man identificere potentielle flaskehalse, før de påvirker webstedets synlighed i søgemaskinerne.

Faktorer der påvirker crawl-efterspørgsel og serverkapacitet

Crawl-efterspørgslen styres primært af to faktorer: hvor mange sider webstedet indeholder, og hvor ofte disse sider opdateres. En stor webshop med hyppige produktændringer kræver en langt højere crawlfrekvens end en mindre præsentationsside, der sjældent ændres.

Serverens kapacitet til at håndtere denne efterspørgsel afhænger af flere tekniske parametre:

• Svartid (ms): Jo hurtigere serveren svarer på en anmodning, desto flere sider kan en crawler hente inden for en given tidsramme.
• Generel serverkapacitet: Det samlede antal forespørgsler pr. sekund, som serveren kan håndtere under normal drift.
• Allokeret crawler-kapacitet: Hvor stor en procentdel af serverens samlede ressourcer, man ønsker at stille til rådighed for søgerobotter uden at genere almindelige besøgende.
• Samtidighed (concurrency): Antallet af parallelle forbindelser, en crawler tillades at oprette mod serveren på samme tid.

Beregning af daglig crawl-efterspørgsel

For at estimere den daglige efterspørgsel ser værktøjet på det samlede antal crawlbare sider og det gennemsnitlige opdateringsinterval. Da søgemaskiner sjældent fordeler deres besøg helt jævnt, og ofte skal crawle visse sider flere gange for at sikre konsistens, introduceres en efterspørgselsmultiplikator.

Formlen for den daglige efterspørgsel er defineret som:

Crawl efterspørgsel / dag = ( Crawlbare sider / Opdateringsinterval i dage ) × Efterspørgselsmultiplikator

Hvis et websted eksempelvis har 10.000 crawlbare sider, som i gennemsnit opdateres over et interval på 10 dage, og der anvendes en standard efterspørgselsmultiplikator på 1,2, vil den estimerede daglige efterspørgsel være 1.200 crawls pr. dag.

Vurdering af serverkapacitet og flaskehalse

Serverens sikre kapacitet beregnes ud fra to potentielle begrænsninger: den rå forespørgselsrate (requests/second) og grænsen for samtidighed kombineret med svartid. Den reelle kapacitet begrænses altid af den mest restriktive af disse to faktorer, som derefter reduceres med en sikkerhedsudnyttelsesgrad for at sikre, at serveren ikke overbelastes.

De to grænser defineres således:

1. Forespørgselsrate-grænse: Den maksimale kapacitet pr. sekund multipliceret med den andel, der er tilgængelig for crawlere.
2. Samtidigheds-grænse: Det maksimale antal parallelle forbindelser divideret med den gennemsnitlige svartid i sekunder.

Værktøjet sammenligner disse to værdier, vælger den laveste og reducerer den med den angivne sikkerhedsudnyttelse (f.eks. 70%) for at finde frem til "Sikker kapacitet / dag". Hvis forespørgselsraten er den begrænsende faktor, angives kapacitetsflaskehalsen som "Tilgængelig anmodningssats". Hvis det derimod er svartiden eller antallet af parallelle forbindelser, der sætter grænsen, angives flaskehalsen som "Samtidighed og responstid".

Inputparametre og systemregler

For at foretage en beregning skal følgende inputfelter udfyldes med positive, endelige tal over nul, op til en maksimal værdi på 1e12:

• Crawlbare sider: Det samlede antal unikke URL'er på webstedet.
• Gennemsnitligt opdateringsinterval: Angives som et tal sammen med en opdater intervalenhed, som kan være "dage", "uger" eller "måneder".
• Gennemsnitlig svartid (ms): Serverens gennemsnitlige svartid i millisekunder.
• Serverkapacitet (requests/second): Det maksimale antal forespørgsler, serveren kan håndtere i sekundet.
• Kapacitet tilgængelig for crawlere (%): Den procentvise andel af serverens kapacitet, der afsættes til crawlere (maksimalt 100%).
• Tilladt crawler samtidighed: Det maksimale antal samtidige tråde eller forbindelser, en crawler må bruge.
• Efterspørgselsmultiplikator: En faktor, der tager højde for ekstra crawl-aktivitet (standardværdi er 1,2).
• Sikker udnyttelse (%): Den maksimale ønskede belastningsgrad for at bevare serverstabilitet (standardværdi er 70%, maksimalt 100%).

Hvis felter efterlades tomme, vises fejlen "Udfyld hvert input for at beregne estimatet.". Hvis der indtastes ugyldige værdier, viser værktøjet "Indtast almindelige endelige tal inden for det understøttede område.". Hvis et tal er nul eller negativt, vises "Hvert input skal være større end nul.". Hvis en procentdel overstiger 100%, vises "Procentuelle antagelser må ikke være mere end 100%.".

Fortolkning af resultaterne

Når beregningen er udført, præsenterer værktøjet følgende outputværdier:

• Crawl efterspørgsel / dag: Det beregnede antal daglige anmodninger, der kræves for at holde trit med opdateringsfrekvensen.
• Sikker kapacitet / dag: Det maksimale antal daglige crawler-forespørgsler, serveren sikkert kan håndtere.
• Estimeret opnåelige kravl/dag: Det faktiske antal crawls, der forventes at kunne udføres, begrænset af enten efterspørgslen eller den sikre kapacitet.
• Efterspørgsel dækket: En procentdel (visuelt begrænset til intervallet 0–100%), der viser, hvor stor en del af efterspørgslen den sikre kapacitet kan dække.
• Dage til at dække alle sider: Det estimerede antal dage, det vil tage at gennemsøge hele webstedets sideantal under de givne begrænsninger.
• Kapacitetsflaskehals: Viser enten "Tilgængelig anmodningssats" eller "Samtidighed og responstid".

Hvis den dækkede efterspørgsel er under 100%, vil statusfeltet vise beskeden: "Den modellerede efterspørgsel er over det sikre kapacitetsestimat.". Hvis kapaciteten er tilstrækkelig til at dække efterspørgslen (100% eller derover), vises statusbeskeden: "Det sikre kapacitetsestimat dækker den modellerede efterspørgsel.".

Fortrolighed og databehandling

Når du bruger dette værktøj, forbliver dine data private. Dit websted og din server-antagelser beregnes i din browser. Intet er uploadet til BroBroGo. Beregningerne sker lokalt på din enhed, hvilket betyder, at dine følsomme serverdata og kapacitetsantagelser ikke deles med eksterne servere.

Ofte stillede spørgsmål (FAQ)

Forudsiger dette, hvor ofte Googlebot vil crawle mit websted? Nej. Søgemaskiner sætter krav om crawl og kapacitet fra signaler, der ikke er fuldt ud offentlige. Dette skøn er til planlægning og sammenligning; kalibrere det med serverlogfiler og crawl-rapporter.

Hvordan beregnes estimatet? Daglig efterspørgsel er sideantal divideret med målopdateringsintervallet og derefter ganget med efterspørgselsfaktoren. Sikker kapacitet er den laveste af forespørgselsraten og samtidighedsgrænserne, reduceret med sikkerhedsudnyttelsen.

Hvad sker der, hvis min dækningsgrad er under 100%? Det betyder, at din server under de nuværende indstillinger og sikkerhedsgrænser ikke kan håndtere den nødvendige crawl-efterspørgsel. Du kan forbedre dette ved at reducere serverens svartid, øge den tilladte samtidighed eller optimere webstedets struktur, så der er færre sider, der skal crawles.

Hvorfor er efterspørgselsmultiplikatoren vigtig? Søgemaskiner besøger sjældent en side nøjagtigt én gang pr. opdateringscyklus. Multiplikatoren tager højde for, at crawlere ofte foretager gentagne besøg, henter ressourcer som billeder eller CSS, eller foretager fejlslagne forsøg, hvilket øger den reelle belastning på serveren.