L'optimització tècnica dels llocs web requereix una comprensió profunda de com els motors de cerca interactuen amb la infraestructura del servidor. El pressupost de rastreig (crawl budget) determina la quantitat de pàgines que un rastrejador pot i vol analitzar en un període de temps determinat. L'eina Estimador de pressupost de Robots Crawl permet modelar aquests escenaris, ajudant a preveure si un servidor pot suportar la demanda de rastreig necessària per mantenir el contingut actualitzat sense comprometre l'estabilitat del sistema.
Aquest estimador és especialment útil per a professionals de SEO tècnic que han de formular hipòtesis de capacitat, així com per a administradors de sistemes que necessiten avaluar si l'inventari de pàgines d'un lloc web es pot rastrejar completament dins d'un cicle d'actualització objectiu.
Funcionament de l'estimació del pressupost de rastreig
El pressupost de rastreig d'un lloc web no depèn d'un sol factor, sinó de la intersecció entre la demanda de rastreig (la freqüència amb què els motors de cerca necessiten revisar les pàgines) i la capacitat del servidor (el límit tècnic de sol·licituds que el servidor pot processar de manera segura).
L'estimador utilitza dades del lloc web i paràmetres de rendiment del servidor per calcular si la infraestructura actual és suficient per cobrir les necessitats d'indexació.
Processament local i privadesa
Quan s'utilitza aquesta eina, totes les dades introduïdes es processen directament al dispositiu de l'usuari. Les suposicions del vostre lloc i servidor es calculen al vostre navegador. No s'ha penjat res a BroBroGo.
Paràmetres d'entrada de l'estimador
Per realitzar el càlcul, l'eina requereix completar una sèrie de camps obligatoris dividits en tres àrees clau:
Demanda del lloc
- Pàgines rastrejables: El nombre total de pàgines úniques que formen el lloc web i que han de ser indexades.
- Interval mitjà d'actualització: El període de temps estimat en què el contingut del lloc web es renova o requereix una nova visita del rastrejador.
- Actualitzar la unitat d'interval: La unitat de temps per a l'interval d'actualització, que pot ser en dies, setmanes o mesos.
Supòsits de capacitat del servidor
- Temps mitjà de resposta (ms): El temps mitjà que triga el servidor a respondre a una sol·licitud de pàgina, expressat en mil·lisegons.
- Capacitat del servidor (requests/second): El límit màxim de sol·licituds per segon que el servidor pot gestionar de manera global.
- Capacitat disponible per als rastrejadors (%): El percentatge de la capacitat total del servidor que es destina específicament als robots de cerca, evitant que afecti el trànsit dels usuaris reals.
- Concurrència del rastrejador permesa: El nombre màxim de connexions simultànies que es permeten realitzar als rastrejadors.
Editeu els supòsits de la fórmula
- Multiplicador de la demanda: Un factor d'ajust (amb un valor per defecte d'1.2) que preveu pics de rastreig o necessitats de re-rastreig addicionals.
- Ús segur (%): El percentatge de seguretat (amb un valor per defecte del 70%) per garantir que el servidor no s'aproximi al col·lapse durant les tasques de rastreig intensives.
Regles de validació i límits de dades
Perquè l'estimador pugui oferir un resultat correcte, s'han de complir estrictament les següents condicions de validació de dades:
- Tots els camps d'entrada s'han de completar obligatòriament. Si hi ha algun camp buit, es mostrarà el missatge d'error: Completa totes les entrades per calcular l'estimació..
- Tots els valors han de ser nombres finits ordinaris dins de l'interval admès. En cas contrari, es mostrarà l'error: Introduïu nombres finits ordinaris dins de l'interval admès..
- Cada valor numèric introduït ha de ser estrictament superior a zero. Si s'introdueix un zero o un valor negatiu, es mostrarà l'error: Cada entrada ha de ser major que zero..
- Els camps percentuals, com ara la capacitat disponible per als rastrejadors o l'ús segur, no poden superar el 100%. Si es supera aquest límit, es mostrarà l'error: Els supòsits percentuals no han de ser superiors a 100%..
- El valor màxim admès per a qualsevol camp numèric és de 1e12.
Fórmules i lògica de càlcul
L'estimador utilitza dues línies de càlcul principals per determinar la viabilitat del rastreig:
- Demanda diària: Es calcula dividint el recompte total de pàgines pel seu interval d'actualització objectiu (convertit a dies), i posteriorment es multiplica pel factor de demanda definit. Demanda diària = ( Pàgines rastrejables / Interval d'actualització en dies ) × Multiplicador de la demanda
- Capacitat segura: Es determina avaluant quin és el límit més baix entre la taxa de sol·licituds permesa pel servidor i el límit imposat per la concurrència i el temps de resposta. Aquest valor resultant es redueix posteriorment aplicant el percentatge d'ús segur definit.
Resultats i diagnòstic de colls d'ampolla
Un cop realitzat el càlcul, l'eina ofereix les següents mètriques de sortida:
- Demanda de rastreig/dia: El nombre estimat de pàgines que els rastrejadors haurien de visitar diàriament.
- Capacitat/dia segura: El nombre màxim de sol·licituds diàries que el servidor pot admetre de manera segura per als rastrejadors.
- Rastreigs assolibles estimats/dia: El volum real de rastreigs que es poden dur a terme tenint en compte les limitacions físiques i de configuració.
- Demanda coberta: El percentatge de la demanda de rastreig que es pot satisfer de manera segura (visualment limitat a un rang de 0–100%).
- Dies per cobrir totes les pàgines: El temps necessari per completar el rastreig de tot el lloc web sota les condicions definides.
- Coll d'ampolla de capacitat: Identifica quin factor limita el rendiment, mostrant Tarifa de sol·licitud disponible o bé Concurrència i temps de resposta.
Estats de cobertura
Depenent del percentatge de demanda coberta, l'eina mostrarà un dels següents missatges d'estat:
- Si la demanda coberta és inferior al 100%: La demanda modelada està per sobre de l'estimació de capacitat segura..
- Si la demanda coberta és igual o superior al 100%: L'estimació de la capacitat segura cobreix la demanda modelada..
Preguntes freqüents (FAQ)
Això prediu amb quina freqüència Googlebot rastrejarà el meu lloc?
No. Els motors de cerca estableixen la demanda i la capacitat de rastreig a partir de senyals que no són totalment públics. Aquesta estimació és per a la planificació i la comparació; calibrar-lo amb els registres del servidor i els informes de rastreig.
Com es calcula l'estimació?
La demanda diària és el recompte de pàgines dividit per l'interval d'actualització objectiu i després multiplicat pel factor de demanda. La capacitat segura és el més baix dels límits de sol·licitud i concurrència, reduït per la utilització de seguretat.
Què indica el coll d'ampolla de capacitat?
Aquest indicador assenyala quin és el factor restrictiu principal del servidor. Si es mostra Tarifa de sol·licitud disponible, el límit es troba en la taxa de transferència de sol·licituds per segon assignada. Si es mostra Concurrència i temps de resposta, el rendiment està limitat pel temps que triga el servidor a respondre combinat amb el nombre de connexions simultànies permeses.
Per què el percentatge de demanda coberta no supera el 100%?
L'indicador visual de la demanda coberta està limitat a un rang màxim de 100% per reflectir de manera realista que, un cop coberta la totalitat de la demanda modelada, qualsevol capacitat addicional del servidor queda lliure i no es tradueix en un major volum de rastreig necessari.