Comprendre le budget d’exploration et son importance pour les sites Web
Le budget d’exploration représente la quantité de ressources qu’un robot de moteur de recherche consacre à l’exploration d’un site Web sur une période donnée. Pour les professionnels du SEO technique et les gestionnaires de sites, l’évaluation de ce budget est essentielle pour s’assurer que l’ensemble des pages importantes d’un domaine est découvert, indexé et régulièrement mis à jour. Si un serveur ne peut pas répondre efficacement aux requêtes des robots, ou si la structure du site exige un effort d’exploration disproportionné, certaines pages risquent de ne pas être indexées à temps, voire pas du tout.
Il existe toutefois une distinction fondamentale entre l’estimation théorique du budget d’exploration et le comportement réel des moteurs de recherche. Les moteurs de recherche définissent la demande et la capacité d'exploration à partir de signaux qui ne sont pas entièrement publics. Cette estimation est destinée à la planification et à la comparaison; il convient de la calibrer avec les journaux du serveur et les rapports d’analyse. De plus, l'exploration ne garantit pas l'indexation, et les taux d'exploration réels dépendent également de la valeur du contenu, des erreurs, de la demande et de la politique du robot.
Facteurs influençant la demande d’exploration et la capacité du serveur
L’activité d’exploration d’un robot dépend de deux forces principales: la demande d’exploration du site (ce que le robot souhaite explorer pour maintenir son index à jour) et la capacité du serveur (ce que l’infrastructure peut supporter sans dégradation des performances pour les utilisateurs).
Plusieurs facteurs clés influencent ces deux aspects:
- La taille du site et la fréquence de mise à jour: Un inventaire de pages volumineux qui change fréquemment nécessite un rythme d’exploration plus soutenu.
- Le temps de réponse du serveur: Un serveur rapide permet aux robots d’effectuer davantage de requêtes simultanées sans saturer les ressources.
- La bande passante et les limites de requêtes par seconde: La capacité globale allouée aux robots d’exploration restreint le volume quotidien maximal de requêtes.
- La concurrence autorisée: Le nombre de connexions simultanées qu’un robot peut ouvrir détermine l’efficacité de l’exploration, particulièrement lorsque les temps de réponse varient.
Estimation de la demande d’exploration quotidienne
Pour évaluer la demande d’exploration quotidienne, on se base sur le volume total de pages et l’intervalle cible durant lequel ces pages doivent être rafraîchies.
La formule de calcul de la demande quotidienne s’établit ainsi: la demande quotidienne correspond au nombre de pages divisé par l'intervalle de mise à jour cible, puis multiplié par le facteur de demande.
Dans l’outil, les variables suivantes permettent de modéliser cette demande:
- Pages explorables: Le nombre total de pages du site.
- Intervalle de mise à jour moyen: La valeur numérique associée à l’unité de temps choisie.
- Unité d'intervalle de mise à jour: L’unité de temps, qui peut être configurée en « jours », « semaines » ou « mois ».
- Multiplicateur de demande: Un facteur multiplicateur (valeur par défaut de 1,2) qui simule les explorations répétées, les ressources secondaires ou les variations de comportement des robots.
Évaluation de la capacité du serveur pour l’exploration
La capacité de sécurité d’un serveur correspond au volume maximal de requêtes que l’infrastructure peut tolérer de la part des robots d’exploration sans nuire à l’expérience des utilisateurs réels.
Pour la calculer, l’outil s’appuie sur les paramètres suivants:
- Temps de réponse moyen (ms): Le temps nécessaire au serveur pour répondre à une requête, exprimé en millisecondes.
- Capacité du serveur (requests/second): Le taux global de requêtes par seconde que le serveur peut traiter.
- Capacité disponible pour les robots (%): La portion de la capacité totale du serveur que l’on accepte de dédier aux robots d’exploration.
- Concurrence autorisée du robot d'exploration: Le nombre maximal de connexions simultanées que le robot est autorisé à établir.
- Utilisation sûre (%): Un pourcentage de sécurité (valeur par défaut de 70 %) appliqué pour éviter de saturer le serveur et conserver une marge de manœuvre.
La capacité sécurisée est la plus faible des limites de taux de requêtes et de concurrence, réduite par l’utilisation de la sécurité.
Identification des goulots d’étranglement de capacité
En comparant la demande d’exploration et la capacité de sécurité, l’outil identifie la ressource limitante qui restreint l’exploration. Le résultat affiché sous la mention Goulot d’étranglement de capacité peut prendre deux valeurs distinctes:
- Tarif de demande disponible: Le goulot d’étranglement provient de la limite globale de requêtes par seconde allouée aux robots d’exploration sur le serveur.
- Concurrence et temps de réponse: La limitation découle du nombre de connexions simultanées autorisées combiné à la lenteur de réponse du serveur.
Si la valeur de Demande couverte est inférieure à 100 %, l’outil affiche le message d’avertissement suivant: « La demande modélisée est supérieure à l’estimation de la capacité sûre ». À l’inverse, si la capacité est suffisante pour répondre à la demande modélisée (100 % ou plus), le système affiche: « L’estimation de la capacité sûre couvre la demande modélisée ». La valeur de sortie pour la demande couverte est visuellement limitée à une plage allant de 0 à 100 %.
Règles de saisie et traitement des données
Pour obtenir une estimation, l’utilisateur doit respecter des règles strictes de validation des données au sein de l’interface:
- Toutes les cases de saisie doivent être remplies. Si un champ est vide, le message suivant s’affiche: « Complétez chaque saisie pour calculer l’estimation. ».
- Les valeurs doivent être des nombres finis ordinaires compris dans la plage prise en charge (la valeur maximale autorisée pour les nombres est 1e12). En cas de valeur non conforme, le message d’erreur est: « Entrez des nombres finis ordinaires dans la plage prise en charge. ».
- Chaque valeur saisie doit être strictement supérieure à zéro. Si cette règle n’est pas respectée, l’interface indique: « Chaque entrée doit être supérieure à zéro. ».
- Les champs exprimés en pourcentage, à savoir « Capacité disponible pour les robots (%) » et « Utilisation sûre (%) », ne peuvent pas dépasser 100 %. Dans le cas contraire, l’erreur suivante apparaît: « Les hypothèses en pourcentage ne doivent pas dépasser 100%. ».
Concernant la confidentialité de vos données, les calculs de vos hypothèses de site et de serveur sont effectués directement dans votre navigateur. Rien n’est téléversé vers BroBroGo.
FAQ
Cela permet-il de prédire la fréquence à laquelle Googlebot explorera mon site?
Non. Les moteurs de recherche définissent la demande et la capacité d'exploration à partir de signaux qui ne sont pas entièrement publics. Cette estimation est destinée à la planification et à la comparaison; calibrez-le avec les journaux du serveur et les rapports d’analyse.
Comment est calculé le devis?
La demande quotidienne correspond au nombre de pages divisé par l'intervalle de mise à jour cible, puis multiplié par le facteur de demande. La capacité sécurisée est la plus faible des limites de taux de requêtes et de concurrence, réduite par l’utilisation de la sécurité.
Quels sont les goulots d'étranglement possibles identifiés par l'outil?
L'outil peut identifier deux types de goulots d'étranglement: « Tarif de demande disponible » (lié à la limite de requêtes par seconde du serveur) ou « Concurrence et temps de réponse » (lié aux limites de connexions simultanées et à la vitesse de réponse des pages).
Pourquoi la demande couverte est-elle limitée à 100 % dans les résultats?
La valeur de sortie pour la demande couverte est visuellement limitée à une plage de 0 à 100 % afin de simplifier l'évaluation de la conformité du serveur face à la demande modélisée, même si la capacité de sécurité réelle du serveur dépasse largement ce seuil.