Разбиране на бюджета за обхождане и неговото значение за уебсайтовете
Бюджетът за обхождане (crawl budget) е критичен фактор за видимостта на всеки уебсайт в търсачките. Той определя количеството ресурси и страници, които роботите на търсачките могат и искат да обходят на даден сайт за определен период от време. Ако капацитетът на сървъра е ограничен или структурата на сайта изисква твърде много ресурси, съществува риск важни страници да останат необходени и съответно неиндексирани.
За техническите SEO специалисти и администраторите на сайтове е от ключово значение да балансират натоварването на сървъра с нуждите от обхождане. Този баланс изисква съпоставяне на теоретичното търсене на обхождане (базирано на броя страници и честотата на тяхното обновяване) с реалния капацитет на хостинг инфраструктурата.
Фактори, влияещи върху търсенето на обхождане и капацитета на сървъра
Търсенето на обхождане и капацитетът на сървъра не са статични величини. Те се влияят от множество променливи, които определят колко ефективно роботите могат да взаимодействат с уебсайта:
- Размер на сайта и честота на обновяване: По-големите сайтове с динамично съдържание изискват по-чести посещения от роботи, за да се поддържа индексът на търсачките актуален.
- Време за реакция на сървъра: Бързината, с която сървърът отговаря на заявки, директно влияе върху броя страници, които роботът може да зареди, преди да достигне лимита на сесията.
- Паралелност (Concurrency): Броят едновременни връзки, които сървърът позволява на роботите, без това да влошава производителността за реалните потребители.
- Разпределен капацитет: Процентът от общите ресурси на сървъра, които администраторът е готов да отдели за автоматизирани системи и роботи.
Как работи Бюджетен оценител за обхождане на роботи
Инструментът Бюджетен оценител за обхождане на роботи позволява на техническите SEO специалисти и поддържащите сайта лица да симулират различни сценарии и да идентифицират потенциални тесни места в инфраструктурата.
Входни параметри за симулация
За да се извърши изчислението, е необходимо да се попълнят следните полета в интерфейса:
- Обхождащи се страници (
Обхождащи се страници): Общият брой страници на сайта, които подлежат на индексиране. - Среден интервал на актуализация (
Среден интервал на актуализация): Периодът, за който съдържанието се променя. Може да се избере Единица за интервал на актуализиране (Единица за интервал на актуализиране) измежду дни (дни), седмици (седмици) или месеца (месеца). - Средно време за отговор (ms) (
Средно време за отговор (ms)): Времето в милисекунди, необходимо на сървъра да върне отговор при заявка. - Капацитет на сървъра (requests/second) (
Капацитет на сървъра (requests/second)): Максималният брой заявки в секунда, които сървърът може да обработи. - Наличен капацитет за роботите (%) (
Наличен капацитет за роботите (%)): Процентът от общия капацитет на сървъра, заделен за обхождане. - Разрешена паралелност на робота (
Разрешена паралелност на робота): Максималният брой едновременни нишки или връзки, разрешени за роботите. - Мултипликатор на търсенето (
Мултипликатор на търсенето): Коефициент, който отчита допълнителни заявки (например за ресурси като CSS, JS и изображения). Стойността по подразбиране е 1.2. - Безопасно използване (%) (
Безопасно използване (%)): Буфер за сигурност, който предотвратява претоварването на сървъра. Стойността по подразбиране е 70%.
Правила за валидация на данните
За да работи изчислението правилно, инструментът прилага следните правила за въвеждане на данни:
- Всички полета трябва да бъдат попълнени. При липсващи данни се показва съобщението: "Попълнете всяко въвеждане, за да изчислите прогнозата.".
- Всички стойности трябва да бъдат обикновени крайни числа в рамките на поддържания диапазон (максималната позволена стойност е 1e12). При грешка се показва: "Въведете обикновени крайни числа в рамките на поддържания диапазон.".
- Всяка въведена стойност трябва да е по-голяма от нула. При неспазване се показва: "Всеки вход трябва да е по-голям от нула.".
- Процентните стойности за наличен капацитет и безопасно използване не могат да надвишават 100%. При превишаване се показва: "Процентните допускания не трябва да са повече от 100%.".
Методология на изчисление и формули
Инструментът използва математически модели за съпоставяне на изискванията на сайта с възможностите на сървъра.
Изчисляване на ежедневното търсене
Ежедневното търсене за обхождане се определя от обема на страниците, целевия интервал за тяхното обновяване и допълнителния коефициент на търсене:
Търсене за обхождане / ден = ( Обхождащи се страници / Интервал на актуализация в дни ) × Мултипликатор на търсенето
Изчисляване на безопасния капацитет
Безопасният капацитет на сървъра се изчислява като по-ниската стойност между два лимита – лимита на скоростта на заявките и лимита на паралелност, коригирана с процента на безопасно използване:
-
Лимит на скоростта на заявките (Request-rate limit): Лимит на заявките = Капацитет на сървъра (RPS) × ( (Наличен капацитет за роботите (%)) / 100 ) × 86400 секунди
-
Лимит на паралелност и време за реакция (Concurrency limit): Лимит на паралелност = ( Разрешена паралелност на робота / (Средно време за отговор (ms) / 1000) ) × 86400 секунди
Окончателният капацитет се определя по формулата:
Безопасен капацитет / ден = min(Лимит на заявките, Лимит на паралелност) × ( (Безопасно използване (%)) / 100 )
Анализ на резултатите и тесни места
След въвеждане на данните инструментът генерира следните изходни показатели:
- Търсене за обхождане / ден (
Търсене за обхождане / ден) - Безопасен капацитет / ден (
Безопасен капацитет / ден) - Очаквано постижимо обхождане/ден (
Очаквано постижимо обхождане/ден) - Търсенето е покрито (
Търсенето е покрито): Този показател визуално се ограничава в диапазона от 0% до 100%. - Дни за покриване на всички страници (
Дни за покриване на всички страници) - Тясно място на капацитета (
Тясно място на капацитета): Показва кой фактор ограничава производителността – Наличен процент на заявка (Наличен процент на заявка) или Паралелност и време за реакция (Паралелност и време за реакция).
Статуси на покритие
В зависимост от съотношението между търсенето и капацитета, инструментът показва един от двата статуса:
- Оценката на безопасния капацитет покрива моделираното търсене. (
Оценката на безопасния капацитет покрива моделираното търсене.) – когато покритието е 100% или повече. - Моделираното търсене е над оценката на безопасния капацитет. (
Моделираното търсене е над оценката на безопасния капацитет.) – когато покритието е под 100%.
Поверителност при обработката на данните
Всички симулации и изчисления се извършват изцяло локално във вашия уеб браузър. Данните за вашите страници, сървърни параметри и капацитет не се изпращат към външни сървъри и нищо не се качва в BroBroGo.
Често задавани въпроси (FAQ)
Това предвижда ли колко често Googlebot ще обхожда сайта ми?
Не. Търсачките задават търсене и капацитет за обхождане от сигнали, които не са напълно публични. Тази оценка е за планиране и сравнение; калибрирайте го със сървърни регистрационни файлове и отчети за обхождане.
Как се изчислява прогнозата?
Ежедневното търсене е броя на страниците, разделен на целевия интервал за актуализиране, след което се умножава по коефициента на търсене. Безопасният капацитет е по-ниската от границите на скоростта на заявка и паралелността, намалена от безопасното използване.
Какво означава ограничението в "Тясно място на капацитета"?
Това показва кой от двата изчислени лимита е по-нисък. Ако тясното място е "Наличен процент на заявка", сървърът ви е ограничен от общия брой заявки в секунда, които може да обработи. Ако е "Паралелност и време за реакция", ограничението идва от бавното време за реакция на страниците или твърде ниския брой едновременни връзки, разрешени за роботите.
Гарантира ли покриването на търсенето, че всички страници ще бъдат индексирани?
Не. Това е планова оценка, а не обещание на търсачката. Обхождането не гарантира индексиране, а реалните нива на обхождане също зависят от стойността на съдържанието, грешките, търсенето и политиката за обхождане.