Robots.txt генераторы және валидаторы

Robots.txt генераторы және валидаторы құралының қызметі

«Robots.txt генераторы және валидаторы» құралы веб-сайтқа кіретін Googlebot сияқты іздеу роботтары (crawlers) орындауы тиіс ережелерді жасауға және тексеруге көмектеседі. Осы құралдың көмегімен сіз әртүрлі роботтар үшін арнайы нұсқаулар қосу арқылы robots.txt файлын құрастыра аласыз, сондай-ақ жасалған ережелер негізінде веб-сайттың нақты жолдарына роботтардың кіруіне рұқсат берілетінін немесе блокталатынын тексере аласыз.

Құрал жұмысты әдепкі бойынша User-agent: * және Disallow: /admin ережелерінен бастайды.

Құралға енгізілетін деректер (Inputs)

Генератор мен валидаторды пайдалану үшін келесі деректерді енгізу қажет:

• User-agent: Роботтың атауы немесе барлық роботтарға бірдей қолдану үшін * таңбасы.
• Жол (Path): Веб-сайттың / таңбасынан басталатын жолы.
• Сайт картасының URL мекенжайы: Сайт картасына сілтейтін толық http:// немесе https:// мекенжайы.
• URL жолы: Веб-сайттағы тексергіңіз келетін нақты жол.
• Робот (Crawler): Жолдың қолжетімділігін тексеруге арналған нақты роботтың атауы.

Құралдың шығыс деректері (Outputs)

Ережелерді енгізу және тексеру барысында құрал келесі нәтижелерді көрсетеді:

• Жасалған robots.txt: Дайын robots.txt файлының алдын ала қарау нұсқасы.
• {count} ереже ({count} rule(s)): Жасалған robots.txt файлындағы жалпы ережелер саны.
• Қарап шығуды қажет ететін {count} элемент ({count} item(s) to review): Ережелерден табылған қателер мен мәселелердің саны.
• Рұқсат етілген — {rule} (Allowed — {rule}): Тексерілген жолға рұқсат берілгенін және оған қандай ереже мүмкіндік беріп тұрғанын көрсетеді.
• Блокталған — {rule} (Blocked — {rule}): Тексерілген жолдың блокталғанын және оны шектеп тұрған ережені көрсетеді.
• Сәйкес келетін ереже жоқ. Google бұл жолға әдепкі бойынша рұқсат береді.: Тексерілген жолға қолданылатын ешқандай ереже табылмағанын білдіреді.

Ережелерді қолдану және ерекше жағдайлар

Robots.txt файлын жасау және тексеру кезінде келесі синтаксистік талаптар мен шектеулерді ескеру қажет:

• Бос орындарға тыйым салу: User-agent атауларында және ереже жолдарында бос орындар болмауы тиіс. Егер бұл талап бұзылса, құрал «Бос орынсыз бір user-agent атауын енгізіңіз немесе барлық роботтар үшін * таңбасын қолданыңыз.» немесе «Ереже жолдары / таңбасынан басталуы керек және оларда бос орындар болмауы тиіс.» деген қателерді көрсетеді.
• Жолдың басталуы: Ереже жолдары міндетті түрде / таңбасынан басталуы керек.
• Арнайы таңбалар: $ таңбасын тек ереже жолының соңында ғана пайдалануға болады. Әйтпесе, «$ таңбасын тек ереже жолының соңында ғана пайдаланыңыз.» деген ескерту шығады.
• Қайталанатын ережелер: Егер бір user-agent үшін бір ереже қайталанса, құрал оны «Бұл ереже дәл осы user-agent үшін қайталанған.» деп белгілейді.
• Бірдей жолдар қайшылығы: Егер Allow және Disallow ережелерінде бірдей жол қолданылса, құрал «Allow және Disallow ережелерінде бірдей жол қолданылған. Екеуінің де нақтылығы бірдей болғанда, Google Allow ережесін қолданады.» деген ескертуді көрсетеді.
• Топтарды біріктіру: Егер бір user-agent бірнеше топта көрсетілсе, құрал «Google бірдей user-agent атауы бар топтарды біріктіреді.» деген белгі шығарады.
• Сайт картасының форматы: Сайт картасының URL мекенжайлары міндетті түрде толық http:// немесе https:// протоколдарынан басталуы керек. Қате болған жағдайда «Сайт картасының URL мекенжайлары үшін толық http:// немесе https:// мекенжайы қажет.» деген хабарлама көрсетіледі.
• Файл көлемінің шектеуі: Егер жасалған robots.txt файлының көлемі 100 000 таңбадан асып кетсе, құрал «Бұл robots.txt файлы мұнда қарап шығу үшін тым үлкен.» деген ескерту береді.

Роботтардың ережелерді сәйкестендіру тәртібі

Жолдарды тексеру кезінде құрал Google қолданатын сәйкестік тәртібіне сүйенеді:

• Ең ұзын жол басымдығы: Ережелерді салыстыру кезінде ең ұзын сәйкес келетін жол жеңімпаз болып табылады.
• Тең нақтылық: Егер сәйкес келетін Allow және Disallow ережелерінің ұзындығы (нақтылығы) бірдей болса, әрқашан Allow ережесі басымдыққа ие болады.
• Индекстеуді шектеудің ерекшелігі: Блокталған бет (Disallow ережесі қолданылған бет) егер оған басқа веб-беттер сілтеме жасаса, іздеу нәтижелерінде бәрібір пайда болуы мүмкін. Бұл құрал noindex директивасын, кіруді шектеуді (access control) немесе бетті өшіруді тексермейді.

Құпиялылық және деректерді өңдеу

Сіздің индекстеу ережелеріңіз толығымен браузеріңізде жасалады және тексеріледі. BroBroGo серверіне ешқандай деректер жіберілмейді және жүктелмейді.

Жиі қойылатын сұрақтар (FAQ)

Бұл генератор robots.txt файлына не қоса алады?

User-agent тобын, Allow және Disallow жолдарын және бір немесе бірнеше сайт картасының URL мекенжайларын қосыңыз. Дайын кодты robots.txt файлына көшіріп қоюға болады.

Жолды тексеру құралы ережені қалай таңдайды?

Ол Google-дің сәйкестік ретін басымдыққа алады: ең ұзын сәйкес келетін жол жеңеді. Егер сәйкес келетін Allow және Disallow ережелерінің нақтылығы бірдей болса, Allow басым болады.

Disallow ережесі бетті Google іздеу жүйесінен өшіре ме?

Жоқ. Басқа беттер оған сілтеме жасаған жағдайда, блокталған бет іздеу нәтижелерінде бәрібір пайда болуы мүмкін. Бетті іздеуден толықтай алып тастау қажет болса, noindex тегін, кіруді шектеуді қолданыңыз немесе бетті өшіріңіз.