Robots.txt генераторы және валидаторы
Индекстеу ережелерін жасаңыз және Googlebot қай жолдарға кіре алатынын тексеріңіз.
Индекстеу ережелері
Осы ережелерді орындауы тиіс роботтан (crawler) бастаңыз.
Сайт карталары
Жасалған robots.txt
0Ережені тексеру
Жолды сынау
Индекстеу ережелеріңіз браузеріңізде жасалады және тексеріледі. BroBroGo серверіне ештеңе жіберілмейді.
Жиі қойылатын сұрақтар
Бұл генератор robots.txt файлына не қоса алады?
User-agent тобын, Allow және Disallow жолдарын және бір немесе бірнеше сайт картасының URL мекенжайларын қосыңыз. Дайын кодты robots.txt файлына көшіріп қоюға болады.
Жолды тексеру құралы ережені қалай таңдайды?
Ол Google-дің сәйкестік ретін басымдыққа алады: ең ұзын сәйкес келетін жол жеңеді. Егер сәйкес келетін Allow және Disallow ережелерінің нақтылығы бірдей болса, Allow басым болады.
Disallow ережесі бетті Google іздеу жүйесінен өшіре ме?
Жоқ. Басқа беттер оған сілтеме жасаған жағдайда, блокталған бет іздеу нәтижелерінде бәрібір пайда болуы мүмкін. Бетті іздеуден толықтай алып тастау қажет болса, noindex тегін, кіруді шектеуді қолданыңыз немесе бетті өшіріңіз.