Robots.txt გენერატორი და ვალიდატორი
შექმენით ინდექსაციის წესები და შეამოწმეთ, რომელ გზებზე აქვს წვდომა Googlebot-ს.
ინდექსაციის წესები
დაიწყეთ საძიებო რობოტით (crawler), რომელმაც უნდა დაიცვას ეს წესები.
საიტის რუკები
გენერირებული robots.txt
0წესების შემოწმება
გზის ტესტირება
თქვენი ინდექსაციის წესები იქმნება და მოწმდება თქვენს ბრაუზერში. BroBroGo-ზე არაფერი იტვირთება.
ხშირად დასმული კითხვები
რისი დამატება შეუძლია ამ გენერატორს robots.txt-ში?
დაამატეთ user-agent ჯგუფი, Allow და Disallow გზები და საიტის რუკის (sitemap) ერთი ან მეტი URL-ი. წინასწარ ნაჩვენები კოდი მზადაა robots.txt ფაილში ჩასაწერად.
როგორ ირჩევს გზის შემმოწმებელი წესს?
ის მიჰყვება Google-ის შესაბამისობის წესს: ყველაზე გრძელი შესაბამისი გზა იმარჯვებს. თუ შესაბამისი Allow და Disallow წესები თანაბრად სპეციფიკურია, იმარჯვებს Allow.
აშორებს თუ არა Disallow გვერდს Google Search-იდან?
არა. დაბლოკილი გვერდი მაინც შეიძლება გამოჩნდეს ძიების შედეგებში, თუ მასზე სხვა გვერდები მიუთითებენ. გამოიყენეთ noindex, წვდომის კონტროლი ან წაშალეთ გვერდი, თუ გსურთ მისი ძიებიდან სრულიად გამორიცხვა.