Γεννήτρια & Ελεγκτής Robots.txt
Δημιουργήστε κανόνες ανίχνευσης και ελέγξτε σε ποιες διαδρομές έχει πρόσβαση το Googlebot.
Κανόνες ανίχνευσης
Ξεκινήστε με το crawler που πρέπει να ακολουθεί αυτούς τους κανόνες.
Sitemaps
Παραγόμενο robots.txt
0Έλεγχος κανόνων
Δοκιμή διαδρομής
Οι κανόνες ανίχνευσης δημιουργούνται και ελέγχονται στο πρόγραμμα περιήγησής σας. Τίποτα δεν μεταφορτώνεται στο BroBroGo.
Συχνές Ερωτήσεις
Τι μπορεί να προσθέσει αυτή η γεννήτρια στο robots.txt;
Προσθέστε μια ομάδα user-agent, διαδρομές Allow και Disallow, και ένα ή περισσότερα URL sitemap. Η προεπισκόπηση είναι έτοιμη για αντιγραφή σε ένα αρχείο robots.txt.
Πώς επιλέγει κανόνα ο ελεγκτής διαδρομής;
Ακολουθεί τη σειρά αντιστοίχισης της Google: η μεγαλύτερη αντίστοιχη διαδρομή κερδίζει. Εάν οι κανόνες Allow και Disallow που ταιριάζουν είναι εξίσου συγκεκριμένοι, κερδίζει το Allow.
Καταργεί το Disallow μια σελίδα από την Αναζήτηση Google;
Όχι. Μια αποκλεισμένη σελίδα μπορεί να εξακολουθεί να εμφανίζεται στα αποτελέσματα αναζήτησης όταν άλλοι ιστότοποι συνδέονται με αυτήν. Χρησιμοποιήστε noindex, έλεγχο πρόσβασης ή καταργήστε τη σελίδα όταν θέλετε να την κρατήσετε εκτός αναζήτησης.