Penjana & Pengesah Robots.txt

Bina peraturan rayapan dan semak laluan mana yang boleh diakses oleh Googlebot.

Peraturan rayapan

Mulakan dengan perayap (crawler) yang patut mengikut peraturan ini.

Peta Laman

Robots.txt yang dijana

0
Sedia. Contoh menyekat /admin untuk semua perayap.

Semakan peraturan

    Uji laluan

    Peraturan rayapan anda dicipta dan disemak dalam penyemak imbas anda. Tiada apa-apa yang dimuat naik ke BroBroGo.

    Soalan Lazim

    Apakah yang boleh ditambahkan oleh penjana ini ke dalam robots.txt?

    Tambahkan kumpulan user-agent, laluan Allow dan Disallow, serta satu atau lebih URL peta laman. Pratonton sedia untuk disalin ke dalam fail robots.txt.

    Bagaimanakah penyemak laluan memilih peraturan?

    Ia mengikut susunan padanan Google: laluan padanan terpanjang akan menang. Jika peraturan Allow dan Disallow yang sepadan adalah sama khusus, Allow akan menang.

    Adakah Disallow mengalih keluar halaman daripada Google Search?

    Tidak. Halaman yang disekat masih boleh muncul dalam keputusan carian apabila halaman lain memaut kepadanya. Gunakan noindex, kawalan akses, atau alih keluar halaman tersebut apabila anda mahu ia tidak dipaparkan dalam carian.

    Pemformat / Pengesah XMLFormat, kecilkan dan semak struktur XML dalam pelayar anda.Enkod/Nyahkod URL + Entiti HTMLEnkod URL, nyahkod pelepasan peratus, dan lepaskan entiti HTML.Penjana Slug URLTukar tajuk halaman kepada slug URL yang bersih dan bertanda sempang.Penjana Peta Laman XMLTukar URL halaman dan metadata rayapan kepada sitemap.xml yang sedia digunakan.Penjana HreflangTambah setiap URL yang dilesapkan dan dapatkan set hreflang lengkap dengan x-default.Penyemak Tag KanonikalMasukkan URL halaman untuk mencari kanonikalnya dan bandingkan dengan alamat halaman.Penjana Peraturan Hala SemulaTukar pemetaan CSV sumber dan destinasi kepada peraturan 301 atau 302 untuk Nginx, Apache dan Vercel.