Generator & Validator Robots.txt

Buat aturan perayapan dan periksa jalur mana saja yang dapat diakses oleh Googlebot.

Aturan perayapan

Mulai dengan crawler yang harus mengikuti aturan-aturan ini.

Sitemap

robots.txt yang dihasilkan

0
Siap. Contoh ini memblokir /admin untuk semua crawler.

Pemeriksaan aturan

    Uji jalur

    Aturan perayapan Anda dibuat dan diperiksa langsung di browser Anda. Tidak ada data yang diunggah ke BroBroGo.

    Tanya Jawab

    Apa saja yang dapat ditambahkan generator ini ke robots.txt?

    Tambahkan grup user-agent, jalur Allow dan Disallow, serta satu atau beberapa URL sitemap. Pratinjau siap disalin ke file robots.txt.

    Bagaimana cara pemeriksa jalur memilih aturan?

    Alat ini mengikuti urutan pencocokan Google: jalur pencocokan terpanjang yang akan menang. Jika aturan Allow dan Disallow yang cocok sama-sama spesifik, aturan Allow yang menang.

    Apakah aturan Disallow akan menghapus halaman dari Google Search?

    Tidak. Halaman yang diblokir masih dapat muncul di hasil pencarian jika halaman lain menautkannya. Gunakan tag noindex, kontrol akses, atau hapus halaman tersebut jika Anda benar-benar ingin menjauhkannya dari hasil pencarian.

    Pemformat / Validator XMLFormat, minify, dan periksa struktur XML langsung di browser Anda.Enkoder/Dekoder URL + Entitas HTMLEnkode URL, dekode persen escape, dan escape entitas HTML.Generator URL SlugUbah judul halaman menjadi URL slug yang bersih dan menggunakan tanda hubung.Generator XML SitemapUbah URL halaman dan metadata perayapan menjadi sitemap.xml yang siap digunakan.Generator HreflangTambahkan setiap URL yang dilokalkan dan dapatkan rangkaian hreflang lengkap dengan x-default.Pemeriksa Tag KanonisMasukkan URL halaman untuk menemukan tag kanonisnya dan bandingkan dengan alamat halaman tersebut.Generator Aturan PengalihanUbah pemetaan CSV sumber dan tujuan menjadi aturan 301 atau 302 untuk Nginx, Apache, dan Vercel.