Generator & Validator Robots.txt

Fungsi dan Peran File Robots.txt

File robots.txt adalah dokumen teks sederhana yang ditempatkan di direktori utama situs web untuk memberikan instruksi kepada robot perayap (crawler), seperti Googlebot, mengenai halaman atau bagian mana dari situs yang boleh atau tidak boleh mereka akses. Alat Generator & Validator Robots.txt ini membantu pemilik situs web, pengembang, dan pengelola situs untuk menyusun aturan perayapan tersebut dengan benar serta menguji apakah jalur tertentu pada situs web akan diizinkan atau diblokir oleh crawler.

Penting untuk dipahami bahwa aturan dalam robots.txt ditujukan untuk mengelola lalu lintas perayapan. Memblokir perayapan suatu halaman tidak menjamin halaman tersebut hilang dari indeks mesin pencari. Halaman yang diblokir masih dapat muncul di hasil pencarian jika terdapat halaman lain yang menautkannya. Alat ini tidak memeriksa keberadaan tag noindex, kontrol akses (seperti autentikasi kata sandi), atau penghapusan halaman secara permanen.

Mengonfigurasi Direktif User-Agent

Sesi instruksi dalam file robots.txt selalu dimulai dengan menentukan target crawler melalui direktif User-agent. Anda dapat menentukan nama crawler spesifik atau menggunakan tanda bintang * yang berlaku sebagai instruksi umum untuk semua crawler.

Dalam penggunaan alat ini, terdapat beberapa aturan validasi untuk input User-agent:

• Nama user-agent tidak boleh mengandung spasi. Jika terdapat spasi, sistem akan menampilkan pesan kesalahan: "Masukkan satu nama user-agent tanpa spasi, atau gunakan * untuk semua crawler."
• Secara default, alat ini memulai konfigurasi awal dengan User-agent: * dan Disallow: /admin.
• Jika Anda memasukkan user-agent yang sama di beberapa grup berbeda, alat akan mendeteksi hal tersebut dan memberikan peringatan: "Google menggabungkan grup-grup yang menyebutkan user-agent yang sama."

Interaksi Aturan Allow dan Disallow

Aturan akses diatur menggunakan direktif Allow (Izinkan) dan Disallow (Larang) diikuti oleh jalur (path) spesifik yang ingin diatur. Penulisan jalur ini harus mengikuti standar teknis yang ketat agar dapat dibaca oleh crawler:

• Setiap jalur aturan wajib dimulai dengan karakter / dan tidak boleh mengandung spasi. Pelanggaran terhadap aturan ini memicu pesan kesalahan: "Jalur aturan harus dimulai dengan / dan tidak boleh mengandung spasi."
• Karakter khusus $ dapat digunakan untuk menandai akhir dari suatu jalur aturan. Karakter ini tidak boleh diletakkan di tengah jalur. Jika diletakkan secara tidak tepat, alat akan memicu pesan: "Gunakan karakter $ hanya di akhir jalur aturan."
• Jika Anda memasukkan aturan yang sama persis untuk user-agent yang sama, alat akan menandainya dengan pesan: "Aturan ini diulang untuk user-agent yang sama."

Konflik sering terjadi ketika aturan Allow dan Disallow menggunakan jalur yang sama. Jika hal ini terdeteksi, validator akan menampilkan pesan: "Aturan Allow dan Disallow menggunakan jalur yang sama. Google menerapkan Allow ketika keduanya sama-sama spesifik."

Menyertakan URL Sitemap

Sitemap membantu crawler menemukan dan mengindeks halaman-halaman penting di situs web Anda dengan lebih efisien. Menyertakan lokasi sitemap di dalam file robots.txt adalah praktik standar yang sangat disarankan.

Saat menambahkan sitemap pada alat ini, URL yang dimasukkan harus berupa alamat lengkap yang menggunakan protokol http:// atau https://. Jika format URL tidak lengkap atau salah, validator akan menampilkan pesan kesalahan: "URL sitemap memerlukan alamat http:// atau https:// yang lengkap."

Mekanisme Pencocokan Aturan Google

Saat mengevaluasi jalur URL terhadap aturan yang ada di robots.txt, alat ini menggunakan standar pencocokan yang diterapkan oleh Google. Aturan pencocokan tersebut bekerja berdasarkan prinsip-prinsip berikut:

1. Jalur Terpanjang yang Menang: Google mengevaluasi semua aturan yang cocok dengan jalur yang diuji. Aturan dengan jumlah karakter pencocokan terpanjang (paling spesifik) adalah aturan yang akan diterapkan.
2. Prioritas Allow: Jika ada aturan Allow dan Disallow yang cocok dan keduanya memiliki panjang karakter yang sama (sama-sama spesifik), maka aturan Allow yang akan dimenangkan dan diterapkan.

Saat Anda melakukan pengujian jalur pada alat ini, sistem akan memberikan salah satu dari hasil evaluasi berikut:

• Diizinkan — {rule}: Menunjukkan bahwa jalur yang diuji dapat diakses oleh crawler berdasarkan aturan spesifik yang tertera.
• Diblokir — {rule}: Menunjukkan bahwa jalur yang diuji tidak dapat diakses oleh crawler karena terhalang oleh aturan spesifik yang tertera.
• Tidak ada aturan yang cocok. Google mengizinkan jalur ini secara default.: Menunjukkan bahwa tidak ada satu pun aturan dalam file robots.txt yang membatasi atau mengizinkan jalur tersebut, sehingga crawler bebas mengaksesnya.

Batasan Ukuran dan Pemrosesan Lokal

File robots.txt memiliki batasan ukuran fisik yang dapat diproses oleh mesin pencari. Alat ini membatasi analisis teks hingga ukuran tertentu. Jika file robots.txt yang dihasilkan atau dimasukkan melebihi 100.000 karakter, validator akan menghentikan pemeriksaan dan menampilkan pesan: "Ukuran robots.txt terlalu besar untuk ditinjau di sini."

Mengenai keamanan data, seluruh proses pembuatan, pengeditan, dan validasi aturan perayapan dilakukan secara lokal di dalam browser Anda. Tidak ada data aturan, jalur URL, atau konfigurasi sitemap yang diunggah ke server BroBroGo, sehingga privasi data teknis situs Anda tetap terjaga di perangkat Anda sendiri.

Pertanyaan yang Sering Diajukan (FAQ)

Apa saja yang dapat ditambahkan generator ini ke robots.txt? Tambahkan grup user-agent, jalur Allow dan Disallow, serta satu atau beberapa URL sitemap. Pratinjau siap disalin ke file robots.txt.

Bagaimana cara pemeriksa jalur memilih aturan? Alat ini mengikuti urutan pencocokan Google: jalur pencocokan terpanjang yang akan menang. Jika aturan Allow dan Disallow yang cocok sama-sama spesifik, aturan Allow yang menang.

Apakah aturan Disallow akan menghapus halaman dari Google Search? Tidak. Halaman yang diblokir masih dapat muncul di hasil pencarian jika halaman lain menautkannya. Gunakan tag noindex, kontrol akses, atau hapus halaman tersebut jika Anda benar-benar ingin menjauhkannya dari hasil pencarian.

Mengapa muncul pesan kesalahan mengenai spasi pada User-agent atau jalur? Sesuai standar protokol pengecualian robot, nama user-agent dan jalur aturan tidak boleh mengandung spasi. Alat ini memvalidasi input tersebut untuk memastikan file robots.txt Anda tidak mengalami kegagalan sintaksis saat dibaca oleh crawler asli.