UsefulVerse
Bahasa · Bahasa Indonesia

Gratis digunakan, tanpa perlu akun

Penguji robots.txt

Tempelkan teks robots.txt, masukkan token produk perayap, dan uji hingga 100 URL. Hasil dihitung pada perangkat ini; tidak ada yang diambil atau diunggah.

Tempel aturan di sini. Maksimum 200 KB, 5.000 baris, dan 2.000 aturan Izinkan/Larang.

Contoh: Googlebot. Masukkan token saja, bukan string Agen-Pengguna browser lengkap.

Masukkan satu URL HTTP atau HTTPS lengkap per baris, maksimal 100. Alat ini tidak membukanya.

Ini adalah pratinjau lokal dari aturan umum Izinkan/Larang, bukan emulator lengkap untuk setiap crawler. Arahan yang tidak didukung dilaporkan sebagai diabaikan. robots.txt bukan kontrol akses dan tidak menjamin perayapan, pengindeksan, atau pemeringkatan.

Bagaimana cara menguji aturan robots.txt?

Tempelkan konten file, masukkan token perayap seperti Googlebot, tambahkan satu URL lengkap per baris, dan pilih Aturan uji. Pratinjau memperlihatkan grup yang dipilih dan aturan pencocokan, jika ada.

Pertanyaan umum

Bagaimana cara menguji aturan robots.txt?

Tempelkan konten file, masukkan token perayap seperti Googlebot, tambahkan satu URL lengkap per baris, dan pilih Aturan uji. Pratinjau memperlihatkan grup yang dipilih dan aturan pencocokan, jika ada.

Apakah penguji ini mengambil situs web saya atau mengunggah URL saya?

Tidak. Itu hanya membaca teks dan URL yang Anda masukkan di browser ini. Itu tidak mengambil robots.txt, mengunjungi URL, atau mengunggah data Anda.

Apakah robots.txt menghentikan orang membuka halaman?

Tidak. Ini memberikan instruksi perayap; itu tidak melindungi data pribadi. Gunakan otentikasi atau kontrol akses server untuk halaman pribadi.

Apakah URL yang diizinkan harus muncul di hasil pencarian?

Tidak. Mengizinkan perayapan tidak menjamin bahwa mesin pencari akan merayapi, mengindeks, atau memberi peringkat pada suatu URL.

Apakah alat ini memeriksa Google, Bing, atau perayap lainnya secara langsung?

Tidak. Ini meninjau aturan umum untuk token perayap yang Anda masukkan. Itu tidak menghubungi mesin pencari atau situs web apa pun.