Robots.txt Generator Gratis: Buat File robots.txt Tanpa Salah Sintaks
Susun aturan crawling untuk Googlebot, crawler AI, dan crawler lain lewat formulir, lihat hasilnya langsung, lalu salin atau unduh sebagai robots.txt. Tanpa daftar, dan kamu tidak perlu menghafal sintaksnya.
- Aturan Allow dan Disallow per crawler, termasuk crawler AI
- Baris Sitemap bisa ditambahkan dalam satu langkah
- Hasil bisa disalin atau diunduh sebagai file robots.txt
[toolsmith tool="robots"]
Empat langkah membuat robots.txt
Pilih titik awal
Mulai dari aturan dasar yang mengizinkan semua crawler, lalu tambahkan batasan hanya untuk bagian yang memang tidak perlu dirayapi.
Atur aturan per crawler
Tentukan path yang boleh dan tidak boleh dirayapi. Kamu bisa membuat aturan terpisah untuk crawler tertentu, termasuk crawler AI.
Tambahkan URL sitemap
Masukkan alamat lengkap sitemap kamu supaya muncul sebagai baris Sitemap di file.
Salin, unggah, lalu uji
Unggah file ke akar domain sehingga bisa dibuka di domain-kamu.com/robots.txt, lalu cek di Google Search Console.
Apa itu robots.txt dan apa fungsinya
robots.txt adalah file teks biasa yang diletakkan di akar domain. Crawler yang patuh membacanya lebih dulu untuk tahu bagian mana dari situs yang boleh dirayapi. File ini terdiri dari kelompok aturan: satu atau lebih baris User-agent yang menyebut crawler, diikuti baris Allow dan Disallow untuk path tertentu.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: GPTBot Disallow: / Sitemap: https://contoh.com/sitemap.xml
Contoh di atas mengizinkan semua crawler merayapi situs kecuali folder admin WordPress, memblokir GPTBot dari seluruh situs, dan menunjuk lokasi sitemap.
Yang perlu kamu pahami sebelum memasang
- robots.txt mengatur crawling, bukan keamanan. File ini bisa dibaca siapa saja, dan crawler yang tidak patuh bisa mengabaikannya. Jangan menyembunyikan data sensitif dengan cara ini.
- robots.txt bukan cara menghapus halaman dari indeks. Halaman yang diblokir tetap bisa terindeks tanpa konten kalau ada tautan ke halaman itu. Untuk mengeluarkan halaman dari hasil pencarian, pakai noindex atau fitur penghapusan di Search Console.
- File harus ada di akar domain, berformat teks UTF-8, dan berlaku hanya untuk host, protokol, dan port tempat file itu berada. Subdomain butuh file sendiri.
- Path bersifat case-sensitive:
/Foto/dan/foto/dianggap berbeda. - Googlebot mengabaikan
Crawl-delay. Sebagian crawler lain mungkin membacanya.
Token crawler AI yang umum
Kalau kamu ingin mengatur akses crawler AI, ini token yang paling sering dipakai. Pedoman tiap perusahaan bisa berubah, jadi cek dokumentasi resminya sebelum memutuskan.
Memblokir crawler untuk pelatihan model tidak sama dengan memblokir crawler untuk pencarian AI. Kalau kamu ingin tetap bisa ditemukan di jawaban pencarian AI, pikirkan dulu crawler mana yang kamu blokir.
Cara menyusun robots.txt yang aman
Lakukan
- Mulai dari aturan sempit: blokir hanya folder yang memang tidak berguna untuk pencarian, misalnya admin dan hasil pencarian internal
- Tambahkan baris Sitemap dengan URL lengkap
- Biarkan CSS dan JavaScript yang dipakai untuk menampilkan halaman tetap bisa dirayapi
- Uji file setelah diunggah dan setiap kali mengubahnya
- Pakai noindex pada halaman yang harus keluar dari hasil pencarian, dan biarkan halaman itu bisa dirayapi supaya noindex terbaca
- Catat alasan setiap aturan supaya mudah ditinjau ulang
Hindari
- Menulis Disallow: / untuk semua crawler di situs yang sudah live
- Menganggap robots.txt sebagai pengaman untuk halaman pribadi
- Memblokir folder CSS, JavaScript, atau gambar yang dibutuhkan untuk merender halaman
- Memasang noindex dan Disallow sekaligus pada halaman yang sama
- Menyalin robots.txt dari situs lain tanpa membaca isinya
- Mengandalkan Crawl-delay untuk membatasi Googlebot
Kesalahan robots.txt yang sering terjadi
Blokir semua bawaan staging
Situs dipindah dari staging ke live dengan robots.txt yang masih berisi Disallow: /. Akibatnya crawler berhenti merayapi situs. Selalu periksa file ini setelah peluncuran.
Mengira Disallow sama dengan noindex
Halaman yang diblokir masih bisa muncul di hasil pencarian tanpa deskripsi kalau ditautkan dari tempat lain. Untuk mengeluarkannya dari indeks, pakai noindex.
noindex tidak terbaca
Kalau halaman diblokir lewat robots.txt, crawler tidak membuka halamannya, jadi tag noindex di dalamnya tidak pernah terbaca.
Memblokir CSS dan JS
Mesin pencari perlu merender halaman seperti pengunjung. Memblokir file tampilan bisa membuat halaman dinilai tidak lengkap.
File di tempat yang salah
robots.txt di subfolder tidak dibaca. File harus ada di akar domain, dan tiap subdomain butuh file sendiri.
Salah huruf besar kecil
Nama path bersifat case-sensitive. Aturan untuk /Produk/ tidak berlaku untuk /produk/.
Alat gratis lainnya
Semua alat bisa dipakai tanpa daftar.
Sitemap XML Generator
Susun sitemap.xml dari daftar URL kanonis, siap diunggah dan didaftarkan.
Pakai alatGenerator llms.txt
Buat berkas llms.txt berformat Markdown yang merangkum isi situs.
Pakai alatSchema Generator JSON-LD
Buat markup JSON-LD untuk berbagai jenis schema tanpa menulis kode.
Pakai alatAudit SEO Website
Periksa satu halaman dan berkas pendukung domain, lalu unduh laporan PDF atau JSON.
Pakai alatMau paham SEO lebih dalam?
Robots.txt hanya satu bagian dari technical SEO. Kursus SEO dari nol membahas crawl, index, dan cara membaca laporan Search Console secara berurutan.
FAQ robots.txt generator
Apa itu robots.txt?
robots.txt adalah file teks di akar domain yang memberi tahu crawler bagian mana dari situs yang boleh atau tidak boleh dirayapi. Crawler yang patuh membacanya sebelum merayapi situs.
Apakah robots.txt bisa menyembunyikan halaman dari Google?
Tidak sepenuhnya. robots.txt mengatur crawling, bukan indeks. Halaman yang diblokir tetap bisa terindeks tanpa konten kalau ada tautan ke halaman itu. Untuk mengeluarkan halaman dari hasil pencarian, pakai noindex atau fitur penghapusan di Search Console.
Apakah robots.txt aman untuk melindungi data sensitif?
Tidak. File ini bisa dibaca siapa saja dan hanya dipatuhi oleh crawler yang mau patuh. Data sensitif harus dilindungi dengan login atau pengaturan akses di server.
Di mana robots.txt harus diletakkan?
Di akar domain, sehingga bisa dibuka di alamat-kamu.com/robots.txt. File di subfolder tidak dibaca. Subdomain butuh file robots.txt sendiri.
Bagaimana cara memblokir crawler AI?
Tambahkan kelompok aturan dengan User-agent berisi token crawler, misalnya GPTBot atau ClaudeBot, lalu Disallow: /. Alat ini menyediakan daftar token umum. Pedoman tiap perusahaan bisa berubah, jadi cek dokumentasinya.
Apakah memblokir crawler AI membuat situs hilang dari pencarian AI?
Tergantung crawler yang diblokir. Crawler untuk pelatihan model dan crawler untuk pencarian biasanya memakai token berbeda, jadi memblokir yang satu tidak otomatis memblokir yang lain. Cek dokumentasi masing-masing perusahaan.
Apakah Googlebot membaca Crawl-delay?
Tidak, Googlebot mengabaikan Crawl-delay. Sebagian crawler lain mungkin membacanya, tetapi jangan mengandalkannya untuk Googlebot.
Bagaimana cara mengujinya setelah diunggah?
Buka alamat-kamu.com/robots.txt di browser untuk memastikan file tampil, lalu periksa di Google Search Console. Setelah itu uji beberapa URL penting untuk memastikan tidak terblokir tanpa sengaja.
Buat robots.txt yang rapi hari ini
Susun aturannya, salin hasilnya, lalu unggah ke akar domain dan uji di Search Console.