Pembuat robots.txt
Kontrol crawler mesin pencari dengan mudah dan blokir AI crawler.
Cukup gunakan formulir untuk membuat robots.txt yang diformat dengan benar secara otomatis.
⚙️ Aturan Default (Semua Crawler)
🤖 Perlindungan AI Crawler
Mencegah scraping tidak sah oleh ChatGPT, Claude, Applebot, dll.
🕷️ Pengaturan Bot Individu
✨ robots.txt Dibuat
Tentang Pembuat robots.txt
Pembuat robots.txt adalah utilitas yang memungkinkan Anda dengan mudah membuat file teks untuk menginstruksikan crawler mesin pencari (spider) tentang halaman mana dari situs web Anda yang diizinkan untuk diakses atau dilarang.
Selain kontrol mesin pencari tradisional seperti Googlebot dan Bingbot, alat ini dilengkapi fitur untuk **memblokir secara massal pengumpulan data tidak sah (scraping) oleh "AI crawler"** seperti ChatGPT (GPTBot), Claude (ClaudeBot), dan AI Apple, yang akhir-akhir ini semakin marak. Pengaturan Anda akan diterapkan ke dalam kode secara langsung dan dapat disalin serta langsung digunakan dengan satu klik.
Cara Menggunakan
Pilih Aturan Default
Pertama, pilih apakah akan "Izinkan" atau "Blokir" akses ke seluruh situs untuk semua crawler.
Pengaturan Bot & Direktori
Atur apakah akan memblokir bot AI dan membatasi akses ke direktori tertentu (misal: `/admin/`).
Salin Kode
Salin teks yang dihasilkan di sebelah kanan (bawah pada seluler) menggunakan tombol "Salin Kode".
Instal di Server
Simpan konten yang disalin sebagai `robots.txt` dan letakkan di direktori teratas (root) situs Anda.
Glosarium robots.txt
- robots.txt
- File teks yang ditempatkan di direktori root situs web. Berisi aturan yang menginstruksikan program otomatis (crawler) seperti mesin pencari tentang bagian situs mana yang boleh atau tidak boleh mereka akses.
- User-agent
- Pengidentifikasi yang mewakili identitas crawler atau browser yang mengakses. Dalam robots.txt, menulis "User-agent: Googlebot" menerapkan aturan pada crawler tertentu. "*" berarti semuanya.
- Allow / Disallow
- Perintah untuk "Izinkan" dan "Blokir" crawler. Menulis "Disallow: /admin/" melarang akses ke semua halaman di bawah /admin/.
- AI Crawler (Bot AI)
- Program otomatis yang mengumpulkan data di Internet untuk melatih model AI oleh perusahaan AI seperti OpenAI (ChatGPT) dan Anthropic (Claude). GPTBot adalah contoh tipikal.
- Sitemap
- File XML yang memberi tahu crawler tentang struktur halaman situs. Dengan menulis "Sitemap: https://..." di robots.txt, Anda dapat secara efisien menyampaikan gambaran keseluruhan situs Anda kepada crawler.
Pertanyaan yang Sering Diajukan
- Q.Apa perbedaan antara robots.txt dan tag meta robots HTML?
- robots.txt adalah file yang mengontrol halaman mana di situs Anda yang diizinkan untuk diakses crawler. Di sisi lain, meta robots (seperti noindex) mengontrol apakah halaman yang telah diakses akan diindeks (ditampilkan) di hasil pencarian. Gunakan robots.txt untuk mencegah akses, dan meta robots untuk mencegah pengindeksan.
- Q.Apakah memblokir AI crawler memengaruhi peringkat pencarian normal?
- Tidak. Crawler pencari utama seperti Googlebot dan AI crawler seperti ChatGPT (GPTBot) atau Claude (ClaudeBot) memiliki User-agent yang berbeda. Memblokir hanya AI crawler (Disallow) tidak memengaruhi SEO Google Anda.
- Q.Di mana saya harus menempatkan robots.txt yang dihasilkan?
- Unggah ke direktori root (tingkat teratas) situs web Anda dengan nama file "robots.txt". Misalnya, jika situs Anda adalah https://example.com/, maka file tersebut harus dapat diakses di https://example.com/robots.txt.
- Q.Apa yang terjadi jika saya salah mengonfigurasinya?
- Jika Anda memilih "Blokir Semua" di aturan default atau secara tidak sengaja memblokir "/", Googlebot tidak akan dapat mengakses seluruh situs Anda, yang dapat menyebabkan situs Anda hilang dari hasil pencarian. Periksa pengaturan dan pratinjau dengan saksama sebelum memasang.
Kasus Penggunaan
Memblokir pelatihan AI tidak sah
Gunakan pemblokiran massal AI crawler ketika Anda ingin mencegah konten asli dan artikel blog Anda diambil secara sembarangan sebagai data pelatihan AI.
Melindungi halaman admin dan pribadi
Blokir massal crawler untuk direktori yang tidak ingin Anda tampilkan di hasil pencarian Google, seperti WordPress /wp-admin/, halaman khusus anggota, dan halaman hasil pencarian dinamis.
Efisiensi SEO (Optimisasi Anggaran Crawl)
Di situs web besar, batasi perayapan ke halaman yang tidak penting untuk memandu Googlebot agar memprioritaskan perayapan halaman penting (seperti artikel baru).
Menyembunyikan situs pengembangan/pengujian
Larang seluruh situs untuk mencegah lingkungan pengujian selama produksi situs atau sebelum pembaruan agar tidak diindeks secara tidak sengaja oleh mesin pencari.
Kirim Umpan Balik
Beri tahu kami pendapat Anda untuk membantu kami menyempurnakan alat ini.
Umpan balik sementara ditangguhkan
Server sedang sibuk atau perlindungan spam aktif. Silakan coba lagi nanti.