robots.txt Oluşturucu
Arama motoru tarayıcılarını kolayca kontrol edin ve AI tarayıcılarını engelleyin.
Doğru biçimlendirilmiş bir robots.txt dosyasını otomatik oluşturmak için formu kullanmanız yeterlidir.
⚙️ Varsayılan Kural (Tüm Tarayıcılar)
🤖 Yapay Zeka Koruması
ChatGPT, Claude, Applebot vb. tarafından izinsiz veri çekilmesini önler.
🕷️ Bireysel Bot Ayarları
✨ Oluşturulan robots.txt
robots.txt Oluşturucu Hakkında
robots.txt oluşturucu, arama motoru tarayıcılarına (örümcekler) web sitenizin hangi sayfalarını tarayabileceklerini veya erişemeyeceklerini bildiren bir metin dosyasını kolayca oluşturmanıza olanak tanıyan bir yardımcı programdır.
Googlebot ve Bingbot gibi geleneksel arama motoru kontrolüne ek olarak, son zamanlarda artan ChatGPT (GPTBot), Claude (ClaudeBot) ve Apple'ın AI'si gibi **"AI tarayıcıları" tarafından izinsiz veri toplanmasını (kazınmasını) toplu olarak engelleme** işlevine sahiptir. Ayarlarınız gerçek zamanlı olarak koda yansır ve tek tıklamayla kopyalanıp hemen kullanılabilir.
Nasıl Kullanılır
Varsayılan Kuralı Seç
Öncelikle, tüm tarayıcılar için site genelinde erişime "İzin Ver" mi yoksa "Engelle" mi uygulanacağını seçin.
Bot ve Dizin Ayarları
AI botlarının engellenip engellenmeyeceğini ve belirli dizinlere erişimin kısıtlanıp kısıtlanmayacağını ayarlayın (örn. `/admin/`).
Kodu Kopyala
"Kodu Kopyala" düğmesini kullanarak sağda (mobilde altta) aynı anda oluşturulan metni kopyalayın.
Sunucuya Yükle
Kopyalanan içeriği `robots.txt` olarak kaydedin ve sitenizin üst dizinine (kök) yerleştirin.
robots.txt Terimler Sözlüğü
- robots.txt
- Bir web sitesinin kök dizinine yerleştirilen metin dosyası. Arama motorları gibi otomatik programlara (tarayıcılar) sitenin hangi kısımlarına erişebileceklerini veya erişemeyeceklerini bildiren kurallar içerir.
- User-agent
- Erişen tarayıcı veya tarayıcının kimliğini temsil eden bir tanımlayıcı. robots.txt dosyasında "User-agent: Googlebot" yazmak, kuralları belirli bir tarayıcıya uygular. "*" tümü anlamına gelir.
- Allow / Disallow
- Tarayıcılara "İzin Ver" ve "Engelle" komutları. "Disallow: /admin/" yazmak /admin/ altındaki tüm sayfalara erişimi yasaklar.
- AI Tarayıcı (AI Bot)
- OpenAI (ChatGPT) ve Anthropic (Claude) gibi yapay zeka şirketleri tarafından AI modellerini eğitmek için internette veri toplayan otomatik programlar. GPTBot tipik bir örnektir.
- Sitemap
- Tarayıcılara bir sitenin sayfa yapısını anlatan bir XML dosyası. robots.txt dosyasına "Sitemap: https://..." yazarak sitenizin genel resmini tarayıcılara etkili bir şekilde iletebilirsiniz.
Sıkça Sorulan Sorular
- Q.robots.txt ile HTML meta robots arasındaki fark nedir?
- robots.txt, tarayıcıların sitenizdeki hangi sayfaları taramasına izin verildiğini kontrol eden bir dosyadır. Öte yandan, meta robots (noindex gibi) taranan bir sayfanın arama sonuçlarında dizine eklenip eklenmeyeceğini (gösterilip gösterilmeyeceğini) kontrol eder. Erişimi engellemek için robots.txt, dizine eklenmeyi önlemek için meta robots kullanın.
- Q.Yapay zeka tarayıcılarını engellemek normal arama sıralamalarını etkiler mi?
- Hayır, etkilemez. Googlebot gibi büyük arama tarayıcıları ve ChatGPT (GPTBot) veya Claude (ClaudeBot) gibi AI tarayıcıları farklı User-agent'lara sahiptir. Yalnızca AI tarayıcılarını engellemek (Disallow) Google SEO değerlendirmenizi etkilemez.
- Q.Oluşturulan robots.txt dosyasını nereye yerleştirmeliyim?
- Web sitenizin kök dizinine (en üst düzey) "robots.txt" dosya adıyla yükleyin. Örneğin, siteniz https://example.com/ ise https://example.com/robots.txt adresinden erişilebilir olmalıdır.
- Q.Yanlış yapılandırırsam ne olur?
- Varsayılan kurallarda "Tümünü Engelle"yi seçerseniz veya yanlışlıkla "/" engellerseniz, Googlebot tüm sitenizi tarayamaz ve bu da sitenizin arama sonuçlarından kaybolmasına neden olabilir. Lütfen yüklemeden önce ayarları ve önizlemeyi dikkatlice kontrol edin.
Kullanım Durumları
İzinsiz AI eğitimini engelleme
Orijinal içerik ve blog makalelerinizin yapay zeka eğitim verisi olarak rastgele kazınmasını önlemek istediğinizde yapay zeka tarayıcılarının toplu engellemesini kullanın.
Yönetici ve özel sayfaları koruma
WordPress /wp-admin/, üyelere özel sayfalar ve dinamik arama sonuçları sayfaları gibi Google arama sonuçlarında görünmesini istemediğiniz dizinler için taramayı topluca reddedin.
SEO verimliliği (Tarama Bütçesi Optimizasyonu)
Devasa web sitelerinde, Googlebot'u önemli sayfaları (yeni makaleler gibi) taramaya öncelik vermesi için yönlendirmek amacıyla önemsiz sayfalarda taramayı kısıtlayın.
Geliştirme/test sitelerini gizleme
Site üretimi sırasındaki veya yenileme öncesindeki test ortamlarının arama motorları tarafından yanlışlıkla dizine eklenmesini önlemek için tüm siteyi engelleyin.
Geri Bildirim Gönder
Aracı geliştirmemize yardımcı olmak için lütfen düşüncelerinizi bize bildirin.
Geri bildirim geçici olarak askıya alındı
Sunucu meşgul veya spam koruması etkin. Lütfen daha sonra tekrar deneyin.