Eğitilmek, kaynak gösterilmek, istek üzerine getirilmek ve adınıza alışveriş yapılmak konusunda bir kez karar verin — izlediğimiz 54 yapay zekâ tarayıcısının tamamını adıyla anan eksiksiz bir robots.txt alın. Ücretsiz, hesap gerekmez, hiçbir şey saklanmaz.
Reddettiğiniz her tarayıcı eğitim verisi toplamak için var. Hiçbiri ziyaretçi, atıf ya da yönlendirme göndermez; dolayısıyla reddetmek ölçebileceğiniz hiçbir şeyi eksiltmez.
robots.txt dosyanız
Bunu https://alanadiniz/robots.txt adresine kopyalayın. Reddettiğiniz her tarayıcıyı açıkça adıyla anar ve sondaki tek bir joker grupla siteyi diğer her şeye açar.
# robots.txt - AI crawler policy
# Generated by AXRAY - https://axray.online/tools/robots-txt
#
# Allowed: answer engine, user-triggered, autonomous agent, retrieval
# provider, classic search, coding agent.
# Refused: training crawler.
# --- Training crawler -------------------------------------------------
# Collects content for model training. Blocking it is a legitimate business
# choice with no traffic cost.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: DeepSeekBot
User-agent: AI2Bot
Disallow: /
# Everything not named above, including ordinary search engines and
# every AI crawler you chose to allow, may read the whole site.
User-agent: *
Allow: /
Neden bot yerine kategori soruyor
Çünkü “yapay zekâ botlarını engelle” neredeyse her zaman “benimle eğitim yapma” demektir; ve bunu başarmak için kopyalanan satır genelde size ziyaretçi gönderen tarayıcıyı da reddeder. İkisi aynı dosyada yaşar ve birbirinin aynısı görünür. Yalnızca OpenAI üç tane çalıştırıyor: GPTBot eğitim verisi topluyor, OAI-SearchBot ChatGPT’nin kaynak gösterdiği dizini kuruyor, ChatGPT-User ise biri o an istediği için sayfanızı getiriyor. Üçünü birden reddeden tek bir satır, neredeyse kimsenin bilerek vermediği bir karardır.
Bu yüzden buradaki seçim kategori başına bir tane; dosya sonradan listeden birleştiriliyor. Kategoriler ve her birinin size ne yaptığı:
Kategori
Ne yapar
Tarayıcı
Cevap motoru
Bir asistanın sizi kaynak gösterip bağlantı verebilmesi için dizine ekler. Engellemek sizi yapay zekâ cevaplarından çıkarır.
12
Kullanıcı tetikli
Bir insan asistandan sayfanızı hemen açmasını istediği için getirir. Engellemek canlı bir isteği bozar.
11
Otonom aracı
Bir kişinin adına gezinir, karşılaştırır ve satın alır. Engellemek sizi kimse görmeden kısa listeden çıkarır.
7
Getirim sağlayıcısı
Başka şirketlerin yapay zekâ ürünlerinin aradığı dizini satar. Engellemek sizi hepsinden aynı anda çıkarır.
7
Klasik arama
Geleneksel arama dizinlemesi — giderek yapay zekâ cevaplarının da üzerine kurulduğu zemin.
2
Kodlama aracısı
Bir geliştirici size karşı geliştirme yaparken dokümantasyon okur. Engellemek, API’nizin yanlış kullanılmasının yoludur.
6
Eğitim tarayıcısı
Model eğitimi için içerik toplar. Engellemek, trafik maliyeti olmayan meşru bir ticari tercihtir.
9
Herkes ne yapıyor
2026-09-06 tarihinde 292 tanınmış halka açık site üzerinde ölçüldü. Sütun, bugün kaç tanesinin o tarayıcıyı robots.txt içinde reddettiğini gösteriyor.
Gerçekten sunulduğunu kontrol edin. curl -s https://alanadiniz/robots.txt dosyayı yazdırmalı, başka bir şeyi değil. En yaygın hata, biçimlendirilmiş bir HTML sayfası döndüren bir 404’tür; bu, her tarayıcının sitenizi hiç politikası yokmuş gibi okuması demektir.
Bunun bir rica olduğunu unutmayın. Kibar tarayıcılar uyar. Zorunlu kılmanız gerekiyorsa CDN’inize ya da güvenlik duvarınıza da bir kural ekleyin — ama robots.txt’yi yerinde bırakın; politikanızı okuyabilen bir tarayıcının kenarda engellenmesi gerekmez.
Başka bir şeyin sizi engellemediğinden emin olun. Sitenin önündeki bir bot koruma ürünü, robots.txt’nizin az önce hoş geldin dediği tarayıcıları reddeder — ve bunu sessizce yapar.
Sorular
Yapay zekâ tarayıcılarını engellemeli miyim?
Bazılarını, ve bütün karar bu ayrımda. Eğitim tarayıcıları bir modeli eğitmek için metin toplar ve size hiçbir şey geri göndermez; dolayısıyla reddetmek trafik kaybettirmez. Cevap motorları ise bir asistanın sizi kaynak gösterip bağlantı verebilmesi için dizine ekler; onları engellemek sizi, insanların artık aramak yerine sorduğu cevaplardan çıkarır. Çoğu site birincinin reddedilmesini, ikincinin açık kalmasını ister — bu üretici varsayılan olarak bunu yapar.
Tek başına hayır, ve bu insanları sürekli yanıltıyor. OpenAI birden fazla tarayıcı çalıştırıyor: GPTBot eğitim verisi toplar; OAI-SearchBot, ChatGPT aramasının kaynak gösterdiği dizini kurar; ChatGPT-User ise bir insan az önce istediği için bir sayfayı getirir. GPTBot’u engellemek eğitimi reddeder ve diğer ikisini çalışır bırakır — genelde kastedilen de budur.
robots.txt gerçekten birini durduruyor mu?
Bir rica, duvar değil. Büyük işletmecilerin iyi davranan tarayıcıları buna uyar; isimsiz bir kazıyıcı uymaz ve hiç uymadı. Gereksiniminiz beyan edilmiş bir politika değil de zorunluluk ise kenarda engelleme gerekir — bir güvenlik duvarı ya da CDN kuralı — ve yanında robots.txt de dursun ki kibar tarayıcıların kenarda engellenmesine hiç gerek kalmasın.
Dosya nereye konur?
https://alanadiniz/robots.txt adresine, tam oraya, düz metin olarak ve HTTP 200 ile sunulur. Alt dizine değil, yönlendirme zincirinin arkasına değil, ve en sık gördüğümüz hata olan “dostane bir HTML sayfasıyla 404 döndürmek” şeklinde hiç değil — politikasını dikkatle düşünmüş ve hiçbir şeyin bakmadığı yerde yayınlamış bir site.
Bu Google sıralamamı bozar mı?
Varsayılan politikayla hayır: Googlebot klasik aramadır ve izinlidir. Google-Extended ayrıdır ve Gemini için içeriğiniz üzerinde eğitimi yöneten odur; onu reddetmek Aramayı etkilemez. Klasik aramayı reddeden kutuyu işaretlerseniz Google’dan çıkarsınız — sayfa bunu siz yapmadan önce söylüyor.
Ücretsiz mi, bir şey saklıyor mu?
Ücretsiz, hesap gerekmez ve hiçbir şey saklanmaz. Dosya, tarayıcıyla birlikte gelen bir listeden istek içinde oluşturulur; yani sonrasında bir tarama istemediğiniz sürece araç sitenize hiç bağlanmaz.
Bir politika ancak altındaki sayfa çekilmeye dayanabiliyorsa işe yarar. Bir yapay zekâ tarayıcısının sizinkinden gerçekte ne aldığını görün — tek tarama, yaklaşık iki saniye, hesap gerekmez.