Eğitilmek, kaynak gösterilmek, istek üzerine getirilmek ve adınıza alışveriş yapılmak konusunda bir kez karar verin — izlediğimiz 54 yapay zekâ tarayıcısının tamamını adıyla anan eksiksiz bir robots.txt alın. Ücretsiz, hesap gerekmez, hiçbir şey saklanmaz.
Reddettiğiniz tarayıcılardan 45 tanesi size ziyaretçi ya da atıf gönderebilir. Bir eğitim tarayıcısını reddetmenin ölçülebilir bir maliyeti yoktur; bunlar farklı.
OAI-SearchBot — ChatGPT arama sonuçlarında kaynak olarak görünmezsiniz.
Claude-SearchBot — Claude’un web araması yanıtlarında kaynak gösterilmezsiniz.
PerplexityBot — Perplexity atıflarını kaybedersiniz — yapay zekâ kaynaklı yönlendirmeler içinde dönüşümü en yüksek olanlardan biri.
Applebot — Siri, Spotlight ve Apple Intelligence içindeki yanıtların hepsi Apple’ın kendi dizinini okur. Applebot’u engellemek sizi bunların tamamından çıkarır.
Meta-WebIndexer — Meta AI; WhatsApp, Instagram ve Facebook içinde sizi kaynak göstermeyi ve size bağlantı vermeyi bırakır — çok sayıda insanın artık sorularını sorduğu yer burası.
Amazonbot — Alexa ve Rufus tarzı alışveriş yanıtlarının dışında kalırsınız.
DuckAssistBot — DuckDuckGo yapay zekâ yanıtlarının dışında kalırsınız.
Bravebot — Brave dizininden çıkarsınız. O dizin hem Brave’in kendi asistanına cevap verir hem de sizi hiç taramayan bir sürü başka yapay zekâ ürününe lisanslanır.
… ve 37 tane daha.
robots.txt dosyanız
Bunu https://alanadiniz/robots.txt adresine kopyalayın. Reddettiğiniz her tarayıcıyı açıkça adıyla anar ve sondaki tek bir joker grupla siteyi diğer her şeye açar.
# robots.txt - AI crawler policy
# Generated by AXRAY - https://axray.online/tools/robots-txt
#
# Allowed: nothing.
# Refused: answer engine, user-triggered, autonomous agent, retrieval
# provider, classic search, coding agent, training crawler.
# --- Answer engine -------------------------------------------------
# Indexes you so an assistant can cite and link you. Blocking it removes you
# from AI answers.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Applebot
User-agent: meta-webindexer
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: Bravebot
User-agent: YouBot
User-agent: TongyiBot
User-agent: PetalBot
User-agent: YandexAdditional
Disallow: /
# --- User-triggered -------------------------------------------------
# Fetches your page because a human asked an assistant to open it right now.
# Blocking it breaks a live request.
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Google-NotebookLM
User-agent: GoogleAgent-URLContext
User-agent: kagi-fetcher
User-agent: meta-externalfetcher
User-agent: Kimi-User
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
# --- Autonomous agent -------------------------------------------------
# Browses, compares and buys on a person’s behalf. Blocking it removes you
# from the shortlist before anyone sees it.
User-agent: ChatGPT Agent
User-agent: Operator
User-agent: GoogleAgent-Mariner
User-agent: Gemini-Deep-Research
User-agent: AmazonBuyForMe
User-agent: NovaAct
User-agent: Manus-User
Disallow: /
# --- Retrieval provider -------------------------------------------------
# Sells the index that other companies’ AI products search. Blocking it
# removes you from all of them at once.
User-agent: ExaSearchBot
User-agent: TavilyBot
User-agent: FirecrawlAgent
User-agent: ShapBot
User-agent: Diffbot
User-agent: Cloudflare-AutoRAG
User-agent: bedrockbot
Disallow: /
# --- Classic search -------------------------------------------------
# Traditional search indexing, increasingly the substrate AI answers are
# built on.
User-agent: Googlebot
User-agent: Bingbot
Disallow: /
# --- Coding agent -------------------------------------------------
# Reads documentation while a developer is building against you. Blocking it
# is how your API gets used wrong.
User-agent: Claude-Code
User-agent: Cursor
User-agent: Google-Gemini-CLI
User-agent: Devin
User-agent: opencode
User-agent: Trae
Disallow: /
# --- Training crawler -------------------------------------------------
# Collects content for model training. Blocking it is a legitimate business
# choice with no traffic cost.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: DeepSeekBot
User-agent: AI2Bot
Disallow: /
# Everything not named above, including ordinary search engines and
# every AI crawler you chose to allow, may read the whole site.
User-agent: *
Allow: /
Neden bot yerine kategori soruyor
Çünkü “yapay zekâ botlarını engelle” neredeyse her zaman “benimle eğitim yapma” demektir; ve bunu başarmak için kopyalanan satır genelde size ziyaretçi gönderen tarayıcıyı da reddeder. İkisi aynı dosyada yaşar ve birbirinin aynısı görünür. Yalnızca OpenAI üç tane çalıştırıyor: GPTBot eğitim verisi topluyor, OAI-SearchBot ChatGPT’nin kaynak gösterdiği dizini kuruyor, ChatGPT-User ise biri o an istediği için sayfanızı getiriyor. Üçünü birden reddeden tek bir satır, neredeyse kimsenin bilerek vermediği bir karardır.
Bu yüzden buradaki seçim kategori başına bir tane; dosya sonradan listeden birleştiriliyor. Kategoriler ve her birinin size ne yaptığı:
Kategori
Ne yapar
Tarayıcı
Cevap motoru
Bir asistanın sizi kaynak gösterip bağlantı verebilmesi için dizine ekler. Engellemek sizi yapay zekâ cevaplarından çıkarır.
12
Kullanıcı tetikli
Bir insan asistandan sayfanızı hemen açmasını istediği için getirir. Engellemek canlı bir isteği bozar.
11
Otonom aracı
Bir kişinin adına gezinir, karşılaştırır ve satın alır. Engellemek sizi kimse görmeden kısa listeden çıkarır.
7
Getirim sağlayıcısı
Başka şirketlerin yapay zekâ ürünlerinin aradığı dizini satar. Engellemek sizi hepsinden aynı anda çıkarır.
7
Klasik arama
Geleneksel arama dizinlemesi — giderek yapay zekâ cevaplarının da üzerine kurulduğu zemin.
2
Kodlama aracısı
Bir geliştirici size karşı geliştirme yaparken dokümantasyon okur. Engellemek, API’nizin yanlış kullanılmasının yoludur.
6
Eğitim tarayıcısı
Model eğitimi için içerik toplar. Engellemek, trafik maliyeti olmayan meşru bir ticari tercihtir.
9
Herkes ne yapıyor
2026-09-06 tarihinde 292 tanınmış halka açık site üzerinde ölçüldü. Sütun, bugün kaç tanesinin o tarayıcıyı robots.txt içinde reddettiğini gösteriyor.
Gerçekten sunulduğunu kontrol edin. curl -s https://alanadiniz/robots.txt dosyayı yazdırmalı, başka bir şeyi değil. En yaygın hata, biçimlendirilmiş bir HTML sayfası döndüren bir 404’tür; bu, her tarayıcının sitenizi hiç politikası yokmuş gibi okuması demektir.
Bunun bir rica olduğunu unutmayın. Kibar tarayıcılar uyar. Zorunlu kılmanız gerekiyorsa CDN’inize ya da güvenlik duvarınıza da bir kural ekleyin — ama robots.txt’yi yerinde bırakın; politikanızı okuyabilen bir tarayıcının kenarda engellenmesi gerekmez.
Başka bir şeyin sizi engellemediğinden emin olun. Sitenin önündeki bir bot koruma ürünü, robots.txt’nizin az önce hoş geldin dediği tarayıcıları reddeder — ve bunu sessizce yapar.
Sorular
Yapay zekâ tarayıcılarını engellemeli miyim?
Bazılarını, ve bütün karar bu ayrımda. Eğitim tarayıcıları bir modeli eğitmek için metin toplar ve size hiçbir şey geri göndermez; dolayısıyla reddetmek trafik kaybettirmez. Cevap motorları ise bir asistanın sizi kaynak gösterip bağlantı verebilmesi için dizine ekler; onları engellemek sizi, insanların artık aramak yerine sorduğu cevaplardan çıkarır. Çoğu site birincinin reddedilmesini, ikincinin açık kalmasını ister — bu üretici varsayılan olarak bunu yapar.
Tek başına hayır, ve bu insanları sürekli yanıltıyor. OpenAI birden fazla tarayıcı çalıştırıyor: GPTBot eğitim verisi toplar; OAI-SearchBot, ChatGPT aramasının kaynak gösterdiği dizini kurar; ChatGPT-User ise bir insan az önce istediği için bir sayfayı getirir. GPTBot’u engellemek eğitimi reddeder ve diğer ikisini çalışır bırakır — genelde kastedilen de budur.
robots.txt gerçekten birini durduruyor mu?
Bir rica, duvar değil. Büyük işletmecilerin iyi davranan tarayıcıları buna uyar; isimsiz bir kazıyıcı uymaz ve hiç uymadı. Gereksiniminiz beyan edilmiş bir politika değil de zorunluluk ise kenarda engelleme gerekir — bir güvenlik duvarı ya da CDN kuralı — ve yanında robots.txt de dursun ki kibar tarayıcıların kenarda engellenmesine hiç gerek kalmasın.
Dosya nereye konur?
https://alanadiniz/robots.txt adresine, tam oraya, düz metin olarak ve HTTP 200 ile sunulur. Alt dizine değil, yönlendirme zincirinin arkasına değil, ve en sık gördüğümüz hata olan “dostane bir HTML sayfasıyla 404 döndürmek” şeklinde hiç değil — politikasını dikkatle düşünmüş ve hiçbir şeyin bakmadığı yerde yayınlamış bir site.
Bu Google sıralamamı bozar mı?
Varsayılan politikayla hayır: Googlebot klasik aramadır ve izinlidir. Google-Extended ayrıdır ve Gemini için içeriğiniz üzerinde eğitimi yöneten odur; onu reddetmek Aramayı etkilemez. Klasik aramayı reddeden kutuyu işaretlerseniz Google’dan çıkarsınız — sayfa bunu siz yapmadan önce söylüyor.
Ücretsiz mi, bir şey saklıyor mu?
Ücretsiz, hesap gerekmez ve hiçbir şey saklanmaz. Dosya, tarayıcıyla birlikte gelen bir listeden istek içinde oluşturulur; yani sonrasında bir tarama istemediğiniz sürece araç sitenize hiç bağlanmaz.
Bir politika ancak altındaki sayfa çekilmeye dayanabiliyorsa işe yarar. Bir yapay zekâ tarayıcısının sizinkinden gerçekte ne aldığını görün — tek tarama, yaklaşık iki saniye, hesap gerekmez.