Yapay zekâ tarayıcıları: hangisi ne yapar, kim engelliyor

Her şeyi belirleyen ayrım

Cevap motorları

Bunlar sizi, bir asistan sizi kaynak gösterip bağlantı verebilsin diye okur. Birini engellemek sizi o asistanın cevaplarından tamamen çıkarır — “daha az görünür” değil, yok.

Kullanıcının tetiklediği çekmeler

Bunlar sayfayı, bir insan asistandan onu şu anda açmasını istediği için çeker; karşıda bekleyen bir kişi vardır. Birini engellemek, birinin yapıştırdığı bağlantının onun gözü önünde başarısız olması demektir.

Klasik arama tarayıcıları

Sıradan arama dizinlemesi — ki giderek yapay zekâ cevaplarının da dayandığı zemin hâline geliyor. Bunları engellemeyi neredeyse hiç kimse istemez.

Eğitim tarayıcıları

Bunlar model eğitmek için içerik toplar. Engellemek meşru bir iş kararıdır ve size hiç trafiğe mal olmaz; güvenli karar olmasının sebebi tam olarak budur.

Tam liste

Tarayıcı	İşleten	Ne işe yarar	Hâlihazırda engelleyen
`OAI-SearchBot`	OpenAI	Cevap motorları	293 siteden 20
`Claude-SearchBot`	Anthropic	Cevap motorları	293 siteden 26
`PerplexityBot`	Perplexity	Cevap motorları	293 siteden 36
`Amazonbot`	Amazon	Cevap motorları	293 siteden 35
`DuckAssistBot`	DuckDuckGo	Cevap motorları	293 siteden 20
`ChatGPT-User`	OpenAI	Kullanıcının tetiklediği çekmeler	293 siteden 27
`Claude-User`	Anthropic	Kullanıcının tetiklediği çekmeler	293 siteden 27
`Perplexity-User`	Perplexity	Kullanıcının tetiklediği çekmeler	293 siteden 23
`Googlebot`	Google	Klasik arama tarayıcıları	293 siteden 0
`Bingbot`	Microsoft	Klasik arama tarayıcıları	293 siteden 1
`GPTBot`	OpenAI	Eğitim tarayıcıları	293 siteden 41
`ClaudeBot`	Anthropic	Eğitim tarayıcıları	293 siteden 43
`Google-Extended`	Google	Eğitim tarayıcıları	293 siteden 37
`Applebot-Extended`	Apple	Eğitim tarayıcıları	293 siteden 37
`meta-externalagent`	Meta	Eğitim tarayıcıları	293 siteden 34
`CCBot`	Common Crawl	Eğitim tarayıcıları	293 siteden 55

Engelleme rakamları 2026-09-03 tarihinde 293 halka açık web sitesi üzerinde ölçüldü. Hiçbir site adıyla anılmıyor.

Tek tek: engellemek size neye mal olur

OAI-SearchBot

OpenAI · Cevap motorları

Engellerseniz: You will not appear as a source in ChatGPT search results.

Kullanıcı aracısı: Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

293 siteden 20 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Claude-SearchBot

Anthropic · Cevap motorları

Engellerseniz: You will not be cited in Claude web search answers.

Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)

293 siteden 26 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

PerplexityBot

Perplexity · Cevap motorları

Engellerseniz: You lose Perplexity citations, one of the highest-converting AI referral sources.

Kullanıcı aracısı: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

293 siteden 36 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Amazonbot

Amazon · Cevap motorları

Engellerseniz: Excluded from Alexa and Rufus style shopping answers.

Kullanıcı aracısı: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

293 siteden 35 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

DuckAssistBot

DuckDuckGo · Cevap motorları

Engellerseniz: Excluded from DuckDuckGo AI assist answers.

Kullanıcı aracısı: Mozilla/5.0 (compatible; DuckAssistBot/1.0; +https://duckduckgo.com/duckassistbot/)

293 siteden 20 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

ChatGPT-User

OpenAI · Kullanıcının tetiklediği çekmeler

Engellerseniz: When a user asks ChatGPT to open your link, it fails in front of them.

Kullanıcı aracısı: Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)

293 siteden 27 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Claude-User

Anthropic · Kullanıcının tetiklediği çekmeler

Engellerseniz: Claude cannot open your page when a user pastes the link.

Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)

293 siteden 27 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Perplexity-User

Perplexity · Kullanıcının tetiklediği çekmeler

Engellerseniz: Live user-requested fetches from Perplexity fail.

Kullanıcı aracısı: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

293 siteden 23 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Googlebot

Google · Klasik arama tarayıcıları

Engellerseniz: You are invisible to Google Search and to AI Overviews built on it.

Kullanıcı aracısı: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

293 siteden 0 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Bingbot

Microsoft · Klasik arama tarayıcıları

Engellerseniz: You are invisible to Bing and to Copilot answers grounded on it.

Kullanıcı aracısı: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

293 siteden 1 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

GPTBot

OpenAI · Eğitim tarayıcıları

Engellerseniz: Your content is excluded from OpenAI model training.

Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

293 siteden 41 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

ClaudeBot

Anthropic · Eğitim tarayıcıları

Engellerseniz: Your content is excluded from Anthropic model training.

Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

293 siteden 43 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Google-Extended

Google · Eğitim tarayıcıları

Engellerseniz: Excluded from Gemini training and grounding.

Kullanıcı aracısı: Mozilla/5.0 (compatible; Google-Extended/1.0)

293 siteden 37 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

Applebot-Extended

Apple · Eğitim tarayıcıları

Engellerseniz: Excluded from Apple Intelligence training.

Kullanıcı aracısı: Mozilla/5.0 (compatible; Applebot-Extended/1.0)

293 siteden 37 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

meta-externalagent

Meta · Eğitim tarayıcıları

Engellerseniz: Excluded from Meta AI training.

Kullanıcı aracısı: meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

293 siteden 34 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

CCBot

Common Crawl · Eğitim tarayıcıları

Engellerseniz: Excluded from Common Crawl, the base corpus behind most open models.

Kullanıcı aracısı: CCBot/2.0 (https://commoncrawl.org/faq/)

293 siteden 55 · 53 sitede ise bu konuda hiçbir robots.txt kuralı yok.

İki kararı birbirinden ayıran bir robots.txt

Kopyalanmaya değer biçim şudur: eğitimi reddedin, size ziyaretçi gönderebilecek her tarayıcıyı açık bırakın. Eğitilmek istiyorsanız yalnızca son grubu değiştirin — dosyadaki tek görüş meselesi o satırdır.

# Ziyaretçi gönderebilecek her şey — açık bırakın.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
Allow: /

# Eğitim tarayıcıları — görüş meselesi olan tek grup budur.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

Sitemap: https://axray.online/sitemap.xml

İnsanların en sık yanıldığı kural: bir tarayıcı, kendisini adıyla anan en özel user-agent grubuyla eşleşir ve başka hiçbiriyle eşleşmez. Kendi grubunda adı geçen bir tarayıcı, User-agent: * bloğunuzu — korumak istediğiniz Disallow satırları dâhil — tamamen yok sayar.

İnsanların gerçekten sorduğu sorular

GPTBot’u engellemek ChatGPT’nin sitemi kaynak göstermesini durdurur mu?

Hayır. GPTBot eğitim için içerik toplar. Sizi ChatGPT cevaplarına sokan tarayıcı OAI-SearchBot, birisi ChatGPT’den bir bağlantıyı okumasını istediğinde onu açan ise ChatGPT-User’dır. Üçünü birden engellemek sık yapılan bir kazadır, çünkü yayımlanan robots.txt tavsiyelerinin çoğu bunları “OpenAI botları” diye tek kalemde sayar.

robots.txt yapay zekâ tarayıcıları için hukuken bağlayıcı mı?

O bir ricadır, çit değil; hiçbir zaman başka bir şey de olmadı — yirmi beş yıl boyunca arama tarayıcıları için de aynısı geçerliydi. Burada listelenen büyük işletmeciler hangi adları dikkate aldıklarını belgeliyor. Ricadan fazlasına, yani zorlamaya ihtiyacınız varsa çözüm bir metin dosyası değil, güvenlik duvarı kuralı ya da lisans sözleşmesidir.

Hiç robots.txt dosyam yoksa ne olur?

Her şey serbest olur; varsayılan budur ve genellikle sorun değildir. Bu sayfanın dayandığı örneklemde 293 siteden 53 tanesinde başlıca eğitim tarayıcıları için hiçbir kural yoktu. Dosyanın olmamasının riski taranmanız değildir; hiçbir karar vermemiş olmanız ve verdiğiniz kararı kimseye söyleyememenizdir.

Yapay zekâ tarayıcılarını engellemek içeriğimin kullanılmasını önler mi?

Yalnızca robots.txt dosyasına uyan işletmeciler açısından — yani kurallara uyan kesim açısından. Üçüncü bir kopya üzerinden, ekran görüntüsüyle ya da bir kullanıcının metninizi sohbet penceresine yapıştırmasıyla bir modele ulaşan içerik hakkında hiçbir şey yapmaz. Engellemek, açıkça alınmış bir tavır olarak değerlidir; teknik bir garanti değildir ve kimse size öyle satmamalı.

Kendi robots.txt dosyanızın bunlardan hangilerini engellediğini ve her birinin size neye mal olduğunu görün — tek taramada, hesap açmadan.

Hangi yapay zekâ tarayıcılarını gerçekten engellemelisiniz?