Cevap motorları
Bunlar sizi, bir asistan sizi kaynak gösterip bağlantı verebilsin diye okur. Birini engellemek sizi o asistanın cevaplarından tamamen çıkarır — “daha az görünür” değil, yok.
Başvuru kaynağı
Hangi yapay zekâ tarayıcılarını gerçekten engellemelisiniz?
Aşağıdaki tarayıcıların hepsi bu tarayıcının test ettiği tarayıcılardır; yani liste başkasından kopyalanmış değil, ürünün kendisidir. Son sütun ölçüme dayanır: 292 halka açık web sitesinden kaçının robots.txt dosyasında o tarayıcıyı zaten engellediğini gösterir.
Her şeyi belirleyen ayrım
Kullanıcının tetiklediği çekmeler
Bunlar sayfayı, bir insan asistandan onu şu anda açmasını istediği için çeker; karşıda bekleyen bir kişi vardır. Birini engellemek, birinin yapıştırdığı bağlantının onun gözü önünde başarısız olması demektir.
Otonom ajanlar
Bunlar birinin adına gezinir, karşılaştırır ve bir işi bitirir: üç tedarikçiyi listeler, masayı ayırtır, parçayı satın alır. Birini engellemek sizi rakibinizden kötü göstermez; müşteri karşılaştırmayı görmeden sizi listeden çıkarır.
Erişim sağlayıcıları
Birkaç şirket web’i bir kez tarar ve herkesin yapay zekâ ürününün aradığı dizini satar. Bunlardan birini engellemek, o dizin üzerine kurulu bütün uygulamalardan aynı anda çıkmanız demektir — ve o uygulamaların hiçbiri sizin kayıtlarınızda görünmez.
Klasik arama tarayıcıları
Sıradan arama dizinlemesi — ki giderek yapay zekâ cevaplarının da dayandığı zemin hâline geliyor. Bunları engellemeyi neredeyse hiç kimse istemez.
Kod yazan ajanlar
Bunlar, bir geliştirici size entegre olurken belgelerinizi okur. Birini engellemek entegrasyonu durdurmaz; ajanın API’nizi ezberden yazmasına yol açar ve yayına yanlış sürüm çıkar.
Eğitim tarayıcıları
Bunlar model eğitmek için içerik toplar. Engellemek meşru bir iş kararıdır ve size hiç trafiğe mal olmaz; güvenli karar olmasının sebebi tam olarak budur.
Tam liste
| Tarayıcı | İşleten | Ne işe yarar | Hâlihazırda engelleyen |
|---|---|---|---|
OAI-SearchBot |
OpenAI | Cevap motorları | 292 siteden 20 |
Claude-SearchBot |
Anthropic | Cevap motorları | 292 siteden 26 |
PerplexityBot |
Perplexity | Cevap motorları | 292 siteden 36 |
Applebot |
Apple | Cevap motorları | 292 siteden 5 |
meta-webindexer |
Meta | Cevap motorları | 292 siteden 12 |
Amazonbot |
Amazon | Cevap motorları | 292 siteden 35 |
DuckAssistBot |
DuckDuckGo | Cevap motorları | 292 siteden 20 |
Bravebot |
Brave | Cevap motorları | 292 siteden 9 |
YouBot |
You.com | Cevap motorları | 292 siteden 26 |
TongyiBot |
Alibaba | Cevap motorları | 292 siteden 8 |
PetalBot |
Huawei | Cevap motorları | 292 siteden 26 |
YandexAdditional |
Yandex | Cevap motorları | 292 siteden 8 |
ChatGPT-User |
OpenAI | Kullanıcının tetiklediği çekmeler | 292 siteden 27 |
Claude-User |
Anthropic | Kullanıcının tetiklediği çekmeler | 292 siteden 27 |
Perplexity-User |
Perplexity | Kullanıcının tetiklediği çekmeler | 292 siteden 23 |
MistralAI-User |
Mistral | Kullanıcının tetiklediği çekmeler | 292 siteden 21 |
Google-NotebookLM |
Kullanıcının tetiklediği çekmeler | 292 siteden 9 | |
GoogleAgent-URLContext |
Kullanıcının tetiklediği çekmeler | 292 siteden 6 | |
kagi-fetcher |
Kagi | Kullanıcının tetiklediği çekmeler | 292 siteden 7 |
meta-externalfetcher |
Meta | Kullanıcının tetiklediği çekmeler | 292 siteden 20 |
Kimi-User |
Moonshot AI | Kullanıcının tetiklediği çekmeler | 292 siteden 7 |
Amzn-User |
Amazon | Kullanıcının tetiklediği çekmeler | 292 siteden 7 |
cohere-ai |
Cohere | Kullanıcının tetiklediği çekmeler | 292 siteden 37 |
ChatGPT Agent |
OpenAI | Otonom ajanlar | 292 siteden 6 |
Operator |
OpenAI | Otonom ajanlar | 292 siteden 6 |
GoogleAgent-Mariner |
Otonom ajanlar | 292 siteden 8 | |
Gemini-Deep-Research |
Otonom ajanlar | 292 siteden 9 | |
AmazonBuyForMe |
Amazon | Otonom ajanlar | 292 siteden 8 |
NovaAct |
Amazon | Otonom ajanlar | 292 siteden 9 |
Manus-User |
Butterfly Effect | Otonom ajanlar | 292 siteden 10 |
ExaSearchBot |
Exa | Erişim sağlayıcıları | 292 siteden 6 |
TavilyBot |
Tavily | Erişim sağlayıcıları | 292 siteden 10 |
FirecrawlAgent |
Firecrawl | Erişim sağlayıcıları | 292 siteden 11 |
ShapBot |
Parallel | Erişim sağlayıcıları | 292 siteden 12 |
Diffbot |
Diffbot | Erişim sağlayıcıları | 292 siteden 36 |
Cloudflare-AutoRAG |
Cloudflare | Erişim sağlayıcıları | 292 siteden 8 |
bedrockbot |
Amazon | Erişim sağlayıcıları | 292 siteden 8 |
Googlebot |
Klasik arama tarayıcıları | 292 siteden 0 | |
Bingbot |
Microsoft | Klasik arama tarayıcıları | 292 siteden 1 |
Claude-Code |
Anthropic | Kod yazan ajanlar | 292 siteden 7 |
Cursor |
Cursor | Kod yazan ajanlar | 292 siteden 6 |
Google-Gemini-CLI |
Kod yazan ajanlar | 292 siteden 5 | |
Devin |
Cognition | Kod yazan ajanlar | 292 siteden 11 |
opencode |
opencode | Kod yazan ajanlar | 292 siteden 6 |
Trae |
ByteDance | Kod yazan ajanlar | 292 siteden 6 |
GPTBot |
OpenAI | Eğitim tarayıcıları | 292 siteden 41 |
ClaudeBot |
Anthropic | Eğitim tarayıcıları | 292 siteden 43 |
Google-Extended |
Eğitim tarayıcıları | 292 siteden 37 | |
Applebot-Extended |
Apple | Eğitim tarayıcıları | 292 siteden 37 |
meta-externalagent |
Meta | Eğitim tarayıcıları | 292 siteden 34 |
CCBot |
Common Crawl | Eğitim tarayıcıları | 292 siteden 55 |
Bytespider |
ByteDance | Eğitim tarayıcıları | 292 siteden 46 |
DeepSeekBot |
DeepSeek | Eğitim tarayıcıları | 292 siteden 16 |
AI2Bot |
Ai2 | Eğitim tarayıcıları | 292 siteden 18 |
Engelleme rakamları 2026-09-06 tarihinde 292 halka açık web sitesi üzerinde ölçüldü. Hiçbir site adıyla anılmıyor.
Tek tek: engellemek size neye mal olur
OAI-SearchBot
OpenAI · Cevap motorları
Engellerseniz: ChatGPT arama sonuçlarında kaynak olarak görünmezsiniz.
Kullanıcı aracısı: Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)
292 siteden 20 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Claude-SearchBot
Anthropic · Cevap motorları
Engellerseniz: Claude’un web araması yanıtlarında kaynak gösterilmezsiniz.
Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
292 siteden 26 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
PerplexityBot
Perplexity · Cevap motorları
Engellerseniz: Perplexity atıflarını kaybedersiniz — yapay zekâ kaynaklı yönlendirmeler içinde dönüşümü en yüksek olanlardan biri.
Kullanıcı aracısı: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
292 siteden 36 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Applebot
Apple · Cevap motorları
Engellerseniz: Siri, Spotlight ve Apple Intelligence içindeki yanıtların hepsi Apple’ın kendi dizinini okur. Applebot’u engellemek sizi bunların tamamından çıkarır.
Kullanıcı aracısı: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
292 siteden 5 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
meta-webindexer
Meta · Cevap motorları
Engellerseniz: Meta AI; WhatsApp, Instagram ve Facebook içinde sizi kaynak göstermeyi ve size bağlantı vermeyi bırakır — çok sayıda insanın artık sorularını sorduğu yer burası.
292 siteden 12 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Amazonbot
Amazon · Cevap motorları
Engellerseniz: Alexa ve Rufus tarzı alışveriş yanıtlarının dışında kalırsınız.
Kullanıcı aracısı: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
292 siteden 35 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
DuckAssistBot
DuckDuckGo · Cevap motorları
Engellerseniz: DuckDuckGo yapay zekâ yanıtlarının dışında kalırsınız.
Kullanıcı aracısı: Mozilla/5.0 (compatible; DuckAssistBot/1.0; +https://duckduckgo.com/duckassistbot/)
292 siteden 20 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Bravebot
Brave · Cevap motorları
Engellerseniz: Brave dizininden çıkarsınız. O dizin hem Brave’in kendi asistanına cevap verir hem de sizi hiç taramayan bir sürü başka yapay zekâ ürününe lisanslanır.
292 siteden 9 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
YouBot
You.com · Cevap motorları
Engellerseniz: You.com’un araması ve asistanı sizi kaynak olarak döndürmeyi bırakır.
Kullanıcı aracısı: Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
292 siteden 26 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
TongyiBot
Alibaba · Cevap motorları
Engellerseniz: Qwen ve Tongyi asistanı, çok geniş bir Çince konuşan kitleye kaynaklarında siz olmadan cevap verir.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
PetalBot
Huawei · Cevap motorları
Engellerseniz: Huawei’nin araması ve asistanı — geniş bir cihaz tabanında varsayılan olanlar — sizi önermeyi bırakır.
292 siteden 26 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
YandexAdditional
Yandex · Cevap motorları
Engellerseniz: YandexGPT, sıradan Yandex sonuçlarının üstünde gösterdiği hızlı yanıtlarda sizi kullanmayı bırakır.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
ChatGPT-User
OpenAI · Kullanıcının tetiklediği çekmeler
Engellerseniz: Bir kullanıcı ChatGPT’den bağlantınızı açmasını istediğinde, gözünün önünde başarısız olur.
Kullanıcı aracısı: Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
292 siteden 27 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Claude-User
Anthropic · Kullanıcının tetiklediği çekmeler
Engellerseniz: Bir kullanıcı bağlantıyı yapıştırdığında Claude sayfanızı açamaz.
Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
292 siteden 27 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Perplexity-User
Perplexity · Kullanıcının tetiklediği çekmeler
Engellerseniz: Perplexity’den gelen canlı, kullanıcı isteğiyle tetiklenen çekimler başarısız olur.
Kullanıcı aracısı: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
292 siteden 23 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
MistralAI-User
Mistral · Kullanıcının tetiklediği çekmeler
Engellerseniz: Le Chat, az önce isteyen kişi için sayfanızı açamaz.
292 siteden 21 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Google-NotebookLM
Google · Kullanıcının tetiklediği çekmeler
Engellerseniz: NotebookLM’de sayfanızı kaynak olarak ekleyen biri boş bir kaynak alır. Bu, yalnızca bir insan sizi bilerek seçtiği için gerçekleşen tek çekim türüdür.
292 siteden 9 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
GoogleAgent-URLContext
Google · Kullanıcının tetiklediği çekmeler
Engellerseniz: Adresinizi Gemini API’sine bağlam olarak veren bir geliştirici hiçbir şey alamaz ve genellikle sizin robots.txt dosyanızı değil kendi kodunu suçlar.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
kagi-fetcher
Kagi · Kullanıcının tetiklediği çekmeler
Engellerseniz: Kagi’nin asistanı ve özetleyicisi, abonesinin istediği sayfayı okuyamaz.
292 siteden 7 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
meta-externalfetcher
Meta · Kullanıcının tetiklediği çekmeler
Engellerseniz: Meta AI, bir kişinin sohbette paylaştığı bağlantıyı açamaz.
292 siteden 20 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Kimi-User
Moonshot AI · Kullanıcının tetiklediği çekmeler
Engellerseniz: Bir okur istediğinde Kimi sayfanızı özetleyemez.
292 siteden 7 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Amzn-User
Amazon · Kullanıcının tetiklediği çekmeler
Engellerseniz: Alexa ve diğer Amazon asistanları, birinin sesli sorduğu soruya cevap vermek için sayfanızı getiremez.
292 siteden 7 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
cohere-ai
Cohere · Kullanıcının tetiklediği çekmeler
Engellerseniz: Çok sayıda kurumsal asistanın arkasında duran Cohere’in temellendirilmiş üretimi, bir isteme karşılık sizi getiremez.
292 siteden 37 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
ChatGPT Agent
OpenAI · Otonom ajanlar
Engellerseniz: Müşteri adına gezinen, karşılaştıran ve form dolduran aracı kapınızdan içeri giremez; dolayısıyla geri döndüğü kısa listede hiç yer almazsınız.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Operator
OpenAI · Otonom ajanlar
Engellerseniz: OpenAI’ın tarayıcı aracısı sitenizde bir rezervasyonu, kaydı ya da ödemeyi tamamlayamaz.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
GoogleAgent-Mariner
Google · Otonom ajanlar
Engellerseniz: Google’ın tarayıcı aracısı sitenizde çok adımlı bir işi yürütemez.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Gemini-Deep-Research
Google · Otonom ajanlar
Engellerseniz: İnsanların giderek daha çok karar verdiği uzun, atıflı Deep Research raporları, içinde siz olmadan yazılır.
292 siteden 9 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
AmazonBuyForMe
Amazon · Otonom ajanlar
Engellerseniz: Müşteri adına satıcının kendi sitesinden ürün satın alan aracı, ürün sayfalarınızı okuyamaz ve başka yerden satın alır.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
NovaAct
Amazon · Otonom ajanlar
Engellerseniz: Amazon’un tarayıcı aracısı, kullanıcı adına sitenizi kullanamaz.
292 siteden 9 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Manus-User
Butterfly Effect · Otonom ajanlar
Engellerseniz: Geniş bir kullanıcı tabanı olan genel amaçlı görev aracısı Manus, birinin bitirmesini istediği bir işin parçası olarak sitenizi kullanamaz.
292 siteden 10 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
ExaSearchBot
Exa · Erişim sağlayıcıları
Engellerseniz: Exa, web’i kendisi hiç taramayan çok sayıda yapay zekâ ürününün arkasındaki getirim katmanıdır. Onu engellemek sizi tek satırda hepsinden çıkarır.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
TavilyBot
Tavily · Erişim sağlayıcıları
Engellerseniz: Tavily, pek çok aracı çatısında varsayılan arama aracıdır. O sizi göremezse, üzerine kurulmuş hiçbir şey de göremez.
292 siteden 10 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
FirecrawlAgent
Firecrawl · Erişim sağlayıcıları
Engellerseniz: Yapay zekâ uygulamalarının büyük bir kısmı bir sayfayı metne Firecrawl ile çevirir. Buradaki bir engel, onların hepsine konmuş bir engeldir.
292 siteden 11 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
ShapBot
Parallel · Erişim sağlayıcıları
Engellerseniz: Doğru atıf gereken aracıları temellendirmek için kullanılan Parallel’in araştırma ve çıkarım API’si sizi döndürmeyi bırakır.
292 siteden 12 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Diffbot
Diffbot · Erişim sağlayıcıları
Engellerseniz: Pek çok şirketin kendisi kurmak yerine satın aldığı bir bilgi grafiğinden kaybolursunuz — bir asistanın şirketiniz hakkında inandığı şeyi çoğu zaman oradan alır.
292 siteden 36 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Cloudflare-AutoRAG
Cloudflare · Erişim sağlayıcıları
Engellerseniz: Cloudflare üzerinde getirim uygulaması kuran hiç kimse sayfalarınızı o uygulamaya dâhil edemez.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
bedrockbot
Amazon · Erişim sağlayıcıları
Engellerseniz: Amazon Bedrock üzerinde asistan kuran kurumlar dokümantasyonunuzu bir bilgi tabanına ekleyemez — geliştiricilere satıyorsanız tam da istediğiniz kullanım budur.
292 siteden 8 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Googlebot
Google · Klasik arama tarayıcıları
Engellerseniz: Google aramasına ve onun üzerine kurulu AI Overviews yanıtlarına görünmez olursunuz.
Kullanıcı aracısı: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
292 siteden 0 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Bingbot
Microsoft · Klasik arama tarayıcıları
Engellerseniz: Bing’e ve onun üzerine temellenen Copilot yanıtlarına görünmez olursunuz.
Kullanıcı aracısı: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
292 siteden 1 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Claude-Code
Anthropic · Kod yazan ajanlar
Engellerseniz: Sizinle entegrasyon yapan bir geliştirici, aracının dokümantasyonunuzu okumasını sağlayamaz; aracı entegrasyonu ezberden yazar ve API’nizi yanlış kullanır.
292 siteden 7 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Cursor
Cursor · Kod yazan ajanlar
Engellerseniz: Geliştiricilerin büyük bir kısmının artık içinde yazdığı editör, size karşı geliştirme yaparken referans sayfanızı açamaz.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Google-Gemini-CLI
Google · Kod yazan ajanlar
Engellerseniz: Bir geliştirici çalışırken Gemini CLI dokümanlarınızı okuyamaz.
292 siteden 5 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Devin
Cognition · Kod yazan ajanlar
Engellerseniz: Otonom bir mühendislik aracısı, iş ortasında dokümantasyonunuza başvuramaz.
292 siteden 11 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
opencode
opencode · Kod yazan ajanlar
Engellerseniz: Açık kaynaklı bir terminal kodlama aracısı referans materyalinizi okuyamaz.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Trae
ByteDance · Kod yazan ajanlar
Engellerseniz: ByteDance’in kodlama aracısı, size karşı kod üretirken dokümantasyonunuzu getiremez.
292 siteden 6 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
GPTBot
OpenAI · Eğitim tarayıcıları
Engellerseniz: İçeriğiniz OpenAI model eğitiminin dışında tutulur.
Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
292 siteden 41 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
ClaudeBot
Anthropic · Eğitim tarayıcıları
Engellerseniz: İçeriğiniz Anthropic model eğitiminin dışında tutulur.
Kullanıcı aracısı: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
292 siteden 43 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Google-Extended
Google · Eğitim tarayıcıları
Engellerseniz: Gemini eğitiminin ve temellendirmesinin dışında kalırsınız.
Kullanıcı aracısı: Mozilla/5.0 (compatible; Google-Extended/1.0)
292 siteden 37 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Applebot-Extended
Apple · Eğitim tarayıcıları
Engellerseniz: Apple Intelligence eğitiminin dışında kalırsınız.
Kullanıcı aracısı: Mozilla/5.0 (compatible; Applebot-Extended/1.0)
292 siteden 37 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
meta-externalagent
Meta · Eğitim tarayıcıları
Engellerseniz: Meta AI eğitiminin dışında kalırsınız.
Kullanıcı aracısı: meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
292 siteden 34 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
CCBot
Common Crawl · Eğitim tarayıcıları
Engellerseniz: Çoğu açık modelin temel derlemi olan Common Crawl’un dışında kalırsınız.
Kullanıcı aracısı: CCBot/2.0 (https://commoncrawl.org/faq/)
292 siteden 55 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
Bytespider
ByteDance · Eğitim tarayıcıları
Engellerseniz: ByteDance model eğitiminin dışında kalırsınız. Kuralı yok saydığı en sık bildirilen tarayıcı budur; robots.txt’ye güvenmek yerine kenarda da doğrulayın.
292 siteden 46 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
DeepSeekBot
DeepSeek · Eğitim tarayıcıları
Engellerseniz: DeepSeek model eğitiminin dışında kalırsınız.
292 siteden 16 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
AI2Bot
Ai2 · Eğitim tarayıcıları
Engellerseniz: Allen Enstitüsü’nün yayımladığı açık eğitim derlemlerinin dışında kalırsınız — akademik ve açık ağırlıklı modellerin çoğu bunların üzerine kuruludur.
292 siteden 18 · 54 sitede ise bu konuda hiçbir robots.txt kuralı yok.
İki kararı birbirinden ayıran bir robots.txt
Kopyalanmaya değer biçim şudur: eğitimi reddedin, size ziyaretçi gönderebilecek her tarayıcıyı açık bırakın. Eğitilmek istiyorsanız yalnızca son grubu değiştirin — dosyadaki tek görüş meselesi o satırdır.
# Ziyaretçi gönderebilecek her şey — açık bırakın.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Applebot
User-agent: meta-webindexer
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: Bravebot
User-agent: YouBot
User-agent: TongyiBot
User-agent: PetalBot
User-agent: YandexAdditional
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Google-NotebookLM
User-agent: GoogleAgent-URLContext
User-agent: kagi-fetcher
User-agent: meta-externalfetcher
User-agent: Kimi-User
User-agent: Amzn-User
User-agent: cohere-ai
User-agent: ChatGPT Agent
User-agent: Operator
User-agent: GoogleAgent-Mariner
User-agent: Gemini-Deep-Research
User-agent: AmazonBuyForMe
User-agent: NovaAct
User-agent: Manus-User
User-agent: ExaSearchBot
User-agent: TavilyBot
User-agent: FirecrawlAgent
User-agent: ShapBot
User-agent: Diffbot
User-agent: Cloudflare-AutoRAG
User-agent: bedrockbot
User-agent: Googlebot
User-agent: Bingbot
User-agent: Claude-Code
User-agent: Cursor
User-agent: Google-Gemini-CLI
User-agent: Devin
User-agent: opencode
User-agent: Trae
Allow: /
# Eğitim tarayıcıları — görüş meselesi olan tek grup budur.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: DeepSeekBot
User-agent: AI2Bot
Disallow: /
Sitemap: https://axray.online/sitemap.xmlİnsanların en sık yanıldığı kural: bir tarayıcı, kendisini adıyla anan en özel user-agent grubuyla eşleşir ve başka hiçbiriyle eşleşmez. Kendi grubunda adı geçen bir tarayıcı, User-agent: * bloğunuzu — korumak istediğiniz Disallow satırları dâhil — tamamen yok sayar.
Bu dosyayı elle kurmanız gerekmiyor: ücretsiz robots.txt üreticisi soruyu tarayıcı tarayıcı değil kategori kategori soruyor — eğit, kaynak göster, istek üzerine getir, adıma alışveriş yap — ve listedeki bütün tarayıcılar için dosyayı yazıyor.
İnsanların gerçekten sorduğu sorular
GPTBot’u engellemek ChatGPT’nin sitemi kaynak göstermesini durdurur mu?
Hayır. GPTBot eğitim için içerik toplar. Sizi ChatGPT cevaplarına sokan tarayıcı OAI-SearchBot, birisi ChatGPT’den bir bağlantıyı okumasını istediğinde onu açan ise ChatGPT-User’dır. Üçünü birden engellemek sık yapılan bir kazadır, çünkü yayımlanan robots.txt tavsiyelerinin çoğu bunları “OpenAI botları” diye tek kalemde sayar.
robots.txt yapay zekâ tarayıcıları için hukuken bağlayıcı mı?
O bir ricadır, çit değil; hiçbir zaman başka bir şey de olmadı — yirmi beş yıl boyunca arama tarayıcıları için de aynısı geçerliydi. Burada listelenen büyük işletmeciler hangi adları dikkate aldıklarını belgeliyor. Ricadan fazlasına, yani zorlamaya ihtiyacınız varsa çözüm bir metin dosyası değil, güvenlik duvarı kuralı ya da lisans sözleşmesidir.
Hiç robots.txt dosyam yoksa ne olur?
Her şey serbest olur; varsayılan budur ve genellikle sorun değildir. Bu sayfanın dayandığı örneklemde 292 siteden 54 tanesinde başlıca eğitim tarayıcıları için hiçbir kural yoktu. Dosyanın olmamasının riski taranmanız değildir; hiçbir karar vermemiş olmanız ve verdiğiniz kararı kimseye söyleyememenizdir.
Yapay zekâ tarayıcılarını engellemek içeriğimin kullanılmasını önler mi?
Yalnızca robots.txt dosyasına uyan işletmeciler açısından — yani kurallara uyan kesim açısından. Üçüncü bir kopya üzerinden, ekran görüntüsüyle ya da bir kullanıcının metninizi sohbet penceresine yapıştırmasıyla bir modele ulaşan içerik hakkında hiçbir şey yapmaz. Engellemek, açıkça alınmış bir tavır olarak değerlidir; teknik bir garanti değildir ve kimse size öyle satmamalı.
Kendi robots.txt dosyanızın bunlardan hangilerini engellediğini ve her birinin size neye mal olduğunu görün — tek taramada, hesap açmadan.