CCBot nedir?
CCBot, Common Crawl tarafından işletilen bir eğitim tarayıcısı: bir modeli eğitmek için metin toplar. Ne şimdi ne sonra sitenize kimseyi göndermez; bu listede bunun doğru olduğu tek kategoridir.
bir eğitim tarayıcısı
CCBot engellenmeli mi?
CCBot, Common Crawl tarafından işletiliyor. Model eğitimi için içerik toplar. Engellemek, trafik maliyeti olmayan meşru bir ticari tercihtir.
CCBot nedir
Common Crawl onu bir eğitim tarayıcısı olarak işletiyor; yani bir modeli eğitmek için metin toplar. Ne şimdi ne sonra sitenize kimseyi göndermez; bu listede bunun doğru olduğu tek kategoridir.
Engellemenin size maliyeti: Çoğu açık modelin temel derlemi olan Common Crawl’un dışında kalırsınız. Trafik açısından hiçbir şey. Engellemenin arkasında gerçek bir gerekçe olan ve ziyaretçi maliyeti bulunmayan tek grup budur.
User-agent ve bir kuralın eşleştiği belirteç
Bunlar iki farklı dizedir ve karıştırılmaları, doğru görünen bir kuralın neden hiçbir şey yapmadığının sebebidir. Bir robots.txt kuralı ürün belirteciyle, büyük-küçük harf ayrımı gözetmeden eşleşir ve user-agent başlığının geri kalanını tamamen yok sayar.
| robots.txt belirteci | CCBot |
|---|---|
| İşletmeci | Common Crawl |
| Kategori | bir eğitim tarayıcısı |
| Tam user-agent | CCBot/2.0 (https://commoncrawl.org/faq/) |
CCBot için izin verme
Bunu alan adınızın kökündeki robots.txt dosyasına yapıştırın.
User-agent: CCBot
Allow: /
Sitemap: https://axray.online/sitemap.xmlBoş bir Disallow: ile Allow: / bir tarayıcı için aynı şeydir. Aynı şey olmayan, hiç kural bulunmamasıdır: yokluk varsayılan olarak izindir, ama kimsenin yazmadığı bir izindir ve biri bu tarayıcıyı hiç düşünmeden toptan bir User-agent: * bloğu ekleyene kadar sürer.
CCBot için engelleme
User-agent: CCBot
Disallow: /Bu, verilmesi adil bir karardır. Bir eğitim tarayıcısı size ziyaretçi göndermez; dolayısıyla engellemek trafik açısından hiçbir şeye mal olmaz ve almaya hakkınız olan bir tutumdur. Neyi sağladığı konusunda net olun: robots.txt yalnızca uymayı seçen işletmecilerce onurlandırılır ve metninizin bir üçüncü taraf kopyası, bir ekran görüntüsü ya da birinin sohbet penceresine yapıştırması yoluyla bir modele ulaşmasına hiçbir etkisi yoktur.
Bir robots.txt dosyasının kimsenin reddetmek istemediği şeyleri reddetmesi, tam da tarayıcı tarayıcı karar vermekten kaynaklanır. Ücretsiz robots.txt üreticisi soruyu bunun yerine kategori başına bir kez soruyor — eğit, kaynak göster, istek üzerine getir, adıma alışveriş yap — ve 54 tarayıcının tamamı için dosyayı yazıyor, siz kopyalamadan önce her reddin neye mal olduğunu adıyla söyleyerek.
Web CCBot tarayıcısına gerçekte nasıl davranıyor
2026-09-06 tarihinde, 292 halka açık web sitesinin robots.txt dosyası okunup her biri özellikle bu tarayıcıya karşı çözülerek ölçüldü.
| Sonuç | Site | Oran |
|---|---|---|
| Engelliyor | 55 | 19% |
| Açıkça izin veriyor | 183 | 63% |
| Hiçbir yönde kural yok | 54 | 18% |
Ne burada ne bu alan adının başka bir yerinde hiçbir site adıyla anılmaz. İşe yarayan kısım sayıdır; ölçülmeyi hiç istememiş işletmelerin sıralaması değil.
İki kez okunmaya değer satır sonuncusu. 292 siteden 54 tanesi CCBot hakkında hiçbir kural yazmamış; yani bu konudaki konumları bir karar değil, bir kaza — User-agent: * blokları ne diyorsa o.
Sitenizin şu anda ne yaptığını kontrol etmek
Kendi robots.txt dosyanızı okumak, bir tarayıcının ondan ne sonuç çıkardığını bilmekle aynı şey değildir. Bir User-agent: * grubu ile adı geçen bir grup arasındaki öncelik, çakışan yollar arasındaki en uzun eşleşme kuralı, ve azıcık yanlış yazdığınız bir belirteç — üçü de doğru görünen ve başka türlü davranan bir dosya üretir.
npx axray-cli your-site.comTarama, dosyanızı bu listedeki 54 tarayıcının her birine karşı tek tek çözer ve hangilerinin izinli, hangilerinin engelli, hangilerinin hiçbir kurala tabi olmadığını bildirir. Ücretsizdir, hesap gerektirmez ve hiçbir şey kurmaz.
CCBot hakkında sorulan sorular
robots.txt’de CCBot engellenmeli mi?
CCBot engellemek size hiç ziyaretçi kaybettirmez; çünkü sitenize kimseyi göndermek yerine model eğitimi için içerik toplar. Kararın gerçekten ilkesel olarak size ait olduğu tek grup budur. Yapmadığı şey ise içeriğinizi modellerin dışında tutmaktır — yalnızca robots.txt okuyan işletmecilere uygulanır ve başkası üzerinden ulaşılan bir kopya hakkında hiçbir şey yapmaz.
CCBot user-agent dizesi nedir?
CCBot/2.0 (https://commoncrawl.org/faq/) — ve bir kuralın gerçekte eşleştiği robots.txt ürün belirteci CCBot.
Sitemin şu anda CCBot engelleyip engellemediğini nasıl kontrol ederim?
Sitenizi AXRAY ile tarayın. robots.txt dosyanızı, hepsi için tek bir sonuç bildirmek yerine adı geçen 54 yapay zekâ tarayıcısına karşı tek tek çözer; böylece bu tarayıcının izinli mi, engelli mi, yoksa hiçbir kurala tabi olmadığını mı size söyler. Ücretsizdir ve hesap gerektirmez.
Diğer eğitim tarayıcıları
GPTBot— OpenAIClaudeBot— AnthropicGoogle-Extended— GoogleApplebot-Extended— Applemeta-externalagent— MetaBytespider— ByteDanceDeepSeekBot— DeepSeekAI2Bot— Ai2
Tam referans: 54 yapay zekâ tarayıcısı ve her birini kimin engellediği.
Bu 54 tarayıcıdan hangilerini kendi sitenizin engellediğini ve her birinin size neye mal olduğunu görün. Tek tarama, hesap gerekmez.