bir getirim sağlayıcısı
bedrockbot, Amazon tarafından işletiliyor. Başka şirketlerin yapay zekâ ürünlerinin aradığı dizini satar. Engellemek sizi hepsinden aynı anda çıkarır.
Amazon onu bir getirim sağlayıcısı olarak işletiyor; yani web’i bir kez tarar ve ortaya çıkan dizini, yapay zekâ ürünleri o dizinde arama yapan başka şirketlere satar. Tek tarayıcı, çok sayıda alt ürün — ve user-agent’taki isim, duymuş olduğunuz herhangi bir ürünün adı olmaz genelde.
Engellemenin size maliyeti: Amazon Bedrock üzerinde asistan kuran kurumlar dokümantasyonunuzu bir bilgi tabanına ekleyemez — geliştiricilere satıyorsanız tam da istediğiniz kullanım budur. O dizin üzerine kurulmuş bütün yapay zekâ ürünlerinden aynı anda çıkarsınız — ki bunlar, adı tarayıcıda geçen tek şirketten çok daha fazladır.
Bunlar iki farklı dizedir ve karıştırılmaları, doğru görünen bir kuralın neden hiçbir şey yapmadığının sebebidir. Bir robots.txt kuralı ürün belirteciyle, büyük-küçük harf ayrımı gözetmeden eşleşir ve user-agent başlığının geri kalanını tamamen yok sayar.
| robots.txt belirteci | bedrockbot |
|---|---|
| İşletmeci | Amazon |
| Kategori | bir getirim sağlayıcısı |
| Tam user-agent | Amazon yayınlamıyor. Yukarıdaki belirteçle eşleştirin. |
Bir işletmeci tam dizeyi yayınlamamışsa, bu sayfa makul görünen bir tane uydurmak yerine bunu söyler. Günlüklerinizde arayabileceğiniz bir user-agent, tahminse hiçbir işe yaramaz.
Bunu alan adınızın kökündeki robots.txt dosyasına yapıştırın.
User-agent: bedrockbot
Allow: /
Sitemap: https://axray.online/sitemap.xmlBoş bir Disallow: ile Allow: / bir tarayıcı için aynı şeydir. Aynı şey olmayan, hiç kural bulunmamasıdır: yokluk varsayılan olarak izindir, ama kimsenin yazmadığı bir izindir ve biri bu tarayıcıyı hiç düşünmeden toptan bir User-agent: * bloğu ekleyene kadar sürer.
User-agent: bedrockbot
Disallow: /Bunu yapıştırmadan önce: amazon Bedrock üzerinde asistan kuran kurumlar dokümantasyonunuzu bir bilgi tabanına ekleyemez — geliştiricilere satıyorsanız tam da istediğiniz kullanım budur. Maliyet budur ve sessizce ödenir — günlüklerinizde hata çıkmaz, hiçbir rapor size söylemez, ve kaybettiğiniz trafik geldiğini hiç görmediğiniz trafiktir.
Bir robots.txt dosyasının kimsenin reddetmek istemediği şeyleri reddetmesi, tam da tarayıcı tarayıcı karar vermekten kaynaklanır. Ücretsiz robots.txt üreticisi soruyu bunun yerine kategori başına bir kez soruyor — eğit, kaynak göster, istek üzerine getir, adıma alışveriş yap — ve 54 tarayıcının tamamı için dosyayı yazıyor, siz kopyalamadan önce her reddin neye mal olduğunu adıyla söyleyerek.
2026-09-06 tarihinde, 292 halka açık web sitesinin robots.txt dosyası okunup her biri özellikle bu tarayıcıya karşı çözülerek ölçüldü.
| Sonuç | Site | Oran |
|---|---|---|
| Engelliyor | 8 | 3% |
| Açıkça izin veriyor | 230 | 79% |
| Hiçbir yönde kural yok | 54 | 18% |
Ne burada ne bu alan adının başka bir yerinde hiçbir site adıyla anılmaz. İşe yarayan kısım sayıdır; ölçülmeyi hiç istememiş işletmelerin sıralaması değil.
İki kez okunmaya değer satır sonuncusu. 292 siteden 54 tanesi bedrockbot hakkında hiçbir kural yazmamış; yani bu konudaki konumları bir karar değil, bir kaza — User-agent: * blokları ne diyorsa o.
Amazon, farklı işleri olan 4 tarayıcı daha işletiyor ve pahalı hata tam burada oluyor. Biri “içeriğimle eğitim yapmayın” demek istiyor, işletmecinin adını hatırladığı gibi yazıp tek bir kural koyuyor, ve bunun yerine kendisine müşteri gönderecek tarayıcıyı engelliyor.
| Tarayıcı | Onun yerine ne yapar |
|---|---|
Amazonbot |
birisi bir asistana soru sorduğunda asistanın aradığı dizini kurar. Sayfanız o dizindeyse cevabın içinde kaynak gösterilebilir, alıntılanabilir ve bağlantı alabilirsiniz. Değilse daha alt sıradan değil, cevabın tamamen dışından bahsediyoruz — ve hiçbir rapor bunu size söylemez. |
Amzn-User |
bir insan asistandan sayfayı açmasını istediği anda tek bir sayfa getirir. Dizin de yok, zamanlama da: biri bağlantınızı yapıştırmış ya da sitenizi adıyla istemiştir ve istek gerçekleşirken cevabı bekliyordur. |
AmazonBuyForMe |
birinin adına bir işi baştan sona yürütür — şu tedarikçileri karşılaştır, masayı ayırt, uyan parçayı bul. Karar vermek için sayfaları okur ve okuyamadığını, kişiye geri verdiği kısa listeye koyamaz. |
NovaAct |
birinin adına bir işi baştan sona yürütür — şu tedarikçileri karşılaştır, masayı ayırt, uyan parçayı bul. Karar vermek için sayfaları okur ve okuyamadığını, kişiye geri verdiği kısa listeye koyamaz. |
Kurallar belirteç başına eşleşir. Bunlardan birini engellemek diğerleri hakkında hiçbir şey söylemez — asıl mesele de bu: eğitimi reddedip bağlantınızı bir insanın önüne koyan her tarayıcıyı açık tutabilirsiniz.
Kendi robots.txt dosyanızı okumak, bir tarayıcının ondan ne sonuç çıkardığını bilmekle aynı şey değildir. Bir User-agent: * grubu ile adı geçen bir grup arasındaki öncelik, çakışan yollar arasındaki en uzun eşleşme kuralı, ve azıcık yanlış yazdığınız bir belirteç — üçü de doğru görünen ve başka türlü davranan bir dosya üretir.
npx axray-cli your-site.comTarama, dosyanızı bu listedeki 54 tarayıcının her birine karşı tek tek çözer ve hangilerinin izinli, hangilerinin engelli, hangilerinin hiçbir kurala tabi olmadığını bildirir. Ücretsizdir, hesap gerektirmez ve hiçbir şey kurmaz.
bedrockbot, Amazon tarafından işletilen bir getirim sağlayıcısı: web’i bir kez tarar ve ortaya çıkan dizini, yapay zekâ ürünleri o dizinde arama yapan başka şirketlere satar. Tek tarayıcı, çok sayıda alt ürün — ve user-agent’taki isim, duymuş olduğunuz herhangi bir ürünün adı olmaz genelde.
Yalnızca bedelini ödemeye razıysanız. Amazon Bedrock üzerinde asistan kuran kurumlar dokümantasyonunuzu bir bilgi tabanına ekleyemez — geliştiricilere satıyorsanız tam da istediğiniz kullanım budur. O dizin üzerine kurulmuş bütün yapay zekâ ürünlerinden aynı anda çıkarsınız — ki bunlar, adı tarayıcıda geçen tek şirketten çok daha fazladır.
Amazon bu tarayıcı için tam bir user-agent dizesi yayınlamıyor. robots.txt ürün belirteci bedrockbot ve bir kural buna göre eşleşir; eşleşmede büyük-küçük harf ayrımı yoktur.
Sitenizi AXRAY ile tarayın. robots.txt dosyanızı, hepsi için tek bir sonuç bildirmek yerine adı geçen 54 yapay zekâ tarayıcısına karşı tek tek çözer; böylece bu tarayıcının izinli mi, engelli mi, yoksa hiçbir kurala tabi olmadığını mı size söyler. Ücretsizdir ve hesap gerektirmez.
ExaSearchBot — ExaTavilyBot — TavilyFirecrawlAgent — FirecrawlShapBot — ParallelDiffbot — DiffbotCloudflare-AutoRAG — CloudflareTam referans: 54 yapay zekâ tarayıcısı ve her birini kimin engellediği.
Bu 54 tarayıcıdan hangilerini kendi sitenizin engellediğini ve her birinin size neye mal olduğunu görün. Tek tarama, hesap gerekmez.