Googlebot engellenmeli mi?

Googlebot nedir

Google onu klasik bir arama tarayıcısı olarak işletiyor; yani onlarca yıldır var olan türden sıradan arama dizinlemesi yapar. Bu, eskisinden daha az değil daha çok önemli: birkaç asistan önce geleneksel bir dizinde arayıp en üstteki sonuçları okuyarak cevap veriyor.

Engellemenin size maliyeti: Google aramasına ve onun üzerine kurulu AI Overviews yanıtlarına görünmez olursunuz. Sıradan arama dizinlemesi durur, ve o dizin giderek yapay zekâ cevaplarının da üzerine kurulduğu zemin hâline geliyor.

User-agent ve bir kuralın eşleştiği belirteç

Bunlar iki farklı dizedir ve karıştırılmaları, doğru görünen bir kuralın neden hiçbir şey yapmadığının sebebidir. Bir robots.txt kuralı ürün belirteciyle, büyük-küçük harf ayrımı gözetmeden eşleşir ve user-agent başlığının geri kalanını tamamen yok sayar.

Googlebot için izin verme

Bunu alan adınızın kökündeki robots.txt dosyasına yapıştırın.

CopyUser-agent: Googlebot
Allow: /

Sitemap: https://axray.online/sitemap.xml

Boş bir Disallow: ile Allow: / bir tarayıcı için aynı şeydir. Aynı şey olmayan, hiç kural bulunmamasıdır: yokluk varsayılan olarak izindir, ama kimsenin yazmadığı bir izindir ve biri bu tarayıcıyı hiç düşünmeden toptan bir User-agent: * bloğu ekleyene kadar sürer.

Googlebot için engelleme

CopyUser-agent: Googlebot
Disallow: /

Bunu yapıştırmadan önce: google aramasına ve onun üzerine kurulu AI Overviews yanıtlarına görünmez olursunuz. Maliyet budur ve sessizce ödenir — günlüklerinizde hata çıkmaz, hiçbir rapor size söylemez, ve kaybettiğiniz trafik geldiğini hiç görmediğiniz trafiktir.

Bir robots.txt dosyasının kimsenin reddetmek istemediği şeyleri reddetmesi, tam da tarayıcı tarayıcı karar vermekten kaynaklanır. Ücretsiz robots.txt üreticisi soruyu bunun yerine kategori başına bir kez soruyor — eğit, kaynak göster, istek üzerine getir, adıma alışveriş yap — ve 54 tarayıcının tamamı için dosyayı yazıyor, siz kopyalamadan önce her reddin neye mal olduğunu adıyla söyleyerek.

Web Googlebot tarayıcısına gerçekte nasıl davranıyor

2026-09-06 tarihinde, 292 halka açık web sitesinin robots.txt dosyası okunup her biri özellikle bu tarayıcıya karşı çözülerek ölçüldü.

Ne burada ne bu alan adının başka bir yerinde hiçbir site adıyla anılmaz. İşe yarayan kısım sayıdır; ölçülmeyi hiç istememiş işletmelerin sıralaması değil.

İki kez okunmaya değer satır sonuncusu. 292 siteden 54 tanesi Googlebot hakkında hiçbir kural yazmamış; yani bu konudaki konumları bir karar değil, bir kaza — User-agent: * blokları ne diyorsa o.

Googlebot ne değildir

Google, farklı işleri olan 6 tarayıcı daha işletiyor ve pahalı hata tam burada oluyor. Biri “içeriğimle eğitim yapmayın” demek istiyor, işletmecinin adını hatırladığı gibi yazıp tek bir kural koyuyor, ve bunun yerine kendisine müşteri gönderecek tarayıcıyı engelliyor.

Kurallar belirteç başına eşleşir. Bunlardan birini engellemek diğerleri hakkında hiçbir şey söylemez — asıl mesele de bu: eğitimi reddedip bağlantınızı bir insanın önüne koyan her tarayıcıyı açık tutabilirsiniz.

Sitenizin şu anda ne yaptığını kontrol etmek

Kendi robots.txt dosyanızı okumak, bir tarayıcının ondan ne sonuç çıkardığını bilmekle aynı şey değildir. Bir User-agent: * grubu ile adı geçen bir grup arasındaki öncelik, çakışan yollar arasındaki en uzun eşleşme kuralı, ve azıcık yanlış yazdığınız bir belirteç — üçü de doğru görünen ve başka türlü davranan bir dosya üretir.

Copynpx axray-cli your-site.com

Tarama, dosyanızı bu listedeki 54 tarayıcının her birine karşı tek tek çözer ve hangilerinin izinli, hangilerinin engelli, hangilerinin hiçbir kurala tabi olmadığını bildirir. Ücretsizdir, hesap gerektirmez ve hiçbir şey kurmaz.

Googlebot hakkında sorulan sorular

Googlebot nedir?

Googlebot, Google tarafından işletilen klasik bir arama tarayıcısı: onlarca yıldır var olan türden sıradan arama dizinlemesi yapar. Bu, eskisinden daha az değil daha çok önemli: birkaç asistan önce geleneksel bir dizinde arayıp en üstteki sonuçları okuyarak cevap veriyor.

robots.txt’de Googlebot engellenmeli mi?

Yalnızca bedelini ödemeye razıysanız. Google aramasına ve onun üzerine kurulu AI Overviews yanıtlarına görünmez olursunuz. Sıradan arama dizinlemesi durur, ve o dizin giderek yapay zekâ cevaplarının da üzerine kurulduğu zemin hâline geliyor.

Googlebot user-agent dizesi nedir?

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) — ve bir kuralın gerçekte eşleştiği robots.txt ürün belirteci Googlebot.

Sitemin şu anda Googlebot engelleyip engellemediğini nasıl kontrol ederim?

Sitenizi AXRAY ile tarayın. robots.txt dosyanızı, hepsi için tek bir sonuç bildirmek yerine adı geçen 54 yapay zekâ tarayıcısına karşı tek tek çözer; böylece bu tarayıcının izinli mi, engelli mi, yoksa hiçbir kurala tabi olmadığını mı size söyler. Ücretsizdir ve hesap gerektirmez.

Diğer klasik arama tarayıcıları

• Bingbot — Microsoft

Tam referans: 54 yapay zekâ tarayıcısı ve her birini kimin engellediği.