Buradaki her şey, ne öğrenmeye geldiğinize göre

Nereden başlamalı?

Tek soruyla: yapay zekâ sitenizden ne okuyabiliyor? Adresi yapıştırın, yaklaşık iki saniyede 100 üzerinden puan ve sıralı bir düzeltme listesi alın. Hesap gerekmez, kart gerekmez. Puanın nasıl kurulduğu yöntem sayfasında, tam kural seti ise AX kurallarında (İngilizce).

Okumak isterseniz

Türkçe yazılan 11 yazı. Hiçbiri çeviri değil: Türkçe okuyan biri için yazıldılar. Hepsi yazılar sayfasında.

• Yapay zekâ tarayıcılarını doğru engellemek: robots.txt, nginx, Apache ve Cloudflare — robots.txt bir rica, duvar değil. Her katmanın neyi zorunlu kıldığı, nginx, Apache ve Cloudflare için tam yapılandırma, ve sitelerin 25% kadarını vuran hata.
• Yapay zekânın gerçekten okuduğu yapısal veri, ve neden çoğu sitede hiç yok — Yapısal veri, bir asistanın tahmin etmeden okuduğu tek bölüm. 292 halka açık siteyi ölçtük: 158 tanesinde hiç yok.
• ChatGPT ve Perplexity’de nasıl kaynak gösterilirsiniz? — Bir asistan sizi kaynak göstermeden önce dört şeyin olması gerekir. Üçü sizin elinizde, biri değil, ve çoğu site daha ilkinde kaybediyor.
• GEO nedir, ve ne kadarı aslında SEO’dur? — GEO, sitenizin yapay zekâ asistanları tarafından okunabilir ve kaynak gösterilebilir olması demek. Gerçekten yeni olan kısmı, ve yeni isimle satılan eski kısmı.
• Sayfanızı kimse okumuyor, bir parçasını okuyor — Bir asistana sayfanızın tamamı değil, birkaç yüz tokenlik tek bir parçası verilir. Baştan sona okunmak üzere yazılmış metnin başına gelen budur.
• llms.txt, robots.txt ve sitemap.xml arasındaki fark ne? — Kökte duran ve sürekli karıştırılan üç dosya. Biri izin verir, biri adresleri listeler, biri siteyi tanıtır — ve bugün yalnızca ikisi okunuyor.
• Yapay zekâ sitenizi okuyabiliyor mu? Nasıl kontrol edilir — Beş dakikada kendi başınıza çalıştırabileceğiniz altı kontrol; bir siteyi yapay zekâ için okunmaz yapan şeylerin neredeyse tamamını yakalıyorlar.
• Bot korumanız, sizi kaynak gösterecek asistanları engelliyor — Çektiğimiz 292 tanınmış web sitesinden 45 tanesi düz bir HTTP isteğini doğrudan reddetti. Neredeyse hiçbiri bunu istememişti.
• React siteniz ChatGPT’ye neden neredeyse görünmüyor — Yapay zekâ tarayıcıları HTML çeker ve JavaScript çalıştırmaz. İçeriğiniz tarayıcıda kuruluyorsa, karşı tarafa boş bir kabuk gider — ve hiçbir yerde hata görünmez.
• robots.txt’inizdeki yapay zekâ tarayıcıları, ve size müşteri kaybettiren tanesi — Bazı tarayıcılar içeriğinizle model eğitir. Bazıları müşteri soru sorduğu anda gelir ve sizi kaynak gösterir. Çoğu site ikisini tek kuralla engelliyor.
• llms.txt nedir, ve gerçekten kullanan var mı? — Tarayıcılar için değil, yapay zekâ asistanları için yazılmış düz metin bir site haritası. Formatı, ne kazandırdığı, kaç sitenin yayınladığı.

Hangi tarayıcıyı engellemeli?

Bu sorunun cevabı tek bir şey değil. “Yapay zekâ botlarını engelle” genelde “benimle eğitim yapma” demektir; ama kopyalanan satır çoğu zaman size ziyaretçi gönderen tarayıcıyı da engeller. 54 tarayıcının her birinin kendi sayfası var: ne olduğu, tam belirteci, engellemenin neye mal olduğu, ve ölçülen 292 sitede kaç tanesinin onu engellediği. Tam liste burada.

Cevap motorları

Bir asistanın sizi kaynak gösterip bağlantı verebilmesi için dizine ekler.

• OAI-SearchBot — ChatGPT arama sonuçlarında kaynak olarak görünmezsiniz.
• Claude-SearchBot — Claude’un web araması yanıtlarında kaynak gösterilmezsiniz.
• PerplexityBot — Perplexity atıflarını kaybedersiniz — yapay zekâ kaynaklı yönlendirmeler içinde dönüşümü en yüksek olanlardan biri.
• Applebot — Siri, Spotlight ve Apple Intelligence içindeki yanıtların hepsi Apple’ın kendi dizinini okur. Applebot’u engellemek sizi bunların tamamından çıkarır.
• meta-webindexer — Meta AI; WhatsApp, Instagram ve Facebook içinde sizi kaynak göstermeyi ve size bağlantı vermeyi bırakır — çok sayıda insanın artık sorularını sorduğu yer burası.
• Amazonbot — Alexa ve Rufus tarzı alışveriş yanıtlarının dışında kalırsınız.

Kullanıcı tetikli getiriciler

Bir insan asistandan sayfanızı o an açmasını istediği için getirir.

• ChatGPT-User — Bir kullanıcı ChatGPT’den bağlantınızı açmasını istediğinde, gözünün önünde başarısız olur.
• Claude-User — Bir kullanıcı bağlantıyı yapıştırdığında Claude sayfanızı açamaz.
• Perplexity-User — Perplexity’den gelen canlı, kullanıcı isteğiyle tetiklenen çekimler başarısız olur.
• MistralAI-User — Le Chat, az önce isteyen kişi için sayfanızı açamaz.
• Google-NotebookLM — NotebookLM’de sayfanızı kaynak olarak ekleyen biri boş bir kaynak alır. Bu, yalnızca bir insan sizi bilerek seçtiği için gerçekleşen tek çekim türüdür.
• GoogleAgent-URLContext — Adresinizi Gemini API’sine bağlam olarak veren bir geliştirici hiçbir şey alamaz ve genellikle sizin robots.txt dosyanızı değil kendi kodunu suçlar.

Otonom aracılar

Bir kişinin adına gezinir, karşılaştırır ve satın alır.

• ChatGPT Agent — Müşteri adına gezinen, karşılaştıran ve form dolduran aracı kapınızdan içeri giremez; dolayısıyla geri döndüğü kısa listede hiç yer almazsınız.
• Operator — OpenAI’ın tarayıcı aracısı sitenizde bir rezervasyonu, kaydı ya da ödemeyi tamamlayamaz.
• GoogleAgent-Mariner — Google’ın tarayıcı aracısı sitenizde çok adımlı bir işi yürütemez.
• Gemini-Deep-Research — İnsanların giderek daha çok karar verdiği uzun, atıflı Deep Research raporları, içinde siz olmadan yazılır.
• AmazonBuyForMe — Müşteri adına satıcının kendi sitesinden ürün satın alan aracı, ürün sayfalarınızı okuyamaz ve başka yerden satın alır.
• NovaAct — Amazon’un tarayıcı aracısı, kullanıcı adına sitenizi kullanamaz.

Eğitim tarayıcıları

Model eğitimi için içerik toplar.

• GPTBot — İçeriğiniz OpenAI model eğitiminin dışında tutulur.
• ClaudeBot — İçeriğiniz Anthropic model eğitiminin dışında tutulur.
• Google-Extended — Gemini eğitiminin ve temellendirmesinin dışında kalırsınız.
• Applebot-Extended — Apple Intelligence eğitiminin dışında kalırsınız.
• meta-externalagent — Meta AI eğitiminin dışında kalırsınız.
• CCBot — Çoğu açık modelin temel derlemi olan Common Crawl’un dışında kalırsınız.

Şimdi çalıştırabilecekleriniz

Hepsi araçlar sayfasında.

• robots.txt üreticisi — eğitilmek, kaynak gösterilmek, istek üzerine getirilmek ve adınıza alışveriş yapılmak konusunda bir kez karar verin; 54 tarayıcının tamamını adıyla anan dosyayı alın. Her reddin size neye mal olduğunu, siz kopyalamadan önce yazar.
• llms.txt üreticisi — adres yapıştırın, sitenizin kendi başlığı ve gezinmesinden bir llms.txt taslağı alın. (Arayüzü İngilizce.)
• Komut satırı aracı — npx axray-cli siteniz.com, ücretsiz, kurulum yok, ve bir eşiğin altında yapıyı durdurabilir. (Dokümantasyonu İngilizce.)

Terimler

Bu konunun tartışıldığı sekiz terim, her biri bir kez tanımlı ve İngilizcesiyle birlikte: sözlük. Yarısının henüz yerleşmiş bir Türkçesi yok, o yüzden ikisi de yazılı.

Ölçümün kendisi

292 halka açık site, her biri bir yapay zekâ aracının çektiği gibi bir kez çekilip aynı kurallara göre puanlandı. Medyan 68/100; yalnızca 8 tanesi 85’in üzerinde. Veri setinin tamamı indirilebilir ve CC BY 4.0 lisanslı; hiçbir site adıyla anılmıyor. (Sayfası İngilizce.)

Yalnızca İngilizce olanlar

Dürüst olmak gerekirse sitenin bir kısmı henüz Türkçe değil, ve bunu burada söylemek sizi tıkladıktan sonra keşfetmenize bırakmaktan iyidir: 70 kontrolün her biri için birer sayfa, AX kuralları ve API dokümantasyonu. Kural setinin ve dokümantasyonun İngilizce kalması bir tercih: dört dilde biraz farklı şeyler söyleyen bir kural seti, kimsenin güvenemeyeceği bir kural setidir.