Tek bir düz HTTP isteği, ardından geriye ne geldiğine dair 57 soru.

1. Bir ajanın çektiği gibi çekeriz

AXRAY dürüst bir kullanıcı aracısıyla, on iki saniyelik zaman aşımı ve katı bir bayt sınırıyla tek bir GET gönderir; yönlendirmeleri elle takip eder, böylece zincir raporlanabilir. Sonra durur. İçeriğinizin görünmek için tarayıcıya ihtiyacı varsa burada görünmez — tarayıcının içinde olan da tam olarak budur.

Aynı anda, bir ajanın siteye güvenmeden önce baktığı köken düzeyindeki dosyaları çekeriz: /robots.txt, /sitemap.xml, /llms.txt, /.well-known/security.txt ve /.well-known/mcp.json.

2. DOM kurmadan ayrıştırırız

HTML, bu iş için yazılmış küçük ve hoşgörülü bir ayrıştırıcıyla işlenir. Tarayıcı motoru yok, üçüncü taraf ayrıştırıcı yok, JavaScript yok. Gerçek sayfalar bozuktur ve hatalı işaretlemede çöken bir tarayıcı kimsenin güvenmediği bir tarayıcıdır; bu yüzden tasarımı gereği hoşgörülüdür.

3. 57 soru sorarız

Her kontrol, aynı dondurulmuş olgu kümesinin saf bir fonksiyonudur; aynı adresin komut satırında, derleme hattında ve bu sitede aynı puanı almasının sebebi budur. Her kontrol bir karar, arkasındaki kanıt, bir ajanın bunu neden umursadığını anlatan bir cümle ve mümkün olan yerde yapıştırabileceğiniz bir kod parçası döndürür.

4. Ağırlıklandırır, sınırlar ve sıralarız

Sayfanıza uygulanmayan kontroller size puan kaybettirmek yerine paydadan çıkar: formu olmayan bir sayfa, form etiketi yok diye asla cezalandırılmaz. Sütun puanları ağırlıklarına göre birleştirilip genel sayıyı verir.

Sonra sınırlar devreye girer. Bazı arızalar öyle ağırdır ki iyi bir ortalama yalan olurdu — bot duvarı, robots ile tam engelleme, hiç içerik göndermeyen bir sayfa. Bu durumlarda puana tavan konur ve rapor bunu bir cümleyle söyler, çünkü açıklanmayan bir tavan hata gibi okunur.

Son olarak her bulgu, genel ölçekte size kaybettirdiği puana çevrilir ve düzeltme listesi bu sayıya göre sıralanır. Bu bir şikâyet listesi değil, bir iş kuyruğudur.

5. Ajanın elinde ne kaldığını gösteririz

Her rapor, puanın çıktığı ayrıştırmadan yeniden kurulmuş Markdown hâliyle sayfayı taşır: tarayıcısız bir çekmeden sağ çıkan başlıklar, metin, bağlantılar ve görsel alt metinleri. Hiçbir şey eklenmez, hiçbir şey çıkarsanmaz. Ziyaretçinin tarayıcısında oluşturulan bir sayfada bu genellikle üç satırdır ve tek başına bu olgu, puanı başarısız kontrol listesinden çok daha hızlı açıklar.

Üstünde iki sayı vardır: sayfanın tamamının bir ajana okuması kaç token’a mal olduğu ve bunun ne kadarının gezinme, üst bilgi ve alt bilgi değil, sayfanın kendi içeriği olduğu. İşe yarayan ikinci sayıdır. Bağlam penceresi sabit bir bütçedir ve her sayfasının üçte ikisini dev bir menüye harcayan bir site, bunu asistanın okuduğu her sayfada öder.

Token tahmini nasıl yapılıyor ve ne kadar yanılabilir?

Bu bir tahmindir ve göründüğü her yerde öyle etiketlenir. AXRAY hiçbir bağımlılık ve veri dosyası taşımaz; cl100k_base ile o200k_base arkasındaki sözlükler megabaytlarca yer tutar, dolayısıyla burada çalıştırılacak bir tokenizer yoktur. Bunun yerine: Latin alfabesi, rakamlar ve noktalama ortalama dört karakterlik parçalarda birleşir ve her biri çeyrek token sayılır; Han, Kana ve Hangul böyle birleşmez ve karakter başına neredeyse bir token sayılır — bir Japonca sayfada kabaca doğru olmakla üç kat yanılmak arasındaki fark budur; satır sonları da gerçek token oldukları için sayılır.

İngilizce düzyazıda bu, gerçek bir tokenizer’ın yaklaşık yüzde on yakınına düşer. Bir sayfayı bağlam penceresine göre ölçmeye ve sayfanın içerik yarısını kalıp yarısıyla karşılaştırmaya yetecek kadar doğrudur. Kimseye fatura kesecek kadar doğru değildir ve burada zaten kimse kesmiyor.

İnsanların gerçekten sorduğu sorular

Bu, adı değiştirilmiş SEO’dan ibaret değil mi?

Hayır, ve fark arızanın biçiminde. Başlığı kötü olan bir siteyi arama motoru kötü başlığıyla gösterir. Aynı sayfayı okuyan bir asistan ise kendi başlığını uydurur, onu size mal eder ve sitenizi hiç görmeyecek birine gösterir. Bu kontrollerin yaklaşık üçte birinin SEO’da hiçbir karşılığı yoktur: adı geçen bir yapay zekâ tarayıcısının içeri alınıp alınmadığı, fiyatlarınızın makinece okunabilir olup olmadığı, bir ajanın formlarınızı kullanıp kullanamadığı, bir ajanın çağırabileceği bir şey yayımlayıp yayımlamadığınız.

Neden sayfayı önce bir tarayıcıyla oluşturmuyorsunuz?

Çünkü bu sizi pohpohlardı. Tarayan ajanların çoğu düz HTML’i JavaScript’siz ve katı bir zaman aşımıyla çeker; o bütçeyi yeniden üretmek, ne gördüklerini size bildirmenin tek dürüst yoludur. İçeriğiniz görünmek için tarayıcıya ihtiyaç duyuyorsa burada görünmez — tarayıcının içinde olan da tam olarak budur.

Taranan site olarak bir tarama bana neye mal olur?

Bir avuç istek: sayfanın kendisi, robots.txt, site haritası, llms.txt ve birkaç bilinen yol. Bir sunucu, bütün AXRAY kullanıcıları toplamında saatte en fazla 30 kez çekilir; 10 dakika içindeki tekrar istekler saklanan sonuçtan karşılanır ve site geneli taramalar robots.txt dosyanıza ve tarama gecikmenize uyar. Sizi hiç çekmememizi tercih ediyorsanız robots.txt’ye eklenecek iki satır bizi durdurur.

Bir siteyi taramak, onun hakkında bir şey yayımlar mı?

Hayır. Rapora yalnızca tahmin edilemeyecek kendi bağlantısıyla ulaşılır ve alan adının sahibi denetimi kanıtlayıp listelenmeyi istemedikçe hiçbir şey herkese açık AX Endeksi’ne girmez.

İstediği dosyaları ekleyip yüksek puan alamaz mıyım?

Artık alamazsınız ve bunun nasıl engellendiğini yayımlıyoruz. Eskiden boş bir dosyayla geçilen yirmi kontrol artık içinde ne olduğuna bakıyor: llms.txt bir şey söylemeli ve bir yere bağlanmalı, bir Product teklif taşımalı, security.txt bir iletişim adresi vermeli. Bir şey mevcut ama içi boşsa rapor bunu zayıf kanıt olarak etiketler ve en fazla ağırlığının yarısını kazandırır.

Bilerek yapmadıklarımız

• Sayfayı oluşturmayız. Oluşturulmuş bir puan sizi pohpohlar ve yanıltır.
• Sunucunuzu yormayız. Varsayılan bir tarama bir avuç istektir; site geneli taramalar aralıklarla ikişer ikişer gider.
• Niyet tahmin etmeyiz. Bir kontrol değerlendirilemiyorsa başarısız değil, uygulanamaz olarak işaretlenir.
• Kuralları saklamayız. Kuralların tamamı herkese açıktır ve puanlama kodundan üretilir.

AXRAY kendi testinden geçiyor mu?

Geçmek zorunda. Bu site sunucuda oluşturulur, anlamsal olarak işaretlenmiştir, JSON-LD ile tanımlanmıştır ve llms.txt, robots.txt, sitemap.xml ile bir ajan manifestosu yayımlar. npx axray-cli axray.online komutunu çalıştırıp kendiniz bakın.