Yapay zekâ sitenizi okuyabiliyor mu? Nasıl kontrol edilir

Sitenizi tarayıcıda açmak bu konuda size hiçbir şey söylemez. Sizde JavaScript, çerezler, gerçek bir tarayıcı parmak izi ve büyük ihtimalle bir oturum var — bir asistanda bunların hiçbiri yok. Tek bir düz HTTP isteği yapar, dönen neyse onu okur ve orada bırakır. Dolayısıyla tek dürüst test, sayfanızı onun istediği gibi istemektir.

Aşağıdakilerin hepsi terminalde curl ile çalışır; macOS ve Linux’ta zaten kurulu, Windows 10 ve sonrasında da geliyor. siteniz.com yazan yerleri kendi adresinizle değiştirin.

Sayfa cevap veriyor mu?

En eksiksiz arıza, size hiçbir yerde haber verilmeyenidir: sayfa insanlar için ayakta, diğer her şey için reddediliyor. 293 tanınmış siteden oluşan örneklemimizde 45 of 293 (15%) tanesi düz bir isteği doğrudan reddetti.

Copycurl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
  https://siteniz.com | head -1

Görmek istediğiniz HTTP/2 200. 403 ya da 503, sitenizin yerine bir koruma katmanının cevap verdiği anlamına gelir; bu durumda ne yapılacağı başlı başına bir konu. 301 ya da 302, bir yere varıyorsa sorun değil; takip etmek için -L ekleyin.

Cevabın içinde hiç metin var mı?

İnsanları en çok şaşırtan kontrol bu. Siteniz tarayıcıda oluşturuluyorsa, gelen HTML’in içinde hiç kelime olmayabilir — boş bir kap ve bir script etiketi. Kelimeleri sayın.

Copy# JavaScript çalışmadan önce kaç kelime geliyor
curl -s https://siteniz.com | sed -e 's/<[^>]*>/ /g' | wc -w

Örneklemdeki ortanca site yaklaşık 673 kelime döndürüyor. Yüzün altı, asistanın okuyacak neredeyse hiçbir şeyi olmaması demektir ve bu düzelmeden geri kalan hiçbir çalışmanın önemi yoktur. Örneklemin yalnızca 11 of 293 (4%) tanesi bu durumdaydı, ama bunlar biraz kötü değil, tamamen kötüydü.

Sayfa ne olduğunu söylüyor mu?

Başlık ve açıklama, bir sayfanın açılmak yerine alıntılandığı her yerde kendini tanıttığı iki alandır. Aynı zamanda bu listedeki en kolay düzeltilen iki şeydir.

Copycurl -s https://siteniz.com | grep -iEo '<title>[^<]*|<meta name="description" content="[^"]*'

Başlık yaklaşık altmış karakterin altında, açıklama 120 ile 160 arasında olsun. Daha uzunu okunduğu yerde kesiliyor; daha kısası zaten hiçbir şeyin özeti değil.

Yapısal veri var mı?

Yapısal veri, bir sayfanın asistanın yorumlamadan tükettiği tek parçasıdır. Geri kalan her şeyi çıkarım yoluyla tahmin etmek zorundadır ve hakkınızda şeyler uydurduğu yer tam da orasıdır.

Copycurl -s https://siteniz.com | grep -c 'application/ld+json'

Sık alınan cevap sıfırdır ve pahalı olan da odur. Kim olduğunuzu bildiren tek bir blok tabandır; onun üstüne sayfaya uygun tür — fiyat sayfasında Product ve Offer, SSS sayfasında FAQPage, yazılarda Article — bir asistanın “fiyatı ne” sorusunu metninizi hiç okumadan cevaplamasını sağlayan şeydir.

robots.txt hangi tarayıcıları geri çeviriyor?

Kendi dosyanızı okuyun ve her tarayıcının ne işe yaradığıyla karşılaştırın. Önemli ayrım şu: eğitim tarayıcılarını engellemek size hiçbir şeye mal olmaz, cevap motorlarını engellemek ise cevabın kendisine mal olur.

Copycurl -s https://siteniz.com/robots.txt

Her adın ne yaptığı ve engellemenin neye mal olduğu yapay zekâ tarayıcıları başvuru sayfasında. Somut tuzak şu: GPTBot’u engellemek sizi ChatGPT cevaplarından çıkarmaz, OAI-SearchBot’u engellemek çıkarır.

Bütün sayfayı okumak neye mal oluyor?

Bir asistan sayfanızın bedelini token olarak öder ve bütçesi vardır. Gelenin çoğu işaretleme, betik ve serileştirilmiş durumsa, içerik bağlam penceresindeki yer için mobilyayla yarışır. Örneklemimizde ortanca sayfa yaklaşık 2719 token tutuyordu ve bunun %30’i sayfanın konusu değil, gezinme ve kalıp metindi.

Copy# Telden inen bayt ile okunabilir metnin baytı
curl -s https://siteniz.com | wc -c
curl -s https://siteniz.com | sed -e 's/<[^>]*>/ /g' | tr -s ' ' | wc -c

Okunabilir payın %5’in altında olması, sayfanın çoğunlukla iskeleden ibaret olduğu anlamına gelir. Bilmeye değer, ama ilk düzeltilecek şey değil, sonuncusudur.

Bunlar size neyi söylemez?

Bu altı kontrol, bir sayfanın okunmasını engelleyen arızaları bulur. Okunanın, hakkınızdaki bir soruyu cevaplamaya yetip yetmediğini söylemez — bir asistanın ne sattığınızı, fiyatını, nerede olduğunuzu ve biri parasını geri isterse ne olacağını söyleyip söyleyemeyeceğini. O daha zor bir soru ve sırada asıl o var, çünkü bir sayfa yukarıdaki her kontrolü geçip yine de bir asistanı işinizle ilgili tek kelime edemez hâlde bırakabilir.