Kaynak gösterilmek yapılacak tek bir iş değil. Dört halkalı bir zincir, ve zincir ilk kopan halkada kopuyor. Birincisi kırıkken dördüncüsüyle uğraşmak bu konudaki en yaygın emek israfı, o yüzden halkaları gerçekte oldukları sırayla yazıyoruz.
- İçeri alınıyorsunuz. O asistanı besleyen tarayıcı
robots.txtdosyanız ya da bot korumanız tarafından reddedilmiyor. - İçeriğiniz ulaşıyor. Sayfa, düz bir HTTP isteğine, tarayıcı çalıştırmadan gerçek metin döndürüyor.
- Bir parçası tek başına ayakta duruyor. Getirim sisteminin modele verdiği birkaç yüz jeton, sayfanın gerisi olmadan anlam taşıyor.
- Kaynak göstermeye değiyor. O parça, alıntılanıp size atfedilecek kadar özgül bir şey söylüyor.
Çoğu insanın “içerik kalitesi” dediği şey yalnızca sonuncusu, ve mekanik olarak doğrulayamayacağınız tek halka o. İlk üçünü bugün kontrol edebilirsiniz.
Birinci halka: içeri alınmak
İki ayrı kapı, ve siteler bunları farklı sebeplerle kapatıyor.
Birincisi robots.txt. Burada her şeyi belirleyen ayrım, sizinle eğitilen tarayıcı ile sizi kaynak gösteren tarayıcı arasında. Birincisini engellemek trafik bedeli olmayan meşru bir iş kararı. İkincisini engellemek sizi o asistanın cevaplarından tamamen çıkarıyor. Genellikle aynı dosyada iki satır, genellikle tek satır olarak yazılıyor, ve site sahibi hangisini yazdığını neredeyse hiç öğrenmiyor.
İkinci kapı bot koruması, ve bu hiç karar verilmeden kapanıyor. Yönetilen bir güvenlik duvarı ya da bot engelleme ürünü, tanımadığı bir kullanıcı ajanını tehdit sayıp ona bir doğrulama sayfası veriyor. Asistan makalenizin yerine o sayfayı alıyor. Sizin tarafınızda hiçbir yere “reddedildi” diye düşmüyor, çünkü CDN’iniz açısından işlem başarılı.
Ayrıca 72 of 292 (25%) site kapılı, kısıtlı ya da eksik bir şey döndürdü. Toplamı, bir asistanın hiç okuyamadığı, hepsi tanınmış halka açık sitelerden oluşan ciddi bir oran — ve neredeyse hiçbirinde bu bilerek seçilmemiş.
İkinci halka: içeriğin ulaşması
Yapay zekâ tarayıcılarının çoğu JavaScript çalıştırmaz. Sayfanız ziyaretçinin tarayıcısında kuruluyorsa, ulaşan şey kabuktur: bir <div id="root">, birkaç betik etiketi, ve anlattığınız şeyin hiçbiri. Sayfa size ve sayfayı işleyen Googlebot’a kusursuz görünür, ulaşmaya çalıştığınız şeye boştur.
Bunu tek komutla, araçsız ve hesapsız sınayabilirsiniz:
curl -sL -A "Mozilla/5.0 (compatible; test)" https://alanadiniz/sayfa \
| sed 's/<script[^>]*>.*<\/script>//g' \
| sed 's/<[^>]*>/ /g' | tr -s ' ' | head -c 2000
Ekrana basılan şey, yaklaşık olarak asistanın aldığı şeydir. Başlığınız, ilk paragrafınız ve ne sattığınız orada yoksa sorun budur, ve bu yazıdaki her şeyin öncesindedir.
Üçüncü halka: tek başına duran parça
Neredeyse kimsenin üzerinde çalışmadığı halka bu, çünkü tarayıcının içinden görünmüyor. Model sayfanızı okumaz. Getirim sistemi sayfayı birkaç yüz jetonluk parçalara böler, birini soruyla eşleştirir, ve yalnızca o parçayı verir.
“Bu sayede şunu yapabilirsiniz…” diye başlayan bir paragraf bu yüzden kullanılamaz: *bu* her neyse, başka bir parçada kaldı. “Acme’nin depo robotları 40.000 avrodan başlıyor ve AB genelinde gönderiliyor” diye başlayan paragraf tek başına alıntılanabilir, ve fark tamamen bu.
Sıradan yazının üç alışkanlığı hasarın çoğunu yapıyor, ve üçü de hiçbir şeyi yeniden yazmadan düzeltilebilir:
- Paragraf sınırının gerisine işaret eden zamirler. “O”, “bu”, “bunlar”, “yukarıdaki” — hepsi modele verilmemiş bir şeye çözülüyor. Özneyi yeniden adlandırın; insana biraz tekrar gibi gelir, ve geri kalan her şey için alıntılanabilir ile işe yaramaz arasındaki farktır.
- Bilgilerin öznesinden koparılması. “Fiyatlandırma” diyen bir başlık ve “ayda 29 £” diyen bir paragraf, okur için tek bilgi, getirim sistemi için iki öksüz. İsmi cümlenin içine koyun.
- Gezinmenin metinden ağır basması. Sayfanız büyük bir menü, bir kapak alanı ve üç kısa paragrafsa, parçalarının çoğu çerçeve olacaktır. Ölçülen 261 sitenin 23 of 261 (9%) tanesinde ağırlıklı olarak içerik değil gezinme çıktı.
Araçsız hızlı sınama: en önemli sayfanızdan herhangi bir paragrafı alın, tek başına bir belgeye yapıştırın, ve bir yabancı gibi okuyun. Hangi şirket hakkında olduğunu ve ne iddia edildiğini söyleyemiyorsanız, bir asistan da söyleyemez.
Dördüncü halka: kaynak göstermeye değmek
Bir asistan, alıntılamak kendi bilgisinden özetlemekten daha iyi olduğunda kaynak gösterir. Bu da özgül şeylerde olur: bir sayı, bir tarih, bir fiyat, bir sınır, adı konmuş bir yöntem, birinin yaptığı bir ölçüm. Herkesin bildiği metinde olmaz, çünkü model o ortak bilgiyi zaten içeriyor ve onun için size ihtiyacı yok.
Bu yüzden en çok içerik pazarlaması gibi duran tavsiye tam anlamıyla ciddiye alınmayı hak ediyor: yalnızca sizin yayımlayabileceğiniz şeyi yayımlayın. Kendi fiyatınız, kendi sınırlarınız, kendi ölçümleriniz, kendi belgelenmiş süreciniz. Sektörünüz hakkında genel tavsiye veren bir sayfa, modelin kendi eğitim verisiyle yarışır ve kaybeder.
Elinizde olmayan kısım
Başvuru formu yok, sıralama yok, ve hiçbir asistandan size ne sıklıkla kullanıldığınızı söyleyen bir rapor gelmiyor. Kaynak gösterilmeyi satın alamazsınız; garantili sayı satan biri gözlemleyemediği, yönetmek bir yana, bir şeyi tarif ediyor.
Herkesin yapabileceği tek çıkış tarafı kontrolü, asistanlara kendi alanınızı sorup kimlerin adının geçtiğine bakmak. Geçmişi olmayan yeni bir oturumda yapın, birkaç kez sorun, ve ölçüm değil izlenim olarak görün — cevap denemeden denemeye ve kullanıcıdan kullanıcıya değişiyor. Yine de ara sıra yapmaya değer, çünkü uzak uca dair elinizdeki tek bakış.
Hangi sırayla yapılır
- En önemli sayfanızın düz bir çekimde gerçek içeriğinizi döndürüp döndürmediğine bakın. Döndürmüyorsa her şeyden önce onu düzeltin.
robots.txtdosyanızın hangi yapay zekâ tarayıcılarını reddettiğini tek tek çıkarın ve her birine ayrı karar verin: eğitilmek ve kaynak gösterilmek farklı sorular.- Sizin yerinize bir bot duvarının cevap verip vermediğine bakın. Bu tarayıcıdan görünmüyor ve yaygın.
- Fiyat, konum, iletişim ve ne sattığınız bilgisinin yalnızca yerleşimde değil, makine okunur biçimde de bulunduğundan emin olun.
- En iyi sayfanızı paragraf paragraf yeniden okuyun ve her birinin tek başına ayakta durup durmadığını sorun.
İlk dördü bir taramanın otomatik yaptığı şey: tarayıcısız tek bir çekim, robots.txt dosyanızın adı geçen her yapay zekâ tarayıcısına karşı tek tek çözülmesi, bot duvarlarının içerik değil bot duvarı olarak tanınması, ve sayfanızın getirim sisteminin böleceği gibi parçalara ayrılması.
Sitenizin bu dört halkanın hangisinde kaybettiğini görün. Tek sayfa, yaklaşık iki saniye, hesap gerekmez.