llms.txt, robots.txt ve sitemap.xml arasındaki fark ne?

Bu üç dosya sanki birbirinin alternatifiymiş gibi konuşuluyor, oysa değiller. Farklı soruları cevaplıyorlar, farklı şeyler tarafından okunuyorlar ve ikisi yirmi beş yıldır taşıyıcı rol oynarken üçüncüsü 2024’ten kalma bir öneri. Ayrımın tamamı önce tabloda, sonra ayrıntısıyla.

robots.txt izin verir ya da vermez

Üçünün en eskisi ve yanlış yaptığınızda gerçekten bedeli olan tek dosya. Kullanıcı aracılarının listesi ve her birinin hangi yolları çekip çekemeyeceği. Bir çit değil, bir rica — hiçbir zaman başka bir şey de olmadı ve yapay zekâdan çok önce arama tarayıcıları için de aynısı geçerliydi — ama büyük işletmeciler dikkate aldıkları adları belgeliyor ve gerçekten dikkate alıyorlar.

Örneklediğimiz sitelerin 240 of 293 (82%) tanesi bu dosyayı yayımlıyor; bu da onu üçü arasında açık ara en yaygın olanı yapıyor.

Gerçekten paraya mal olan hata dosyayı koymamak değil. “Yapay zekâ botları” için tek bir kural yazıp, o kategorinin size etkisi birbirinin tersi olan tarayıcıları barındırdığını fark etmemek: engellemenin size hiçbir şeye mal olmadığı eğitim tarayıcıları ile, bir insanın sohbet penceresinden sitenize ulaşmasını sağlayan cevap motorları. Hangisinin hangisi olduğu tarayıcı başvuru sayfasında.

sitemap.xml neyin var olduğunu listeler

Bulunmasını istediğiniz her adresin makine tarafından okunabilir listesi; her biri için isteğe bağlı bir son değişiklik tarihiyle. Bir talimat değil, keşif yardımıdır: içindekilerin taranma zorunluluğu yoktur, içinde olmayanların taranması da engellenmez. En çok büyük sitelerde, az bağlantı almış yeni sitelerde ve ana sayfadan bağlantı izleyerek ulaşılamayan sayfalarda işe yarar.

Örneklemin 198 of 293 (68%) tanesi bu dosyayı yayımlıyor.

İnsanların atladığı ayrıntı lastmod. Her satırı bu sabah değiştiğini iddia eden bir site haritası dikkate alınmayan bir site haritasıdır, çünkü o alan kaydedilmek yerine üretilmeye başladığı anda bilgi taşımayı bırakır. Bir sayfanın gerçekte ne zaman değiştiğini söyleyemiyorsanız, alanı hiç koymayın.

llms.txt siteyi tanıtır

Bir Markdown belgesi: adınız, bir asistanın alıntılayabileceği bir paragraf, ardından her birinin ne olduğunu anlatan birer cümleyle seçilmiş bağlantılar. Her adres değil — ne iş yaptığınızı soran birine göndereceğiniz yirmi bağlantı. Site haritasından tek farkı bu seçme işidir ve asıl işi yapan kısım açıklama cümleleridir, çünkü asistanın hepsini çekmeden doğru sayfayı seçmesini sağlarlar.

Büyük asistanların hiçbiri bu dosyayı okuduğunu açıkça taahhüt etmedi. Dürüst konum budur ve fikir cazip diye değişmez. Doğru olan şu: bir öğleden sonraya mal oluyor, çalışma zamanında hiçbir yükü yok ve size zarar veremez — beklenir hâle gelebilecek bir teamül üzerine alınmış ucuz bir opsiyon. Onu bu gerekçeyle yapın, birisi size ChatGPT’ye girmenizi sağladığını söylediği için değil.

Örneklemin 65 of 293 (22%) tanesi yayımlıyor. İyi bir örneğin neye benzediği dâhil bütün tartışma llms.txt yazısında.

Üçü de gerekli mi?

İkisi kesinlikle. robots.txt, çünkü olmadığında tarayıcı erişimi konusunda hiçbir karar vermemiş olursunuz ve verdiğiniz kararı kimseye söyleyemezsiniz. sitemap.xml, çünkü her çatı ve her statik site sağlayıcısı onu bedavaya üretiyor ve olmaması için hiçbir gerekçe yok.

llms.txt bugün gerçekten isteğe bağlı ve aksini söyleyen kanıtın önüne geçmiş demektir. Yapılacak sıra, sonuçların ağırlık sırasıdır: önce robots.txt dosyanızı düzeltin, çünkü şu an size trafiğe mal olabilecek olan odur; bir şekilde yoksa site haritası yayımlayın; llms.txt dosyasını da bir öğleden sonranız olduğunda yazın.

Bu dosyaların yapmadığı şey ne?

Bu üç dosyanın hiçbiri bir asistanın önüne içerik koymaz. Sayfanız JavaScript ile dolan boş bir kap döndürüyorsa ya da HTML’iniz yerine bir doğrulama ekranı veriyorsa, üç dosya da kusursuz biçimde doğrudur ve asistanın okuyacak hâlâ hiçbir şeyi yoktur. Dosyalar siteyi tarif eder; okunamayan bir sayfayı kurtarmaz. O ayrı bir sorundur ve genellikle daha pahalı olanıdır.