llms.txt nedir, ve gerçekten kullanan var mı?

llms.txt, alan adınızın kökünde duran ve bir yapay zekâ asistanına sitenizin ne olduğunu ve hangi sayfaların önemli olduğunu anlatan bir Markdown dosyasıdır. robots.txt ve sitemap.xml ile aynı yerde durur ama ikisinden de farklı bir iş yapar: robots.txt izin verir ya da vermez, sitemap.xml sahip olduğunuz her adresi listeler, llms.txt ise kısa ve seçilmiş olanıdır — size ne iş yaptığınızı soran birine göndereceğiniz yirmi bağlantı.

Fikir Eylül 2024’te Answer.AI’dan Jeremy Howard tarafından önerildi. Bir standart değil, bir gelenek: arkasında bir komite yok ve uymamakla suçlanabileceğiniz bir şartname yok.

Nasıl görünür

Adınızı taşıyan tek bir h1, ne yaptığınızı özetleyen bir alıntı bloğu, sonra açıklamalı bağlantı bölümleri. Formatın tamamı bu.

Copy# Acme Robotik

> Acme, depo kurmak istemeyen şirketler için depo robotları üretir.
> 2019’da kuruldu, merkezi İstanbul, Avrupa ve Türkiye’ye satış yapıyor.

## Ürün
- [Nasıl çalışır](https://acme.test/urun): Kol, ray ve üzerine ne sığdığı.
- [Fiyatlar](https://acme.test/fiyat): Üç plan, net rakamlar, "bizi arayın" yok.

## Dokümanlar
- [Hızlı başlangıç](https://acme.test/docs): On dakikada çalışır hale gelmek.
- [API referansı](https://acme.test/docs/api): Her uç nokta, örnekleriyle.

## Politikalar
- [İade](https://acme.test/iade): 30 gün, kargo bizden.
- [İletişim](https://acme.test/iletisim): destek@acme.test, bir gün içinde yanıt.

Her bağlantının yanındaki cümle, herkesin atladığı ve asıl işi yapan kısımdır. Açıklaması olmayan bir bağlantı, kılık değiştirmiş bir site haritası girdisidir; açıklama, asistanın hepsini tek tek indirmeden doğru sayfayı seçmesini sağlayan şeydir.

Bunu gerçekten okuyan var mı?

İnternetin geri kalanının garip bir şekilde sessiz kaldığı soru bu, o yüzden dürüst cevabı verelim: büyük asistanların hiçbiri llms.txt okuduğunu açıkça taahhüt etmedi. OpenAI, Anthropic ve Google bunun için destek duyurmadı. Size “bu dosyayı koyarsan ChatGPT’ye girersin” diyen biri, size bir şey satıyordur.

Doğru olan şey daha dar ama yine de değerli. Dosya, artan sayıda ajan çatısı ve doküman aracı tarafından indiriliyor; bazı ürünler doğrudan tüketiyor; ve size bir öğleden sonrasına mal oluyor, çalışma zamanında hiçbir maliyeti yok. Yaygınlaşabilecek bir gelenek üzerine alınmış ucuz bir opsiyon — üstelik neredeyse hiç kimsenin almadığı bir anda.

Son cümle ölçülebilir bir şey, biz de ölçtük. Örneklemimizdeki 293 tanınmış sitenin — yazılım, e-ticaret, haber, doküman, kamu ve referans — bu kadarı llms.txt yayınlıyor:

Karşılaştırma için: aynı sitelerin 198 of 293 (68%) tanesi sitemap.xml, 240 of 293 (82%) tanesi robots.txt yayınlıyor. llms.txt hakkında başka ne doğruysa, henüz rakiplerinizin yaptığı bir şey olmadığı kesin.

Peki neden puanlıyoruz?

AXRAY bu dosyaya on dört puan veriyor ve bu, Ajan Sözleşmesi sütunundaki en ağır tek kontrol. Kimsenin okuduğunu taahhüt etmediği bir dosyanın neden bu kadar değerli olduğunu sormak yerinde — ve cevap “yaygınlaşacağını düşündüğümüz için” değil.

Cevap şu: dosyayı yazmak sizi bir egzersize zorluyor. İşe yarar bir llms.txt üretmek için sitenizin ne için var olduğuna tek cümleyle karar vermeniz, sonra dört yüz sayfanın içinden önemli olan yirmisini seçmeniz gerekiyor. Bunu yapan hemen her site, yol boyunca kendi bilgi mimarisinde bozuk bir şey keşfediyor. Dosya sonuç; asıl değer düşünme kısmı.

Bedavaya da vermiyoruz. Boş ya da bağlantısız bir dosya puanın en fazla yarısını alıyor ve rapor bunu zayıf kanıt diye işaretliyor — çünkü herkese açık bir kural setinin davet ettiği hata, kontrolü geçmek için içi boş bir dosya koymaktır.

İşe yarar bir tane nasıl yazılır

1. https://alanadiniz/llms.txt adresinde, text/plain veya text/markdown olarak sunun. Yönlendirme arkasında değil, giriş arkasında hiç değil.
2. # Adınız ile başlayın, sonra bir yabancının olduğu gibi alıntılayabileceği iki üç cümlelik bir alıntı bloğu yazın. Yüksek sesle okunacakmış gibi yazın, çünkü okunacak.
3. Bağlantıları, gezinme yapınızı değil niyeti yansıtan iki ila beş ## başlığı altında toplayın: Ürün, Dokümanlar, Politikalar.
4. Her bağlantıya o sayfada ne olduğunu söyleyen bir cümle ekleyin. Formatın bütün amacı bu.
5. Elli bağlantının altında tutun. Bu bir içindekiler sayfası, dizin değil.
6. Mutlak adres kullanın. Bir istem içine kopyalanan dosyadaki göreli bağlantı hiçbir yere çıkmaz.
7. Site değiştikçe güncelleyin. Eski bir harita, hiç harita olmamasından kötüdür — çünkü ona inanılır.

En sık gördüğümüz üç hata

Site haritasını yapıştırmak. Dört yüz çıplak adres, llms.txt’in alternatifi olmak için var olduğu şeyin ta kendisi. Kaydırma çubuğu gerekiyorsa, yanlış belgedir.

Şablonu içeride bırakmak. Hâlâ example.com gösteren dosyalar çok yaygın, çünkü birisi bir blog yazısından örnek kopyalayıp yayınlamış. Bizim tarayıcımız da bir zamanlar böyle bir örnek veriyordu ve kendi kontrolümüz bunu kullananların puanını kırıyordu; artık taslağı taranan sitenin kendisinden üretiyoruz.

Pazarlama metni yazmak. Alıntı bloğu bir slogan değil. “Ekipleri sinerjiyi açığa çıkarmak için güçlendiriyoruz” cümlesi bir asistana müşteriye aktarabileceği hiçbir şey söylemez. “Avrupalı orta ölçekli lojistik şirketlerine 40.000 avrodan başlayan depo robotları satıyoruz” söyler.

Sıradaki adım

Sizde var mı, varsa bir şey söylüyor mu — bakın. Tarama sizin llms.txt dosyanızı okur, bölümlerini ve kullanılabilir bağlantılarını sayar; eksikse ya da içi boşsa, şablondan değil sizin kendi sitenizin adından, açıklamasından ve menüsünden bir taslak üretir.