Şu anda, hiçbir bedel ödemeden çalıştırabilecekleriniz

Yapay zekâ tarayıcıları için robots.txt üreticisi

Kategori başına bir kez karar verin — benimle eğit, beni kaynak göster, insan isteyince getir, adıma alışveriş yap — ve izlediğimiz 54 yapay zekâ tarayıcısının tamamını adıyla anan bir robots.txt alın. Her reddin yanında neye mal olduğu yazar.

Yapmayı reddettiği şey: size tek satırlık bir parçacık vermez. “Yapay zekâ botlarını engelle” neredeyse her zaman size ziyaretçi gönderen tarayıcıyı da engeller; bunu kolaylaştıran bir araç, zararı daha hızlı veriyor olurdu.

Aç

llms.txt üreticisi — arayüzü İngilizce

Bir adres yapıştırın; o sitenin kendi başlığı, açıklaması ve gezinmesinden bir llms.txt taslağı alın.

Yapmayı reddettiği şey: her bağlantının altındaki tek cümlelik açıklamayı boş bırakır. O sayfalarda ne olduğunu yalnızca siz bilirsiniz; bir cümle uydurmak, bir kez çektiğimiz site hakkında bir gerçek uydurmak olurdu.

Aç

Hangisi işinize yarar?

İkisi farklı soruya cevap veriyor ve karıştırılması sık. robots.txt izin verir ya da reddeder: hangi tarayıcının sizi hiç okuyabileceğine karar veren dosyadır. llms.txt hiçbir izin vermez — sitenizin özenle seçilmiş kısa bir haritasıdır; ne yaptığınızı soran birine göndereceğiniz yirmi bağlantı. Üçüncüsü olan sitemap.xml ise sahip olduğunuz her adresi listeler ve seçim yapmaz.

Kısacası: bir tarayıcının sizi okumasını istemiyorsanız robots.txt; okuduğunda nereye bakacağını söylemek istiyorsanız llms.txt. İkisi birbirinin yerine geçmez ve ikisini de yayınlamak birkaç dakika sürer.

Neden bot değil de kategori sorulur

Üreticinin sorduğu soru “GPTBot’u engelleyeyim mi” değil, “eğitilmek istiyor musunuz”. Aradaki fark bütün kararı belirliyor: yalnızca OpenAI üç ayrı tarayıcı çalıştırıyor — biri eğitim verisi topluyor, biri ChatGPT’nin kaynak gösterdiği dizini kuruyor, biri de birisi o an istediği için sayfanızı getiriyor. İnternette kopyalanan tek satırlık parçacıklar üçünü birden reddediyor, ve bunu yazan kişilerin neredeyse hiçbiri bunu kastetmiyor. Tarayıcı listesi her birinin ne yaptığını, üretici ise her reddin size neye mal olduğunu yazıyor.

Ve tarayıcının kendisi

Yukarıdaki iki araç birer cevap. Tarayıcı ise 70 cevabın tamamı: bir adres yapıştırın, yaklaşık iki saniyede 100 üzerinden puan ve sıralı bir düzeltme listesi alın. İşlem hattınız için bir komut satırı sürümü, bir JSON API ve bir MCP sunucusu var — sonuncusuyla sayfa açmak yerine doğrudan bir asistana sorabilirsiniz. (Dokümantasyonu İngilizce.)

Türkçe yazılan her şey rehberler sayfasında: yazılar, 54 tarayıcının her biri için birer sayfa, ve nelerin hâlâ yalnızca İngilizce olduğunun dürüst bir listesi.