Yapay Zeka

llms.txt Nedir, Web Sitenize Eklemeli misiniz?

llms.txt dosyasının ne olduğu, nasıl yazıldığı, robots.txt ve sitemap'ten farkı, Google'ın bu dosyaya bakışı ve hangi sitelerin eklemesinin anlamlı olduğu.

Mesut Karcıgil · Kurucu, Digitalpedi 6 dk okuma

llms.txt Nedir, Web Sitenize Eklemeli misiniz?

Yapay zeka aramalarından söz edilen her yerde aynı öneri çıkıyor: “Sitenize llms.txt ekleyin.” Kimi bunu yeni robots.txt olarak sunuyor, kimi eklemeyen sitenin ChatGPT’de görünmeyeceğini söylüyor. İkisi de doğru değil.

Bu yazı llms.txt’nin gerçekte ne olduğunu, nasıl yazıldığını ve hangi sitede işe yaradığını öneri metnine ve Google’ın kendi açıklamasına dayanarak anlatıyor.

llms.txt nedir?

llms.txt, bir web sitesinin kök dizinine konan ve dil modellerine siteyi Markdown biçiminde özetleyen bir metin dosyasıdır. Adındaki “LLM”, büyük dil modeli anlamına gelir. Dosya sitenin ne olduğunu birkaç cümleyle anlatır, ardından önemli sayfaların bağlantılarını kısa açıklamalarıyla listeler.

Öneri Jeremy Howard tarafından Eylül 2024’te llmstxt.org adresinde yayımlandı. Gerekçesi şu: dil modellerinin bir seferde okuyabildiği metin sınırlıdır ve bir web sayfasının HTML’i menü, reklam, betik ve altbilgiyle doludur. Model için asıl içeriği bu kalabalıktan ayıklamak hem zor hem hataya açıktır. llms.txt, modele “önce buraya bak” diyen temiz bir giriş noktasıdır.

Önemli bir ayrım: llms.txt bir standart değil, bir öneridir. Hiçbir kurum onu zorunlu kılmıyor ve hangi yapay zeka aracının bu dosyayı okuduğu araca göre değişiyor.

Dosyanın adı robots.txt’ye benzediği için ikisi sık karıştırılır. Benzerlik yalnızca konumdadır: ikisi de kök dizinde durur ve düz metindir. robots.txt bir komut listesidir; llms.txt ise okunmak için yazılmış kısa bir tanıtım belgesidir. Bir insanın da açıp okuyabileceği kadar sade olması, önerinin bilinçli bir tercihidir.

llms.txt dosyası nasıl yazılır?

Bir llms.txt dosyası dört parçadan oluşur ve bunlardan yalnızca biri zorunludur. Öneri metnine göre yapı şöyledir:

  1. H1 başlık — sitenin ya da projenin adı. Zorunlu olan tek bölüm budur.
  2. Alıntı bloğu — sitenin kısa özeti; dosyanın geri kalanını anlamak için gereken temel bilgi.
  3. H2 başlıklı bölümler — her biri bir bağlantı listesi içerir. Liste öğesi, [ad](adres) biçiminde bir bağlantı ve isteğe bağlı kısa bir açıklamadan oluşur.
  4. “Optional” bölümü — ikincil bilgi içindir; model yer darlığında bu bölümü atlayabilir.

Kısa bir örnek:

# Örnek Firma

> Mersin merkezli mobilya üreticisi. Ofis mobilyası üretir, Türkiye geneline
> sevkiyat yapar. Perakende satış yoktur; satış bayi ağı üzerinden yürür.

## Ürünler
- [Çalışma masaları](https://ornek.com/calisma-masalari): ölçüler ve malzeme seçenekleri
- [Toplantı masaları](https://ornek.com/toplanti-masalari): 6–20 kişilik modeller

## Kurumsal
- [Hakkımızda](https://ornek.com/hakkimizda): kuruluş, üretim tesisi
- [Bayiler](https://ornek.com/bayiler): il bazında yetkili satıcı listesi

## Optional
- [Blog](https://ornek.com/blog)

Öneri ayrıca sayfaların temiz Markdown sürümlerinin aynı adresin sonuna .md eklenerek sunulmasını tavsiye ediyor. Bu kısım isteğe bağlıdır ve çoğu kurumsal site için gerekli değildir.

Yazarken dikkat edilecek üç nokta var. Özet bölümü, sitenin yanlış anlaşılmaya en açık yanını netleştirmelidir: örnekteki “perakende satış yoktur” cümlesi, bir dil modelinin kullanıcıya “buradan tek masa sipariş edebilirsiniz” demesini önler. Bağlantı açıklamaları sayfanın başlığını tekrar etmemeli, sayfada ne bulunacağını söylemelidir. Ve dosya kısa kalmalıdır: amaç sitenin tamamını dökmek değil, modeli doğru sayfaya yönlendirmektir.

llms-full.txt nedir, ne zaman gerekir?

llms-full.txt, bağlantı listesi yerine içeriğin tam metnini tek dosyada veren sürümdür. llms.txt bir içindekiler sayfasıysa, llms-full.txt kitabın kendisidir. Bir dil modeli tek istekle sitenin temel içeriğini Markdown olarak alır; sayfa sayfa gezmesi gerekmez.

Bu sürüm iki durumda anlamlıdır: içerik belgelendirme niteliğindeyse (ürün kılavuzu, teknik doküman, ayrıntılı referans anlatımları) ve toplam metin makul bir boyutta kalıyorsa. Yüzlerce ürünü olan bir katalog sitesinde tam metin dosyası hem çok büyür hem çabuk eskir; orada yalnızca llms.txt yeterlidir.

llms.txt, robots.txt ve sitemap’ten nasıl ayrılır?

Üç dosya üç ayrı soruya cevap verir: robots.txt “neye girebilirsin”, sitemap “hangi adresler var”, llms.txt ise “bu site ne anlatıyor” sorusuna.

DosyaKime hitap ederNe söylerUygulanma durumu
robots.txtTarayıcılarHangi adresler taranabilirArama motorlarınca yaygın biçimde uygulanır
sitemap.xmlArama motorlarıSitedeki adreslerin listesi ve tarihleriGoogle ve Bing tarafından okunur
llms.txtDil modelleri ve yapay zeka araçlarıSitenin özeti ve önemli sayfalarÖneri; destek araca göre değişir

En sık yapılan hata, llms.txt’yi bir izin dosyası sanmaktır. Bir tarayıcıyı engellemek ya da ona izin vermek istiyorsanız yeri robots.txt’tir. Hangi tarayıcının ne işe yaradığını yapay zeka aramalarında görünmek yazısında tek tek anlattık.

Google ve ChatGPT llms.txt dosyasını okuyor mu?

Google, yapay zeka özellikleri için böyle bir dosyaya ihtiyaç olmadığını açıkça söylüyor. Yapay zeka özellikleri dokümanında AI özetlerinde ve AI Modunda görünmek için yeni makine-okur dosyalar ya da yapay zeka metin dosyaları oluşturmak gerekmediği yazıyor. Google tarafında koşul değişmiyor: sayfa dizinde olmalı ve snippet ile gösterilebilmelidir.

OpenAI’ın tarayıcı dokümanı ise siteleri ChatGPT aramasında göstermek için OAI-SearchBot’u ve robots.txt kurallarını tarif ediyor; llms.txt’den söz etmiyor. Dolayısıyla “llms.txt yoksa ChatGPT sizi göstermez” iddiasının dayanağı resmî kaynaklarda yok.

Peki dosyayı kim okuyor? Bugün asıl kullanıcıları, bir siteyi ya da belgelendirmeyi bağlam olarak yükleyen araçlardır: kod yardımcıları, tarayıcı içi asistanlar, bir adrese gidip içeriği okuyan yapay zeka ajanları. Bir kullanıcı sohbette “şu firmanın sitesine bak” dediğinde, aracın temiz bir özet bulması cevabın doğruluğunu artırır.

Hangi siteler llms.txt eklemeli?

llms.txt, içeriği yapılandırılmış ve sık başvurulan sitelerde anlamlıdır; beş sayfalık bir tanıtım sitesinde ise fark yaratmaz. Karar için üç soru yeter:

  • Sitede bir dil modelinin yanlış anlayabileceği ayrıntı var mı? Hizmet bölgesi, yapılmayan işler, ürün ile hizmet ayrımı gibi. Varsa özet bölümü bunu netleştirir.
  • Sayfa sayısı çok mu? Onlarca hizmet, referans ya da rehber varsa, hangilerinin önemli olduğunu söyleyen bir liste işe yarar.
  • İçerik düzenli güncelleniyor mu? Güncellenmeyecek bir dosya eklemek, eklememekten kötüdür; eski bilgi yanlış cevaba dönüşür.

Belgelendirme siteleri, yazılım ürünleri, çok sayıda referansı olan ajanslar ve geniş ürün kataloğu olan üreticiler ilk grupta yer alır.

Tek şubeli bir işletmenin beş sayfalık sitesinde ise öncelik başka yerdedir: sayfaların dizine girmesi, işletme bilgilerinin her yerde aynı yazılması ve hizmet sayfalarının soruyu açıkça cevaplaması. Bunlar eksikken llms.txt eklemek, temeli atılmamış bir binaya tabela asmaya benzer. Sıralama doğru kurulduğunda dosyayı eklemek kısa bir iştir ve bir zararı yoktur; ama ilk yapılacak iş değildir.

llms.txt eklendikten sonra nasıl kontrol edilir?

Kontrol, dosyanın gerçekten açıldığını ve içindeki bağlantıların çalıştığını görmekten ibarettir. Adımlar:

  1. Tarayıcıda alanadiniz.com/llms.txt adresini açın; dosya düz metin olarak görünmeli, bir HTML sayfasına ya da 404’e düşmemeli.
  2. Listedeki her bağlantıyı açın; yönlendirme ya da hata veren adres kalmamalı.
  3. Dosyadaki özet ve sayıları sitedeki güncel bilgilerle karşılaştırın.
  4. Bir yapay zeka aracına dosyanın adresini verip siteyi özetlemesini isteyin; çıkan özet doğru mu, eksik mi, bakın.

Dördüncü adım en öğreticisidir: modelin özeti yanlışsa sorun çoğu zaman dosyadaki özet bölümünün belirsiz yazılmış olmasıdır.

llms.txt hazırlarken yapılan hatalar

En yaygın hata, dosyayı bir kez elle yazıp unutmaktır. Diğerleri:

  • Sitemap’i kopyalamak. Yüzlerce adresi açıklamasız sıralamak dosyanın amacına aykırıdır; llms.txt bir seçkidir, döküm değil.
  • Pazarlama dili. “Sektörün lideri”, “en iyi çözüm” gibi ifadeler modele bilgi vermez. Ne yapıldığı, kimin için, nerede yapıldığı yazılır.
  • Doğrulanamayan sayılar. Dosyadaki her sayı sitede karşılığı olan bir sayı olmalıdır; model bu cümleyi aynen aktarabilir.
  • Engelli adreslere bağlantı. robots.txt ile kapatılmış ya da giriş isteyen sayfaları listelemek işe yaramaz.
  • HTML olarak sunmak. Dosya düz metin olarak, Markdown biçiminde sunulur.

Biz nasıl kullanıyoruz?

Digitalpedi’nin sitesinde llms.txt elle yazılmıyor; her yayında içerik koleksiyonlarından otomatik üretiliyor. Dosya digitalpedi.com/llms.txt adresinde açık: firmanın ne yaptığı, hizmet sayfaları, referansların listesi ve her referansın nasıl doğrulanacağı yer alıyor. Yanında, referansların tam metnini veren bir llms-full.txt sürümü de var.

Otomatik üretimin sebebi basit: yeni bir referans ya da rehber eklendiğinde dosyadaki liste ve sayılar kendiliğinden güncelleniyor. Elle tutulan sürümde her eklemede bir yer unutuluyordu.

Bunu bir görünürlük garantisi olarak sunmuyoruz. Asıl işi hâlâ dizine girmiş, soruyu açıkça cevaplayan sayfalar yapıyor; llms.txt bu sayfaları bir dil modeline derli toplu sunan ek bir kapıdır. Teknik tarafı SEO danışmanlığı kapsamında, robots.txt ve sitemap denetimiyle birlikte ele alıyoruz.

llms.txt Nedir, Web Sitenize Eklemeli misiniz? — bölüm özeti: llms.txt nedir?; llms.txt dosyası nasıl yazılır?; llms-full.txt nedir, ne zaman gerekir?; llms.txt, robots.txt ve sitemap’ten nasıl ayrılır?; Google ve ChatGPT llms.txt dosyasını okuyor mu?; Hangi siteler llms.txt eklemeli?; llms.txt eklendikten sonra nasıl kontrol edilir?; llms.txt hazırlarken yapılan hatalar; Biz nasıl kullanıyoruz?
Bu yazının bölümleri tek bakışta.

SSS

Bu yazıyla ilgili sık sorulanlar.

llms.txt dosyası nereye konur?

Öneriye göre dosya sitenin kök dizininde, alanadiniz.com/llms.txt adresinde durur. Düz metin olarak sunulur ve Markdown biçiminde yazılır. İsteğe bağlı olarak alt dizinlerde de bulunabilir; ama dil modellerinin ve araçların ilk bakacağı yer kök dizindeki dosyadır.

llms.txt ile robots.txt arasındaki fark nedir?

robots.txt tarayıcılara neyi tarayıp neyi tarayamayacaklarını söyleyen bir izin dosyasıdır ve arama motorları tarafından yaygın biçimde uygulanır. llms.txt ise izin vermez ya da engellemez; dil modeline siteyi tanıtan, önemli sayfaları açıklamalarıyla listeleyen bir özet dosyasıdır.

Google llms.txt dosyasını kullanıyor mu?

Google, AI özetlerinde ve AI Modunda görünmek için yeni makine-okur dosyalar ya da yapay zeka metin dosyaları oluşturmak gerekmediğini kendi dokümanında yazıyor. Google tarafında belirleyici olan, sayfanın dizinde olması ve snippet ile gösterilebilmesidir; llms.txt bu koşulların yerine geçmez.

llms.txt eklemek sıralamayı yükseltir mi?

Hayır, böyle bir etkiyi gösteren resmî bir kaynak yok. llms.txt bir sıralama sinyali değildir. Faydası, bir dil modeli ya da yapay zeka aracı siteyi okuduğunda karşısına derli toplu, reklamsız ve menüsüz bir özet çıkarmasıdır. Dizine girme ve içerik kalitesi sorunlarını çözmez.

llms-full.txt nedir?

llms-full.txt, bazı sitelerin llms.txt'ye ek olarak yayınladığı, bağlantı listesi yerine içeriğin tam metnini tek dosyada veren sürümdür. Belgelendirme sitelerinde yaygınlaşmış bir uygulamadır. Amaç, bir dil modelinin tek istekle sitenin temel içeriğini Markdown olarak alabilmesidir.

llms.txt dosyası elle mi yazılmalı, otomatik mi üretilmeli?

Az sayfalı ve seyrek değişen bir sitede elle yazmak yeterlidir. Sık içerik eklenen sitelerde dosyanın yayın sırasında içerikten otomatik üretilmesi daha doğrudur; elle tutulan dosya kısa sürede eskir ve dil modeline güncel olmayan sayfa listesi ve sayılar sunar.

Hazır mısınız?

Markanız için sıradan olmayan bir web sitesi konuşalım.

Birkaç dakikalık bir görüşme yeter. Fikrinizi dinleyip net bir yol haritası çıkaralım.