LLMSTXT Nedir? Nasıl Oluşturulur ve Entegre Edilir?

LLMSTXT büyük dil modellerinin(LLM) web sitelerindeki içerikleri sınırlara takılmadan keşfedip anlamlandırabilmesi için hayatımıza yeni girmiş bir “SITEMAP”tir. Sadece bildiğimiz Sitemap dosyası demek de bu dosyanın işlevini tam karşılamıyor. Bu karşılaştırmada, LLMSTXT: alışılagelmiş Robots.txt ve Sitemap.xml dosyalarının görevlerini tek bir yerde büyük dil modelleri için sunuyor demek daha doğru olacaktır. Geleneksel sitemap.xml ve robots.txt’nin sağladığı sayfa listesi, erişim yönergeleri ve indeksleme bilgilerini, AI sistemlerinin içerikleri daha hızlı ve doğru şekilde anlaması için uyarlanmış şekilde tek bir dosyada sunar.

Detaylara girmeden önce geçtiğimiz on yıl içinde belli dönemlerde(özellikle yapay zekanın yükseldiği son 2 yıl) sık sık duyduğumuz “SEO ölüyor!”, “SEO’nun yerini yapay zeka alacak!”, “SEO uzmanlarına olan talep gitgide azalacak!” cümlelerini hatırlatmak isterim. Sanırım yine bize iş düşüyor değil mi? Kısaca SEO, yani Search Engine Optimization; yani arama motoru optimizasyonu aslında sadece Google’da üst sıralarda yer almak için yapılan çalışmalar olarak algılandığı sürece bu cümlelerin doğruluk payı var diyebiliriz. Ama SEO’nun gitgide sona yaklaştığı değil, çapını büyüterek büyüdüğünü söylersek çok daha doğru bir tanım yapmış olacağız. Çünkü SEO sadece Google’da üst sıralarda yer almak değil; marka olmak, insanların arama yaptığı çeşitli platformlarda ön planda olmak, potansiyel müşterilerin hizmet/ürün satın almak için ya da bilgi alma amaçlı yaptığı aramaların karşısına doğal yollarla çıkabilmektir. Çok da uzatmadan yıllardır tekrarladığımız cümleyi bir kez daha kurup detaylara girelim:

İnsanlar herhangi bir şey için arama yaptığı sürece; dün Google’da, bugün yapay zeka arayüzlerinde, yarın belki sadece düşünce gücüyle, SEO gün geçtikçe değerini arttırarak devam edecek!

Büyük Dil Modelleri

Bu konuyla ilgili yazılan her yazıda LLMSTXT’nin büyük dil modellerinin web sitelerinde içerikleri algılayabilmesi ve anlamlandırabilmesi için sunulan bir dosya tipi olduğundan bahsediliyor. Peki nedir bu büyük dil modelleri? Büyük dil modelleri, insanlar tarafında devasa miktarda sunulan metin verisi üzerinde eğitilmiş yapay zeka sistemleridir. Bu modeller, dilin yapısal özelliklerini, bağlamını ve nüanslarını bizim sunduğumuz verilerle sınırlı olarak öğrenerek insan benzeri(hatta bazen daha iyi) metinler üretebilir, sorulara yanıt verebilir, özet çıkarabilir ve çeviri yapabilir. Örnek olarak herkesin sıkça kullandığı ChatGPT ya da Google Bard’ı ele alabiliriz. Bence büyük dil modellerini daha iyi anlayabilmek için şu detayı biliyor olmamız gerekiyor: Bu modellerin yaratılmasında görev alan ekiplerde kilit rolü oynayan meslek grubu yazılımcılar değil, “dil bilimci”ler’dir. Bu konuya ilgisi olan herkesin mutlaka bu konuyu araştırmasını tavsiye ederim. Aslında insan ırkı olarak tarihimizi başlatan “dil edinimi” konusunu bugün elde ettiğimiz birikimlerle taklit ediyor ya da aktarıyoruz diyebiliriz.

Büyük Dil Modelleri ve İnsan Irkının Dil Edinimi

İnsan ırkının tarih öncesi dil edinimi, toplulukların yaşadığı çevre, sosyal etkileşim ve kültürel ihtiyaçlar doğrultusunda uzun, evrimsel bir süreçte ortaya çıktı. Bu süreçte diller, deneyim, deneme-yanılma ve nesiller boyunca süregelen etkileşimlerle organik olarak gelişti. Bu sürecin öncesi hakkında şuanki teknoloji ve bilim seviyesiyle bilgi edinemediğimiz için daha çok varsayımlarla tanımlayabiliyoruz.

Yapay zeka tarafında ise geçmişten bugüne tüm bilgiye sahibiz.

Büyük dil modelleri ise, insan dilinin bu zengin ve evrimsel gelişim sürecinden farklı olarak, tamamen bizim sağladığımız yazılı ve sözlü verilerle eğitiliyor. Yani, büyük dil modellerinin “dil edinimi”, insanlık tarihinin organik dil gelişiminden ziyade, bizlerin oluşturduğu sınırlı veri kümesi üzerinden, istatistiksel analiz ve algoritmik yaklaşımla gerçekleşiyor.

LLMSTXT ve Dijital Pazarlama

Gün geçtikçe artan rekabet ortamında ön planda kalabilmek için gelişen her modele uyum sağlamamız gerekiyor. LLMS.TXT de daha önce diğer platformlarda da olsa gelen her güncellemeyi nasıl en iyi şekilde uygulamaya çalıştıysak, en iyi şekilde uygulamamız/kullanmamız gereken bir dosya olarak karşımızda!

LLMS.TXT dosyasını oluşturmanın kısaca bize katkısı, AI destekli arayüzlerde yapılan aramalarda, sunduğumuz bilgi, ürün ya da hizmetleri içeren sayfaların AI modelleri tarafından algılanıp dizinine eklenerek kullanıcıya sunulmasını sağlamasıdır.

Yazımızın devamında, llms.txt dosyasını nasıl oluşturacağımız ve nasıl entegre edeceğimizle alakalı teknik bilgiler yer alıyor olacak.

LLMSTXT Dosyasını Oluşturma

Dosya Hazırlığı

Öncelikle, web sitenizin barındığı sunucunuzun kök dizininde “llms.txt” isimli bir metin dosyası oluşturun. Bu dosyanın yine kök dizininizde bulunan robots.txt ve sitemap.xml(bazı durumlarda) dosyalarının GoogleBot’a yaptığı gibi LLM’lere gerekli talimatları vereceğini söyleyebiliriz.

İçerik Belirleme ve Yapılandırma

LLMSTXT dosyasında, AI sistemlerinin anlamlandırmasını kolaylaştırmak amacıyla; sadece marka kimliğinizi ve sunduğunuz bilgi, ürün ya da hizmetleri en iyi yansıtan sayfaların URL’lerini ve erişim yönergelerini listeleyin. Bu aşamada, https://llmstxt.org/ tarafından önerildiği gibi:

• Gereksiz veya değersiz içerikleri (örneğin, thin content, yönlendirilmiş sayfalar, gizli içerikler) dosyaya eklememeye özen gösterin.
• Dosya içeriğinizin temiz, okunabilir ve düzenli olması, AI sistemlerinin içeriği doğru analiz edebilmesi için kritik önem taşır.

En basit örneği:

# LLMSTXT Örnek Dosyası

https://www.ornek.com/ana-sayfa

https://www.ornek.com/hakkimizda

https://www.ornek.com/urunler

Daha gelişmiş bir örnek:

# LLMSTXT Örnek Dosyası

[page]

url = “https://www.ornek.com/ana-sayfa”

title = “Ana Sayfa”

description = “Markamızın tanıtım sayfası. En güncel haberler, kampanyalar ve duyurular burada yer almaktadır.”

priority = “high”

[page]

url = “https://www.ornek.com/hakkimizda”

title = “Hakkımızda”

description = “Şirketimizin tarihçesi, misyonu ve vizyonu hakkında detaylı bilgiler içerir.”

priority = “medium”

[pdf]

url = “https://www.ornek.com/dokumanlar/brosur.pdf”

title = “Kurumsal Brosür”

description = “Ürün ve hizmetlerimizi anlatan, PDF formatında hazırlanmış kurumsal brosür.”

priority = “high”

[page]

url = “https://www.ornek.com/urunler”

title = “Ürünler”

description = “Ürün portföyümüz, detaylı açıklamalar, teknik özellikler ve kullanım rehberlerini içerir.”

priority = “high”

[page]

url = “https://www.ornek.com/blog”

title = “Blog”

description = “Dijital pazarlama, SEO ve sektör trendleri üzerine güncel yazıların bulunduğu blog sayfası.”

priority = “medium”

Yukarıda [page], [pdf], “url,title,description ve priority” gibi parametreleri de kullandık. Aşağıda kullanılabilecek tüm parametleri açıklamalarıyla birlikte bulabilirsiniz:

Temel Parametreler

• url
  
  • İçeriğin tam adresi.
  • Örnek: url = “https://www.ornek.com/ana-sayfa”
• title
  
  • Sayfanın veya dosyanın başlığı.
  • Örnek: title = “Ana Sayfa”
• description
  
  • İçeriğin kısa ve öz açıklaması; AI modellerinin içeriği daha iyi anlaması için ek bilgi sağlar.
  • Örnek: description = “Markamızın tanıtım sayfası, en güncel haberler ve kampanyalar burada.”
• priority
  
  • İçeriğin önem derecesi; genellikle “high”, “medium” veya “low” gibi değerler kullanılabilir.
  • Örnek: priority = “high”

Ek Parametreler

• lastmod
  
  • İçeriğin son güncelleme tarihi.
  • Örnek: lastmod = “2025-03-01”
• changefreq
  
  • İçeriğin ne kadar sıklıkla güncellendiğini belirten değer (örn. “daily”, “weekly”, “monthly”).
  • Örnek: changefreq = “weekly”
• language
  
  • İçeriğin yazıldığı dilin kodu (örn. “tr” veya “en”).
  • Örnek: language = “tr”
• author
  
  • İçeriğin oluşturulmasında etkili olan yazar veya kaynak bilgisi.
  • Örnek: author = “Firma Adı”
• image
  
  • İçeriğe ait temsilî görselin URL’si.
  • Örnek: image = “https://www.ornek.com/resimler/ana-sayfa.jpg”

Dosya Türüne Özgü Ek Parametreler

• [pdf] Tanımlaması İçin Ek Parametreler:
  
  • filetype
    
    • Dosya türünü belirtir (örneğin “pdf”).
    • Örnek: filetype = “pdf”
  • filesize
    
    • Dosyanın boyut bilgisi (örneğin, KB veya MB cinsinden).
    • Örnek: filesize = “1.2MB”
• veya [image] Gibi Diğer İçerik Türleri İçin:
  
  • duration (video için)
    • Videonun uzunluğu.
    • Örnek: duration = “02:15”
  • format (resim veya video için)
    • Dosya formatı, örn. “jpg”, “mp4”.
    • Örnek: format = “mp4”

LLMSTXT Dosyasını Entegre Etme

Robots.txt ile Bağlantı Kurma

LLMSTXT dosyanızın AI sistemleri tarafından tespit edilebilmesi için, sitenizin robots.txt dosyasına aşağıdaki satırı ekleyin, bunu sitemap.xml için yaptığınız yönlendirme gibi düşünebilirsiniz.

AI-Sitemap: https://www.ornek.com/llmstxt.txt

Bu yönerge, AI tabanlı botların oluşturduğunuz dosyayı bulup sitenizi ona göre anlamlandırmasını sağlayacak.

Herkese Google’da ve diğer arama motoru botlarında olduğu gibi; AI tabanlı arama motoru botlarıyla mücadelede de bol şans!