Büyük Dil Modeli (LLM) nedir?

Büyük dil modeli nasıl çalışır?

Telefonunuzdaki klavyenin bir sonraki kelimeyi önermesini düşünün. "İyi" yazdığınızda "akşamlar" veya "günler" önerir. Büyük dil modeli bu fikrin çok daha gelişmiş bir hâlidir: yalnızca son kelimeye değil, metnin tamamına bakar ve devamı için en uygun parçayı seçer. Bu işlemi kelime parçası kelime parçası tekrarlayarak paragraflar, hatta sayfalar dolusu tutarlı metin üretir.

Süreç kabaca üç aşamadan oluşur:

1. Ön eğitim: Model, kitaplar, web sayfaları ve kod gibi devasa metin derlemlerinde boşlukları tahmin ederek dilin yapısını, olgular arasındaki ilişkileri ve akıl yürütme kalıplarını öğrenir.
2. İnce ayar: Talimatları takip etmesi, yardımcı ve güvenli cevaplar vermesi için örnek sohbetlerle ve insan geri bildirimiyle eğitilir.
3. Kullanım: Kullanıcının yazdığı prompt modele verilir, model yanıtı üretir.

Bilmeniz gereken birkaç kavram

• Token: Modelin işlediği metin birimi. Bir kelime bir veya birkaç token olabilir. Ücretlendirme ve sınırlar genellikle token üzerinden hesaplanır.
• Bağlam penceresi: Modelin tek seferde dikkate alabildiği metin miktarı. Uzun bir sözleşmeyi bir kerede analiz edip edemeyeceğini belirler.
• Bilgi kesim tarihi: Eğitim verisinin bittiği tarih. Model, aksi sağlanmadıkça bu tarihten sonraki olayları bilmez.
• Parametre: Modelin öğrendiği bilgiyi taşıyan sayısal değerler. Sayının fazlalığı tek başına kaliteyi belirlemez.

İşletmeniz için ne anlama gelir?

LLM'ler hazır sohbet asistanları üzerinden doğrudan kullanılabileceği gibi API aracılığıyla kendi yazılımlarınıza da bağlanabilir. Tipik bir kullanım, modeli şirketin kendi belgeleriyle beslemektir. Buna bilgiyle zenginleştirilmiş üretim (RAG) denir: kullanıcı soru sorduğunda sistem önce ilgili belgeleri bulur, sonra bunları modele vererek cevabı bu kaynaklara dayandırmasını ister.

Örneğin Kayseri'de bir beyaz eşya servisi, yüzlerce sayfalık teknik servis kılavuzunu bu yöntemle bir iç asistana bağlıyor. Saha teknisyeni telefondan "Bu model bulaşık makinesinde E24 hatası ne demek?" diye sorduğunda asistan, kılavuzdaki ilgili bölümü bulup özetliyor ve kaynak sayfayı gösteriyor. Teknisyenin her seferinde ofisi araması gerekmiyor.

Güçlü ve zayıf yönleri

Sık yapılan hatalar

• Modelin her söylediğini doğru kabul etmek; LLM'ler akıcı ama yanlış cevaplar üretebilir, bu duruma halüsinasyon denir.
• Gizli müşteri verilerini, kurumsal kullanım koşulları netleşmemiş araçlara girmek.
• Modelin güncel bilgiye eriştiğini varsaymak.
• Tek bir denemede kötü sonuç alınca aracı tamamen bırakmak; talimatın iyileştirilmesi çoğu zaman sonucu değiştirir.

LLM ile chatbot farkı

LLM bir motordur; chatbot ise bu motoru kullanabilen bir araçtır. Her chatbot LLM kullanmaz; bazıları yalnızca önceden hazırlanmış menülerle çalışır. Her LLM de sohbet arayüzüyle sunulmaz; arka planda metin sınıflandırma veya özetleme işlerinde sessizce çalışabilir.