Yapay zekâ yarışında en çok öne çıkarılan rakamlardan biri bağlam penceresidir: 8 bin token ile başlayan süreç yüz binlere, ardından milyonlara çıktı. Bir kitabı ya da koca bir kod deposunu tek seferde modele verebilmek ilk bakışta büyük bir sıçrama gibi durur.
Ama pencerenin büyümesi, bir bellek alanının büyümesidir; zekânın değil. Burada bu farkı, abartmadan ve “şunu kullan” demeden açıyoruz.
Bir dil modeli metni token adı verilen parçalara bölerek okur. Bağlam penceresi, modelin tek bir istekte aynı anda “önünde tutabildiği” toplam token sayısıdır: senin sorun, eklediğin belgeler, önceki konuşma ve modelin yazacağı cevap bu sınırın içine sığmak zorundadır.
Dil modellerinin kalbindeki dikkat (attention) mekanizması, girdideki parçaların birbiriyle ilişkisini tartar. Teorik olarak hesaplama maliyeti girdi uzadıkça hızla artar; mühendislik yöntemleri bunu hafifletir ama dikkat yine de “sınırsız” bir kaynak gibi davranmaz.
2023’te Stanford, UC Berkeley ve Samaya AI araştırmacılarının yayımladığı “Lost in the Middle” çalışması, o dönemin modellerinde şu örüntüyü gözlemledi: ilgili bilgi uzun girdinin başında veya sonunda olduğunda performans yüksek, ortasında olduğunda belirgin biçimde düşüktü.
“Samanlıkta iğne” (needle in a haystack) testleri, modelin uzun bir metne gizlenmiş tek bir cümleyi bulup bulamadığını ölçer. Birçok güncel model bu basit testte çok başarılı sonuçlar veriyor. Ancak bir bilgiyi bulmak, o bilgiyi diğer bilgilerle birleştirip sonuç çıkarmakla aynı iş değildir.
Bir sözleşme setinde birbiriyle çelişen iki madde olduğunu düşün: biri baştaki bir belgede, diğeri çok sayfalık bir belgenin ortasında.
Hepsini tek bir uzun girdiye koyup “çelişki var mı?” diye sormak, modelden iki işi birden istemektir: önce iki maddeyi bulmak, sonra karşılaştırmak. Aynı iki maddeyi yan yana, kısa bir girdide verirsen model yalnızca karşılaştırma işine odaklanır. Hangi yolun daha iyi sonuç vereceği göreve ve modele göre değişir; ikisini de denemek akıllıcadır.
Rakamlar kavramı göstermek için uydurulmuştur; gerçek bir piyasa verisi değildir.
Bağlama eklenen her alakasız metin, modelin dikkatini bölme riskini artırır. Bunu bir benzetmeyle şöyle düşünebilirsin:
Yani mesele modele “her şeyi göstermek” değil, doğru parçayı doğru yerde göstermek.
Önemli bilgiyi başa veya sona koy. Soruyu ve kritik kısıtları belgenin ortasına gömme.
Gereksizi ele. Soruyla ilgisiz bölümleri çıkar ya da kısa bir özetle değiştir.
Büyük işi parçala. Uzun belgeyi bölümlere ayırıp her bölümü ayrı sor, sonra sonuçları birleştir. Otomatik hâli için RAG yazısına bak.
Cevabı kaynağa karşı doğrula. Modelin “şu maddede yazıyor” dediği yeri belgeden kendin kontrol et (bkz. Otomasyon Yanılgısı).
Maliyeti ve süreyi hesaba kat. Uzun girdi çoğu zaman daha yavaştır ve kullandığın hizmette daha pahalı olabilir.
Özetle: büyük bağlam penceresi değerli bir araçtır, ama akıl yürütmenin yerine geçmez. Bu yazı teknik veya mali tavsiye değildir; hangi yöntemin işine yaradığını kendi görevinde deneyerek görmek en sağlamıdır.
Aynı metni birkaç modele verip cevapların nasıl farklılaştığını yan yana görebilirsin. Her mesaj gelişmiş kullanım hakkından düşer.
Bu yazı genel bilgi amaçlıdır; teknik, hukuki veya mali tavsiye değildir. Şemalar ve örnekler kavramı anlatmak için sadeleştirilmiştir, gerçek ölçüm değildir. Yapay zekâ alanı hızlı değiştiği için ayrıntılar zamanla eskiyebilir.
Merak edilenler
Bir dil modelinin tek bir istekte aynı anda önünde tutabildiği toplam metin miktarıdır; token adı verilen parçalarla ölçülür. Senin sorun, eklediğin belgeler, önceki konuşma ve modelin cevabı bu sınırın içine sığmalıdır.
Hayır, modelin daha çok metni görebilmesini sağlar; akıl yürütme kalitesini kendiliğinden artırmaz. Uzun ve gürültülü girdilerde performans düşebilir; bu yüzden pratikte önemli bilgiyi seçmek ve düzenlemek gerekir.
2023’te Stanford, UC Berkeley ve Samaya AI araştırmacılarının yayımladığı bir çalışmada, o dönem test edilen modellerin uzun girdilerde başta ve sondaki bilgiyi ortadakinden daha iyi kullandığı gözlemlendi. Yeni modellerde etki azaldı ama her durumda kaybolmuş değil.
Uzun bir metne gizlenmiş tek bir bilgiyi bulup bulamadığını ölçer. Bilgiyi bulmak, onu diğer bilgilerle birleştirip sonuç çıkarmakla aynı şey değildir; bu yüzden test tek başına akıl yürütmeyi göstermez.
Önemli bilgiyi başa veya sona koy, gereksiz bölümleri çıkar, büyük işi parçalara böl ve modelin cevabını kaynağa karşı doğrula. Bu yazı teknik tavsiye değildir.