Web’deki metinlerin, kodların ve görsellerin giderek büyüyen bir kısmı artık yapay zekâ tarafından üretiliyor. İlk bakışta bu bir veri bolluğu gibi görünür. Ama yeni modeller, eskilerin ürettiği içerikle eğitilirse ne olur? Araştırmacıların bu soruya verdiği cevaplardan biri model çöküşü (model collapse).
2024’te Nature dergisinde yayımlanan bir çalışmada (Oxford, Cambridge ve başka üniversitelerden araştırmacılar) bir modelin, önceki modelin ürettiği veriyle ardışık nesiller boyunca eğitilmesinin sonuçları incelendi. Gerçek insan verisi çeşitlidir: sıra dışı ifadeler, nadir gözlemler, beklenmedik hatalar içerir. İstatistik dilinde bunlar dağılımın kuyruğunda yer alır.
Modeller ise çıktı üretirken daha olası olanı öne çıkarma eğilimindedir. Her nesil bir öncekinin çıktısından öğrendiğinde, nadir örnekler giderek daha az temsil edilir ve çeşitlilik daralır.
1. nesil: Gerçek insan verisiyle, çeşitliliğiyle eğitilir.
Üretim: Model, ortalamaya yakın, düzgün çıktılar üretir ve bunlar web’e karışır.
2. nesil: İçinde bu çıktıların da bulunduğu veriyle eğitilir; nadir örneklerin payı azalır.
N. nesil: Eğitim verisi neredeyse yalnızca model çıktılarından oluşursa çeşitlilik ciddi biçimde düşer, çıktılar tekrara ve anlam kaybına kayabilir.
Bir belgenin fotokopisini alıp, o fotokopinin fotokopisini alıp bunu defalarca sürdürdüğünü düşün. Her kopyada ince ayrıntılar biraz daha kaybolur; en sonunda geriye bulanık bir kabaca benzerlik kalır. Model çöküşü bu benzetmenin kaba bir karşılığıdır; benzetme sadece fikri anlatmak içindir, mekanizmanın kendisi değildir.
Rakamlar kavramı göstermek için uydurulmuştur; gerçek bir piyasa verisi değildir.
Özetle: yapay zekânın kendi çıktısıyla beslenmesi gerçek bir araştırma konusu; ama sonuç, nasıl yapıldığına bağlı. Kaynağı belli, doğrulanmış veri hem modeller hem okuyucular için değerini koruyor. Güncel ve özel veriyle çalışmanın bir yolu için RAG yazısına bakabilirsin. Bu yazı teknik veya mali tavsiye değildir.
Yapay zekâ araçlarını ara, ücretsiz planı olanları süz, Türkiye notlarına bak.
Bu yazı genel bilgi amaçlıdır; teknik, hukuki veya mali tavsiye değildir. Şemalar ve örnekler kavramı anlatmak için sadeleştirilmiştir, gerçek ölçüm değildir. Yapay zekâ alanı hızlı değiştiği için ayrıntılar zamanla eskiyebilir.
Merak edilenler
Bir modelin, önceki modellerin ürettiği veriyle ardışık nesiller boyunca eğitilmesi sonucu nadir ve sıra dışı örneklerin kaybolup çıktıların ortalamaya yaklaşması, çeşitliliğin daralmasıdır.
2024’te Nature dergisinde yayımlanan bir çalışmada, Oxford ve Cambridge dahil çeşitli üniversitelerden araştırmacılar bu etkiyi modelleyip gösterdi.
Hayır. Etki, gerçek veri tamamen atılıp yalnızca üretilmiş veriyle devam edildiğinde ortaya çıkıyor. Gerçek veriyi korumak ve sentetik veriyi seçerek kullanmak riski büyük ölçüde azaltabilir.
Hayır. Kontrollü ve filtrelenmiş sentetik veri, geliştiriciler tarafından bilinçli olarak kullanılıyor. Risk, denetimsiz karışım ve gerçek veriden kopmadır.
Kaynağı belli, doğrulanmış bilginin değerini koruması beklenebilir. Bir bilginin nereden geldiğini ve kim tarafından doğrulandığını sorgulamak iyi bir alışkanlıktır. Bu yazı tavsiye değildir.