Popüler büyük dil modelleri (LLM) belirli görevleri yerine getirirken tekrarlanan, öngörülebilir yanıtlar sunmaktadır. Claude, ChatGPT ve Gemini gibi chatbotlara "1 ile 10 arasında rasgele bir sayı ver" talimatı verildiğinde, modeller üstün olasılıkla aynı yanıtları (genellikle 7) tekrarlamaktadır. İkinci ve üçüncü sorularda da bu kalıp değişse bile, belirli sayıların overweight edildiği gözlenmektedir.\n\nBu fenomen, LLM'lerin eğitim veri dağılımı ve yapısal tasarımından kaynaklanan derinlemesine bir sorundur. Modeller, eğitim sırasında görülen frekans dağılımlarına yaklaşma eğilimi göstermektedir; bu da onları gerçekten stokastik davranışlar yerine deterministik veya yarı-deterministik çıktılar üretmeye iter.\n\nBu sorunu çözmek için çalışan girişimler, LLM mimarisinin önyargı kaynakları üzerine odaklanmaktadır. Çözüm önerileri, çıktı sampling stratejileri ve eğitim metodolojilerinin iyileştirilmesini içermektedir.