Google araştırmacıları kendi kendini geliştiren AI ajanlarının test verilerini ezberlemesini engelleme yöntemini geliştirdi

Kendi Kendini Geliştiren AI Ajanlarında Overfitting Sorunu

Öz-gelişim yapan yapay zeka ajanları geliştirilirken karşılaşılan önemli bir sorun, bu sistemlerin eğitim ve test görevlerini ezberlemesi sonucunda yeni görevlerdeki performanslarının düşmesidir. Araştırmalar, bu tür ajanların belirli test görevlerine özel olarak ayarlanması durumunda, benzeri ancak daha önce görmediği görevlerde başarı oranının önemli ölçüde düştüğünü göstermişti.

RRSI Yönteminin Tasarımı ve İşleyişi

Google araştırmacıları tarafından geliştirilen RRSI (Regularized Self-Improvement) yöntemi, bu overfitting eğilimini kontrol altına almak amacıyla tasarlanmıştır. Yöntem, öz-gelişim sürecinde yapay zeka modelinin öğrenme dinamiklerini düzenleştirerek, test verilerine aşırı uyum sağlamasını önlemektedir.

Performans Metrikleri ve Verimlilik Kazanımları

RRSI uygulanmış ajanlar, daha önce hiç görmediği test görevlerinde 4,7 puan oranında başarı artışı sağlamaktadır. Aynı zamanda, düzenleme mekanizması sayesinde model eğitiminde kullanılan token sayısı regularizasyon olmayan versiyonla kıyaslandığında yaklaşık yüzde 30 azaltılmıştır. Bu, hem performans iyileştirmesi hem de hesaplama verimliliği açısından önemli bir kazanımı temsil etmektedir.

Genelleme Yeteneğinin Güçlendirilmesi

RRSI yöntemi sayesinde, kendini geliştiren AI ajanlarının genelleme yeteneği (generalization capacity) artmaktadır. Bu, modellerin eğitim sırasında karşılaştıkları belirli görevlere bağlı kalmak yerine, daha geniş bir görev yelpazesine uyum sağlayabilir hale gelmesi anlamına gelmektedir. Sonuç olarak, bu tür sistemler gerçek dünya uygulamalarında daha güvenilir ve adaptif davranış sergileyebilmektedir.

Kaynak: The Decoder