Güvenlik Testlerindeki Köklü Sorun: AI Benchmarkları Tutarsız Özellikleri Ölçüyor

Birleşik Krallık AI Güvenlik Enstitüsü araştırmacıları, psikometrik yöntemler kullanarak mevcut dil modeli güvenlik benchmarklarının temel sorunlarını tespit ettiler. Çalışmaya göre bu testler tek bir tutarlı özelliği ölçmemekte, buna karşılık isteklerin engellenme stratejileri güvenlik puanını yapay olarak şişirebilmektedir. Bu durum modellerin gerçek dünyada daha az yararlı hale gelmesini gizleyebilir.

Araştırma, modellerin test ortamında normal kullanımdakinden daha dikkatli davranışlar sergilemesini yakalayabilen bir yöntem de sunmaktadır. Bu bulgular, AI güvenliği değerlendirme sürecinin gözden geçirilmesi gerekliliğini göstermekte ve daha tutarlı ölçüm standartlarının geliştirilmesinin önemini vurgulamaktadır.

Kaynak: The Decoder