Tether AI Araştırma Grubu, KV Cache belleğini beş kata kadar sıkıştıran TurboQuant algoritmasını açık kaynaklı hale getirdi. Teknoloji, dizüstü bilgisayarlar, akıllı telefonlar ve tüketici sınıfı GPU'larda çalışan yapay zeka modellerinin bellek ayak izini önemli ölçüde azaltırken model performansını büyük oranda koruyuyor.
Yapay zeka asistanlarının yerel cihazlarda çalışmasının önündeki temel engel, konuşma ilerledikçe büyüyen KV Cache belleğidir. 262 bin token uzunluğunda yaklaşık 32 GB bellek kapasitesi gerektiren dört eşzamanlı oturum, TurboQuant sayesinde çok daha düşük donanım gereksinimleriyle mümkün hale geliyor. Tether, algoritmasını QVAC Fabric altyapısıyla entegre ederek yaygın yapay zeka çerçeveleriyle uyumlu tam optimizasyon paketini sunuyor.
Teknoloji sayesinde kullanıcılar hassas veriler, hukuki belgeler ve araştırma raporları gibi geniş dosyaları bulut desteği olmadan cihazda işleyebiliyor. Bu, gizlilik ve veri güvenliğinin kritik olduğu senaryolarda yapay zekanın yerel çalışmasını pratik hale getiriyor.
