Amazon Web Services (AWS), kurumsal yapay zeka uygulamalarında çıkarım hızını artırmak ve optimize etmek için tasarlanmış tam katmanlı bir altyapı geliştirmesini sundu. Yatırım, geleneksel eğitim harcamalarının yerini alan, giderek büyüyen çıkarım altyapısı ihtiyacına karşılık verilecek.
AWS, özel tasarım Trainium silikon, birleşik ağ çerçevesi ve Project Mantle adlı akıllı yönlendirme teknolojisini bir araya getirerek kurumsal seviyedeki yapay zeka sistemlerini hızlandırmayı amaçlıyor. Yeni Trainium3 çipleri, zorlayıcı iş yüklerinde yüzde 40'a varan maliyet tasarrufu sunacak şekilde optimize edildi.
Bir üretken yapay zeka asistanının yanıt vermesi, arka planda dört aşamalı bir teknik süreci kapsar: tokenizasyon (5-10 ms), prefill (10-100 ms), decode (100-1000+ ms) ve detokenizasyon. MIT Technology Review verilerine göre, yapay zekanın kullanıdığı toplam bilgi işlem gücünün yüzde 80-90'ını çıkarım işlemleri oluşturuyor. AWS, modern yapay zeka aracılarının karmaşık, çok adımlı iş akışlarını koordine etmesi gerektiğinden, optimize edilmiş çıkarım altyapısının kritik hale geldiğini belirtiyor.
