PrismML İncelemesi: Cihaz Üzerinde Çalışan Büyük Dil Modellerinin Geleceği

#Quasa #QUA #prismml

PrismML, ABD merkezli, Caltech kökeni güçlü bir yapay zekâ araştırma şirketidir ve kritik bir zorluğa odaklanır: modellerin boyutunu veya karmaşıklığını artırmadan zekâlarını nasıl katlayabiliriz? Şirketin çözümü, çok daha az bellek, enerji ve hesaplama kaynağı kullanırken güçlü performans sunan, son derece yoğun ve yüksek oranda sıkıştırılmış modellerdir.

Şirketin amiral gemisi ürünü Bonsai 27B, 1-bit (yalnızca 3.9 GB) ve üçlü (5.9 GB) sürümleri bulunan, 27 milyar parametreli bir modeldir. Bu, bu ölçekteki bir modelin doğrudan akıllı telefonlarda ve dizüstü bilgisayarlarda çalışmasını sağlar — bu, standart tam hassasiyetli modellerle daha önce mümkün değildi. PrismML, 1-bit sürümün geleneksel 16-bit modellere kıyasla 14× daha az bellek kullandığını, 8× daha hızlı çalıştığını ve 5× daha az enerji tükettiğini; aynı zamanda çok adımlı akıl yürütmeyi, araç çağırmayı, ajan tabanlı iş akışlarını ve çok modlu anlamayı desteklemeye devam ettiğini belirtiyor.

Şirketin temel felsefesi “zekâ yoğunluğu” — yalnızca parametre sayısını artırmak yerine bit başına yararlı zekâyı en üst düzeye çıkarmaktır. Bu yaklaşım, iki büyük sorunu aynı anda çözmeyi amaçlar: kişisel cihazlara sığmayan büyük modeller ve devasa veri merkezlerinin sürdürülemez enerji ihtiyaçları.

PrismML; güçlü yapay zekânın yüksek gizlilik, düşük gecikme ve yüksek enerji verimliliğiyle yerel olarak çalışmasını isteyen geliştiriciler, donanım üreticileri, araştırmacılar ve şirketler için idealdir.

Öne Çıkanlar

• Dünya standartlarında 1-bit ve üçlü sıkıştırma (Bonsai ailesi).
• Bonsai 27B telefonlarda çalışır ve yalnızca ~4 GB kullanır.
• Bellek, hız ve enerji verimliliğinde önemli kazanımlar.
• Cihaz üzerinde akıl yürütmeyi, araç kullanımını ve çok modlu yetenekleri destekler.
• Caltech'ten gelen güçlü araştırma temeli.

Dikkate Alınması Gereken Olası Noktalar

• Nispeten yeni bir teknoloji olduğu için ekosistem desteği ve ince ayar araçları hâlâ gelişmektedir.
• Şu anda en iyi sonuçlar, modern ve üst düzey mobil cihaz ve dizüstü bilgisayar donanımlarında görülmektedir.

Genel Değerlendirme: 4.6/5 yıldız

PrismML, şu anda yapay zekânın en önemli sınırlarından birini ileri taşıyor — büyük modelleri günlük cihazlarda pratik olarak kullanılabilir hâle getiriyor. Şirket, salt boyut yerine zekâ yoğunluğuna odaklanarak güçlü yapay zekânın buluttan uç cihazlara taşınmasına anlamlı bir katkı sağlıyor.

Siz de Quasa.io'da değerlendirme yaparak QUA ödülü kazanın!

Başlayın: https://quasa.io/projects/prismml