Çoklu çip AI: Maliyet, bellek ve ağ darboğazı

Çoklu çip AI çıkarımı, bir modelin veya ajanın bütün iş akışını tek tip GPU’da çalıştırmak yerine aşamaları CPU, GPU ve uzmanlaşmış hızlandırıcılar arasında bölüştüren sistem yaklaşımıdır. Doğru iş doğru donanıma verildiğinde pahalı hesaplama kaynaklarının boş yere tutulması önlenebilir ve istek başına maliyet düşebilir.

Bu kazanç otomatik değildir. Uzun bağlamlarda büyüyen KV önbelleğinin saklanması, tekrar okunması ve çalışanlar arasında taşınması nedeniyle darboğaz işlem gücünden bellek kapasitesine, bellek bant genişliğine ve ağa kayabilir; hesaplamada sağlanan tasarruf aktarım gecikmesi ve operasyon yüküyle kaybedilebilir.

Çoklu çip çıkarım nasıl çalışır?

Bir AI ajanı yalnızca modele gönderilen istemden ve üretilen yanıttan oluşmaz. Belge erişimi, veri ayrıştırma, veritabanı sorguları, kod yürütme, araç çağrıları ve doğrulama da aynı isteğin parçalarıdır. Intel’in heterojen orkestrasyon açıklamasına göre token üretimi tipik olarak GPU’larda, modelin çevresindeki erişim ve koordinasyon işleri ise CPU’larda yürütülür.

Orkestrasyon katmanı bu görevleri uygun çalışan havuzlarına yönlendirir, bağımlılıkları takip eder ve ara durumun nerede saklanacağını belirler. Böylece bütün sunucuları aynı hızlandırıcı oranıyla büyütmek yerine hesaplama, bellek ve giriş-çıkış kaynakları ayrı ayrı ölçeklenebilir. Karşılığında zamanlama, hata yönetimi, sürücü uyumluluğu ve gözlemlenebilirlik daha karmaşık hale gelir.

Tipik bir ajan isteğinde görev dağılımı

Bir araştırma ajanı isteğinin veri erişimi, prefill, token üretimi, araç çağrısı ve doğrulama aşamalarında CPU ile hızlandırıcılara dağıtılması

Uzun bir şirket raporunu inceleyip harici verilerle karşılaştıran koşullu bir araştırma ajanında akış şöyle ayrıştırılabilir:

Veri erişimi: CPU çalışanı dosyayı açar, metni ayrıştırır ve arama ya da veritabanı servisiyle konuşur. Burada depolama gecikmesi, ağ erişimi ve seri veri işleme kapasitesi öne çıkar.
Bağlam hazırlama ve prefill: Talimatlar, belgeler ve araç tanımları token’lara dönüştürülerek modele yüklenir. Büyük ölçüde paralel matris işlemleri içeren bu aşama yüksek hesaplama kapasitesinden yararlanır.
Decode: Yanıt sırayla, token token üretilir. Model ağırlıkları ve büyüyen KV önbelleği tekrar tekrar okunduğu için bellek bant genişliği belirleyici olabilir.
Araç çağrısı: Ajan bir API’ye, kod sürecine veya kurumsal sisteme gider. Oturum durumu korunabilirse hızlandırıcı dış yanıtı beklerken başka bir isteğe hizmet verebilir.
Doğrulama ve yeni tur: Sonuç kontrol edilir, yeni veri bağlama eklenir ve gerekirse model yeniden çalıştırılır. Her tur işlenecek bağlamı ve korunacak ara durumu büyütebilir.

Bu dağılım, bütün CPU işlerinin ucuz veya bütün GPU işlerinin hızlı olduğu anlamına gelmez. Önemli olan her aşamanın tek başına çalışma süresi değil, uçtan uca isteğe eklediği kuyruk, veri hareketi ve kapasite yüküdür.

Prefill ve decode ayrımı neden yeni darboğaz yaratıyor?

Uzun bağlamlı çıkarımda prefill ve decode havuzları arasında taşınan KV önbelleğinin bellek ile ağ yükünü artırması

Prefill giriş token’larını paralel işler ve çoğunlukla hesaplama yoğundur. Decode ise sıralı ilerler; her yeni token önceki duruma bağlı olduğundan ağırlıkları ve KV önbelleğini sürekli okur. Gimlet Labs’in çoklu silikon mimarisi açıklaması, bu iki aşamanın farklı cihaz havuzlarında çalıştırılabildiğini ve iş yükü parçalarının GPU, CPU, belleğe yakın hesaplama ile veri akışı mimarileri arasında dağıtıldığını belirtiyor.

Ayrıştırma, uzun girdiler ile uzun çıktılar için aynı donanım oranını satın alma zorunluluğunu azaltabilir. Ancak prefill sırasında oluşturulan KV önbelleğinin decode çalışanına ulaştırılması gerekir. Bu aktarım yavaşsa ilk token gecikir; decode çalışanı önbelleği bekliyorsa ek hesaplama kapasitesi beklenen faydayı sağlamaz.

29 Ocak 2026’da sunulan heterojen ajan çıkarımı çalışması, uzun bağlamlı KV önbelleğinin decode aşamasını bellek açısından yoğunlaştırdığını; bellek kapasitesi, bant genişliği ve yüksek hızlı bağlantının hesaplama dışındaki başlıca sınırlar olduğunu ortaya koyuyor. Dolayısıyla “yeni darboğaz”, her kurulumda GPU’nun önemini yitirmesi değil, yeterli hesaplama sağlandıktan sonra performans sınırının ara durumun saklanmasına ve taşınmasına kayabilmesidir.

Maliyet hangi koşullarda düşer?

Fayda, farklı aşamaların kaynak talepleri belirgin biçimde ayrıştığında ortaya çıkar. Girdileri uzun, çıktıları kısa bir hizmet daha fazla prefill kapasitesi isterken kısa istemlerden uzun yanıt üreten bir hizmet daha büyük decode havuzuna ihtiyaç duyabilir. Tek tip kümede iki havuzu birlikte büyütmek, kullanılmayan hesaplama veya yetersiz bellek için ödeme yapılmasına yol açabilir.

Gerçek maliyet hesabı yalnızca çip fiyatına dayanamaz. Enerji, bellek, ağ anahtarları, veri aktarımı, boşta kalan kapasite, yazılım entegrasyonu ve operasyon ekibinin yükü aynı istek başına toplam maliyete dahil edilmelidir. Gimlet’in yayımladığı performans ve verimlilik sonuçları şirketin kendi bulutuna ilişkin iddialardır; farklı model, trafik dağılımı ve veri merkezi topolojisine doğrudan genellenemez.

Düşük trafik, kısa bağlam veya sıkı tek-istek gecikmesi hedeflerinde ek ağ sıçraması ile kuyruklama, donanım tasarrufunu aşabilir. Donanım çeşitliliği ayrıca derleyici ve çalışma zamanı desteğini, hata ayıklamayı ve kapasite planlamasını zorlaştırır. Taşınabilirlik gerekiyorsa modelin hedeflenen arka uçlarda kabul edilebilir doğruluk ve sayısal davranışı koruduğu da sınanmalıdır.

Altyapı alımında hangi ölçüler belirleyici?

Karar üretim trafiğinin giriş ve çıkış uzunluğu dağılımına dayanmalıdır. İlk token süresi, token başına gecikme ve toplam istek süresi; GPU kullanımıyla birlikte HBM veya DRAM kapasitesi, bellek bant genişliği, KV önbellek kullanımı, ağda taşınan veri ve araç yanıtını bekleme süresiyle değerlendirilmelidir.

Prefill ve decode aynı cihazdayken birbirini ne kadar bekletiyor?
KV önbelleğini başka bir düğüme taşımanın gecikme ve enerji bedeli nedir?
Her havuz bağımsız büyütüldüğünde hizmet seviyesi hedefi korunuyor mu?
Donanım tasarrufu orkestrasyon, operasyon ve sağlayıcı bağımlılığı maliyetinden büyük mü?

Ağ bu hesapta yardımcı bileşen değil, bağımsız bir kapasite kalemidir; GPU kümelerindeki ağ darboğazı da ölçek büyüdükçe bağlantı katmanının neden ayrı planlanması gerektiğini gösterir. Çoklu çip mimarisi, ancak aşama bazındaki kazanım veri taşıma ve işletim bedelinden büyükse maliyeti düşürür.

Ayrıca okuyun:

Çoklu çip AI maliyeti düşürebilir; yeni darboğaz bellek ve ağda