Haiku 5.5 ve GPT-6 Luna: uzun bağlam maliyeti

Yüksek hacimli özetleme ve sınıflandırmada Claude Haiku 5.5’in 100 bin token eşiği ile GPT-6 Luna’nın 272 bin token eşiği, aynı taban tarifeden başlayan iki model arasında uzun istemlerde Luna’yı maliyet açısından ilk aday yapıyor. Her ikisinin temel fiyatı milyon giriş tokenı başına 0,10 dolar, milyon çıkış tokenı başına 0,50 dolar; eşikler aşıldığında ise farklı oranlar devreye giriyor.

Kalite gereksinimi kararı değiştirebilir. Artificial Analysis karşılaştırmasında Haiku 5.5 azami çabada 43, Luna 38 Intelligence Index puanına ulaşıyor; ortak 38 puan düzeyinde ölçülen görev maliyeti sırasıyla 0,08 ve 0,07 dolar. Luna’nın ulaştığı kalite yeterliyse görev maliyetinde avantajı var. Haiku’nun daha yüksek puan tavanı ise ek maliyetin karşılığını veren işler için anlamlı.

Uzun istemde ücret nasıl değişiyor?

Haiku 5.5’te giriş 100 bin tokenı geçtiğinde milyon giriş tokenı fiyatı 0,50 dolara, milyon çıkış tokenı fiyatı 2,50 dolara yükseliyor. GPT-6 Luna’da 272 bin giriş tokenı aşıldığında giriş fiyatı iki katına, çıkış fiyatı bir buçuk katına çıkıyor: oranlar sırasıyla 0,20 ve 0,75 dolar oluyor. Dolayısıyla iki eşik arasında Haiku yüksek, Luna temel tarifeden ücretlendiriliyor.

Bu artışları, yalnızca sınırın üzerindeki tokenlara eklenen bir bedel gibi hesaplamak yanlış sonuç verir. Fiyat, istemin toplam uzunluğuna göre seçiliyor ve o isteğin giriş ile çıkış tokenlarına uygulanıyor. Tam sınırdaki istem temel tarifede kalırken sınırı az miktarda aşan çağrının tamamı yüksek tarifeye geçiyor. Uzun belge özetleyen veya konuşma geçmişini alt ajana gönderen bir uygulamada tek çağrının maliyeti bu nedenle keskin biçimde değişebilir.

Aynı token yükünde dört çağrının bedeli

Aşağıdaki tutarlar koşullu bir hesap. Her çağrıda belirtilen miktarda önbelleğe alınmamış giriş tokenı ve 1.000 çıkış tokenı varsayılıyor; araç kullanımı, toplu işlem indirimi ve bölgesel ek ücret hesaba katılmıyor. Böylece yalnızca iki standart tarifenin aynı token sayısına etkisi görülüyor. Rakamlar, modellerin belirli bir belgeyi işlerken gerçekten aynı sayıda token kullanacağını veya aynı kalitede yanıt vereceğini varsaymıyor.

10 bin giriş tokenı: Haiku 5.5 ve Luna için çağrı başına 0,0015 dolar. İki istem de temel tarifede; giriş bedeli 0,001 dolar, çıkış bedeli 0,0005 dolar.
100 bin giriş tokenı: İki model için de 0,0105 dolar. Haiku’da yüksek tarife sınır aşıldığında başladığından tam bu uzunlukta eşitlik sürüyor.
200 bin giriş tokenı: Haiku için 0,1025 dolar, Luna için 0,0205 dolar. Haiku’nun tüm çağrısı yüksek tarifeye geçerken Luna temel tarifede kalıyor; bu varsayımsal yükte fark tam beş kat.
300 bin giriş tokenı: Haiku için 0,1525 dolar, Luna için 0,06075 dolar. Luna da yüksek tarifeye geçmiş olsa bile Haiku’nun hesaplanan çağrı bedeli yaklaşık iki buçuk katına ulaşıyor.

Çıkış miktarı örnekte sabit tutulduğu için farkın büyük bölümü giriş tarifesinden geliyor. Gerçek bir alt ajan görevi daha uzun yanıt üretiyor veya muhakeme için daha çok çıktı tokenı tüketiyorsa çıkış bedelinin payı büyür. Ayrıca aynı metnin token sayısı kullanılan modele ve belirteçleyiciye göre değişebilir. Bu hesap, eşit token yükü için fiyat karşılaştırmasıdır; eşit uzunlukta metin ya da tamamlanmış görev başına fatura tahmini değildir.

Ortak kalite düzeyinde görev maliyeti

Bağımsız endekste çaba ayarlarını adlarına bakarak eşlemek doğru bir kalite karşılaştırması vermiyor. Haiku’nun yüksek ayarı ile Luna’nın azami ayarı 38 puanda buluşuyor; ölçülen görev başına maliyet Haiku’da 0,08, Luna’da 0,07 dolar. Haiku’nun orta ayarı 34 puana 0,05 dolarla ulaşırken Luna’nın çok yüksek ayarı 35 puana 0,04 dolarla ulaşıyor. Bunlar aynı Türkçe özetlerin karşılaştırmalı doğruluk oranları değil, farklı görevlerden oluşan endeksin puanları ve maliyetleri.

Haiku’nun çok yüksek ve azami ayarları sırasıyla 41 ve 43 puan üretiyor; bunların görev maliyeti 0,12 ve 0,21 dolar. Luna’nın ölçülen en yüksek düzeyi 38 puan olduğundan daha yüksek endeks puanı isteyen işte Haiku’nun karşılığı bulunmuyor. Buna karşılık sınıflandırma veya kısa özet için yeterli kaliteye Luna ulaşıyorsa Haiku’nun en yüksek ayarının maliyetini ödemek, yalnızca puan tavanına bakarak gerekçelendirilemez.

Endeksin görev maliyeti, sabit uzunluk hesabından ayrı okunmalı. Endeks farklı değerlendirmelerde tüketilen giriş, önbellek, muhakeme ve yanıt tokenlarının ağırlıklı maliyetini veriyor. Yukarıdaki dört çağrı ise her modelin aynı miktarda giriş ve çıkış tokenı kullandığı varsayımına dayanıyor. Birincisi ölçülen görevlerdeki tüketimi, ikincisi uzun bağlam fiyat eşiğinin etkisini gösteriyor; endeksin dolar tutarlarını 200 bin tokenlık örneğe doğrudan taşımak mümkün değil.

Hızlı çıktı, erken başlayan yanıt demek değil

En yüksek çaba ayarındaki ölçümde Haiku saniyede 240, Luna 126 çıktı tokenı üretiyor. Fakat ilk token Haiku’da yaklaşık 295, Luna’da yaklaşık 99 saniyede geliyor. Kullanıcının yanıtı görmeye başlaması gereken bir akışta ilk token süresi, yanıt başladıktan sonraki akış hızından daha önemli olabilir. Toplu çalışan ve sonucu daha sonra kullanan bir özetleme sisteminde ise tamamlanan işin maliyeti ve toplam süresi öne çıkar.

Bu hızlar seçilen çaba düzeyine de bağlı. Haiku’nun orta ayarında ilk token yaklaşık 13,4 saniyede, Luna’nın düşük ayarında yaklaşık 2,83 saniyede geliyor; bu iki ayar aynı endeks puanını üretmiyor. Haiku’da çaba ve düşünme ayarları yanıtın uzunluğunu ve maliyetini etkiliyor. Bu nedenle yalnızca saniyedeki token hızına bakmak, kullanıcıya görünen bekleme süresini veya bir görevin toplam bedelini açıklamıyor.

İş yüküne göre seçim

Kısa, sık tekrarlanan çağrılarda iki modelin temel token fiyatı eşit olduğu için seçim gerekli kalite düzeyine ve görev başına tüketime dayanıyor. Luna yeterli sonucu veriyorsa bağımsız ölçümde ortak puan düzeylerine daha düşük maliyetle ulaşıyor. Daha zor bir alt ajan işi Haiku’nun daha yüksek puan tavanından yararlanıyorsa yüksek çaba ayarının ek bedeli değerlendirilebilir; bu endeks sonucu, belirli bir ürünün Türkçe veri kümesindeki başarısının yerine geçmez.

Uzun belgelerde veya geniş ajan geçmişlerinde istemin eşiği hangi tarafta geçtiği belirleyici. 100 bin ile 272 bin giriş tokenı arasındaki çağrılarda aynı token yükü Haiku’da yüksek, Luna’da temel tarifeyle fiyatlanıyor. Daha büyük çağrılarda ikisi de yüksek tarifeye geçiyor, fakat Luna’nın artışı daha düşük kalıyor. Bütçeyi ortalama çağrı uzunluğuyla hesaplamak yerine eşikleri aşan çağrıların payını ve bunların çıkış tokenlarını hesaba katmak, bu iki API seçeneği arasındaki gerçek maliyet farkını ortaya çıkarır.

Ayrıca okuyun: