Jalapeño mengklaim 1,9 kali lebih efisien dari sistem Nvidia

Pada 25 Agustus 2026, OpenAI menerbitkan hasil benchmark pertama untuk Jalapeño, chip inferensi khususnya. Dalam hasil resmi pengujian InferenceX, sistem Jalapeño menghasilkan throughput puncak per kilowatt 1,5–1,9 kali lebih tinggi dan latensi ujung ke ujung 1,7–3,6 kali lebih rendah daripada konfigurasi Nvidia GB200 atau GB300 yang dipasangkan dengan tiga model terbuka.

Angka 1,9 kali dalam judul adalah hasil terbaik pada GPT‑OSS 120B, bukan rata-rata ataupun keunggulan universal. Hasil ini berasal dari benchmark yang disiapkan OpenAI pada silikon tahap awal; Jalapeño belum menjadi pengganti umum bagi sistem Nvidia dan belum diluncurkan sebagai produk untuk pelanggan luar.

• GPT‑OSS 120B: Jalapeño mencapai 85.448 mixed token per detik per kilowatt, dibandingkan 44.960 pada GB200. Latensi ujung ke ujung tercatat 1,03 detik berbanding 1,80 detik.
• DeepSeek R1 670B: hasilnya 19.641 berbanding 11.781 mixed token per detik per kilowatt melawan GB300, dengan latensi 1,65 detik berbanding 5,99 detik.
• Kimi K2.5 1T: Jalapeño mencatat 18.195 berbanding 11.862 mixed token per detik per kilowatt melawan GB300. Latensinya 1,56 detik berbanding 5,31 detik.

Keunggulan 1,9 kali hanya berlaku pada satu beban

Perbedaan hasil antarmodel menunjukkan mengapa klaim efisiensi perlu dibaca bersama kondisi pengujiannya. Pada GPT‑OSS 120B, perbandingan throughput per kilowatt menghasilkan rasio sekitar 1,9 kali; pada DeepSeek R1 angkanya sekitar 1,7 kali, sedangkan pada Kimi K2.5 sekitar 1,5 kali.

Semua hasil utama memakai beban nominal 8.000 token masukan dan 1.000 token keluaran serta single-token prediction. Jalapeño dibandingkan dengan GB200 untuk GPT‑OSS dan GB300 untuk dua model lainnya. Dengan demikian, benchmark tidak mengukur satu lawan yang sama pada seluruh model, juga tidak membuktikan bahwa keunggulan tersebut akan bertahan pada setiap ukuran konteks, tingkat konkurensi, atau metode decoding.

Latensi memperlihatkan pola berbeda dari throughput. Selisih terbesar muncul pada DeepSeek R1, tempat waktu ujung ke ujung Jalapeño sekitar 3,6 kali lebih rendah; pada Kimi K2.5 sekitar 3,4 kali, sedangkan pada GPT‑OSS sekitar 1,7 kali. Artinya, hasil terkuat untuk efisiensi dan hasil terkuat untuk latensi berasal dari model yang berbeda.

Metode daya menentukan arti “lebih efisien”

Perhitungan utama menormalisasi throughput berdasarkan rating daya paket yang dipublikasikan: 700 watt untuk Jalapeño, 1.200 watt untuk GB200, dan 1.400 watt untuk GB300. OpenAI menyatakan konsumsi berkelanjutan Jalapeño tidak melampaui 550 watt dalam beban yang diuji, tetapi tetap memakai rating 700 watt agar dasar perbandingan antar-akselerator konsisten.

Throughput per kilowatt pada level paket bukan pengukuran seluruh listrik yang masuk ke pusat data. Konsumsi host, jaringan, pendinginan, konversi daya, dan komponen rak lain dapat mengubah hasil pada tingkat sistem. Karena itu, angka dalam judul menggambarkan efisiensi komputasi pada metodologi InferenceX, bukan penghematan tagihan listrik pusat data sebesar 1,9 kali.

Teknik decoding juga berpengaruh. Perbandingan utama memasangkan single-token prediction pada kedua sisi, sedangkan sistem Nvidia dalam produksi dapat memakai multi-token prediction. Konfigurasi alternatif semacam itu dapat meningkatkan throughput Nvidia dan mempersempit selisih, sehingga hasil utama tidak dapat dipindahkan begitu saja ke semua penerapan nyata.

Pengujian disaksikan, tetapi angkanya bukan hasil mandiri

Jalapeño diuji pada silikon nyata, bukan hanya melalui estimasi spesifikasi. Namun, analisis teknis SemiAnalysis menjelaskan bahwa seluruh angka disediakan OpenAI; timnya menyaksikan dan memverifikasi pengujian di laboratorium, tetapi tidak menjalankan rangkaian InferenceX lengkap secara mandiri dan belum melihat hasil AgentX.

Batas itu penting karena beban 8k/1k hanya mencakup percakapan satu putaran. Beban agen berkonteks panjang dan multironde juga menekan router, prefix cache, pengelolaan cache, serta pemindahan data antarlangkah. Keunggulan dalam pengujian sekarang belum membuktikan kinerja yang sama ketika seluruh bagian sistem penyajian menghadapi pola produksi tersebut.

Pembandingnya juga masih keluarga Blackwell, bukan Vera Rubin. Karena generasi perangkat, kematangan perangkat lunak, format numerik, dan konfigurasi sistem berbeda, hasil Jalapeño tidak dapat dianggap sebagai peringkat tetap terhadap seluruh portofolio Nvidia. Pengujian lanjutan dengan lawan dan beban yang lebih baru diperlukan untuk membuat perbandingan yang lebih luas.

Jalapeño menambah kapasitas inferensi, bukan menggantikan Nvidia

Jalapeño dirancang untuk inferensi: menjalankan model yang telah dilatih dan melayani permintaan pengguna. Chip ini bukan akselerator untuk melatih model frontier dari awal. Hasil InferenceX karena itu tidak menunjukkan bahwa OpenAI telah menghapus ketergantungannya pada perangkat Nvidia atau pemasok lain untuk pelatihan.

Bahkan dalam inferensi, Jalapeño akan menjadi salah satu sumber kapasitas, bukan pengganti universal. OpenAI dapat mengoptimalkan chip, memori, jaringan, dan perangkat lunak penyajian sebagai satu sistem, tetapi tetap membutuhkan akselerator pihak lain untuk memenuhi kebutuhan komputasinya yang lebih luas.

Status penerapannya juga masih terbatas. laporan Axios pada 25 Agustus menyebut OpenAI memperkirakan hanya sejumlah kecil sistem berbasis Jalapeño akan tersedia di infrastrukturnya pada 2026, dengan kapasitas lebih besar pada 2027, dan perusahaan tidak berencana menjual chip itu kepada pihak luar.

Untuk saat ini, kesimpulan yang dapat dipertahankan adalah bahwa Jalapeño unggul pada tiga pasangan model dan konfigurasi InferenceX yang dipublikasikan. Klaim 1,9 kali sah sebagai hasil puncak throughput per kilowatt pada GPT‑OSS 120B, tetapi penilaian yang lebih luas masih menunggu benchmark mandiri, beban agen multironde, konfigurasi decoding produksi, dan data operasi berskala besar.