Jalapeño menantang Nvidia: cip inferensi OpenAI memangkas latensi hingga 3,6 kali

OpenAI pada 25 Agustus 2026 memublikasikan benchmark pertama Jalapeño, cip inferensi khusus untuk infrastruktur komputasinya. Dalam hasil resmi OpenAI, sistem Jalapeño mencatat throughput puncak per kilowatt 1,5–1,9 kali lebih tinggi dan latensi ujung ke ujung 1,7–3,6 kali lebih rendah daripada sistem pembanding Nvidia GB200 atau GB300 pada tiga model terbuka.

Angka tertinggi dalam judul berasal dari DeepSeek R1 670B: latensi 1,65 detik pada Jalapeño dibandingkan 5,99 detik pada GB300 dalam konfigurasi yang ditetapkan OpenAI. Hasil itu menunjukkan potensi penghematan daya untuk inferensi, tetapi tidak membuktikan bahwa OpenAI dapat menggantikan Nvidia secara menyeluruh karena Jalapeño tidak dirancang untuk melatih model.

Model dan metrik yang diuji

OpenAI memakai InferenceX, benchmark publik SemiAnalysis yang mengukur proses lengkap penyajian permintaan AI. Beban pengujiannya adalah GPT‑OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T, masing-masing dengan konfigurasi nominal konteks/keluaran 8k/1k dan single-token prediction.

Perbandingan mencakup kurva throughput dan latensi, bukan hanya kemampuan komputasi teoretis. Throughput dinyatakan sebagai mixed tokens per second per kilowatt, sedangkan latensi ujung ke ujung mengukur waktu untuk menyelesaikan permintaan. Dengan demikian, hasilnya menilai berapa banyak pekerjaan inferensi yang dapat dilayani dalam batas daya tertentu tanpa mengabaikan kecepatan respons.

• GPT‑OSS 120B: Jalapeño 700 W dibandingkan GB200 1.200 W. Throughput puncaknya 85.448 berbanding 44.960 mixed TPS/kW, sekitar 1,9 kali lebih tinggi. Latensinya 1,03 detik berbanding 1,80 detik, atau sekitar 1,7 kali lebih rendah.
• DeepSeek R1 670B: Jalapeño 700 W dibandingkan GB300 1.400 W. Throughput puncaknya 19.641 berbanding 11.781 mixed TPS/kW, sekitar 1,7 kali lebih tinggi. Latensi 1,65 detik berbanding 5,99 detik menghasilkan klaim penurunan sekitar 3,6 kali.
• Kimi K2.5 1T: Jalapeño 700 W dibandingkan GB300 1.400 W. Throughput puncaknya 18.195 berbanding 11.862 mixed TPS/kW, sekitar 1,5 kali lebih tinggi. Latensinya 1,56 detik berbanding 5,31 detik, atau sekitar 3,4 kali lebih rendah.

Angka 3,6 kali bukan hasil yang berlaku untuk semua model atau setiap titik operasi. Itu adalah hasil maksimum pada DeepSeek R1 dalam pengujian tersebut; rentang keseluruhannya adalah 1,7–3,6 kali untuk latensi ujung ke ujung dan 1,5–1,9 kali untuk throughput puncak per kilowatt.

Mengapa perbandingan dayanya perlu dibatasi

Normalisasi utama memakai rating daya paket: 700 W untuk Jalapeño, 1.200 W untuk GB200, dan 1.400 W untuk GB300. OpenAI menyatakan konsumsi berkelanjutan Jalapeño pada beban yang diuji tidak melebihi 550 W, tetapi tetap memakai rating 700 W dalam perbandingan utama.

Angka tersebut bukan perbandingan konsumsi listrik seluruh rak. Ulasan Tom’s Hardware mencatat bahwa perhitungan dengan daya utilitas menyeluruh memakai sekitar 1,18 kW per akselerator Jalapeño dan 2,55 kW untuk GB300; selisih juga menyempit ketika pembanding GB300 menjalankan multi-token prediction, dengan keunggulan efisiensi puncak Jalapeño menjadi sekitar 1,5 kali.

Hasil tersebut juga berasal dari sistem penyajian lengkap, bukan duel dua keping silikon dalam lingkungan identik. OpenAI merancang cip, memori, jaringan, perangkat lunak, dan sistem rak Jalapeño sebagai satu kesatuan. Karena itu, kenaikan kinerja tidak dapat diatribusikan hanya kepada cipnya, sementara metodologi dan data mentahnya belum direplikasi secara independen di pusat data pihak ketiga.

Perbandingan utama memasangkan Jalapeño dan sistem Nvidia dalam mode single-token prediction, meskipun konfigurasi Nvidia di lingkungan produksi dapat memakai multi-token prediction. Jalapeño juga tidak diuji melawan platform Nvidia Vera Rubin. Benchmark ini tetap relevan untuk beban yang dipilih, tetapi bukan pemeringkatan universal seluruh perangkat inferensi.

Jalapeño mengurangi beban inferensi, bukan kebutuhan pelatihan

Arti strategis Jalapeño terletak pada kendali atas inferensi internal. Jika hasil pengujian bertahan pada skala produksi, OpenAI dapat menyajikan lebih banyak token dalam batas pasokan listrik yang sama dan tidak perlu memakai akselerator serbaguna untuk seluruh volume layanan.

Namun, cakupannya masih terbatas. Axios melaporkan bahwa OpenAI memperkirakan hanya sejumlah terbatas sistem Jalapeño akan terpasang pada 2026, dengan kapasitas lebih besar pada tahun berikutnya; perusahaan juga tidak berencana menjual cip tersebut kepada pihak lain dan menegaskan bahwa Jalapeño bukan perangkat untuk melatih model baru.

Pemisahan inferensi dan pelatihan menjelaskan mengapa hasil benchmark ini belum mengakhiri ketergantungan pada Nvidia. Jalapeño dapat memindahkan sebagian pekerjaan penyajian model ke perangkat keras milik OpenAI, tetapi pelatihan model frontier tetap memerlukan akselerator lain. OpenAI juga menyatakan akan terus menggunakan perangkat Nvidia dan mitra lainnya untuk inferensi maupun pelatihan.

Yang belum dibuktikan sebelum penerapan produksi

Jalapeño saat ini merupakan silikon yang berfungsi dan telah menghasilkan pengukuran, tetapi belum beroperasi luas dalam produksi. OpenAI berencana mulai menerapkannya di infrastruktur komputasi internal sebelum akhir 2026 sambil menyelesaikan kualifikasi produksi, mematangkan perangkat lunak, menyiapkan operasi berskala besar, dan menguji lebih banyak model.

Pertanyaan berikutnya adalah apakah efisiensi itu bertahan ketika banyak akselerator menghadapi pola permintaan nyata, termasuk perubahan panjang konteks, tingkat konkurensi, dan kebutuhan jaringan. Data reliabilitas, biaya sistem lengkap, serta replikasi independen juga belum tersedia. Sampai bukti tersebut muncul, Jalapeño merupakan pesaing nyata bagi sistem Nvidia pada inferensi tertentu—bukan pengganti perangkat pelatihan Nvidia.