OpenAI Jalapeño 첫 성적표, 전력당 AI 처리량 최대 1.9배

OpenAI가 2026년 8월 25일 자체 추론 칩 Jalapeño와 이를 중심으로 구성한 시스템의 첫 공개 벤치마크를 발표했다. OpenAI의 공식 측정 결과 에서 Jalapeño 시스템은 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 구동했으며, 비교 시스템보다 최대 처리량 기준 전력당 AI 작업량이 1.5~1.9배 높고 종단 지연시간은 1.7~3.6배 낮았다.

같은 25일 공개된 첫 성적표의 상단값인 1.9배는 모든 모델과 NVIDIA 제품에 적용되는 보편적 우위가 아니다. OpenAI가 공개 추론 벤치마크 InferenceX로 측정해 발표한 결과이며, 모델별 비교 대상과 전력 산정 범위, 단일·다중 토큰 예측 여부에 따라 격차가 달라진다.

세 모델의 최대 처리량과 지연시간

주요 시험은 입력 8,000토큰과 출력 1,000토큰을 가정한 단일 토큰 예측(STP) 조건에서 진행됐다. 처리량은 초당 혼합 토큰 수를 가속기 패키지의 공시 열설계전력으로 나눈 값이다. 따라서 아래 수치는 칩의 이론 연산량이 아니라 각 모델을 구동한 시스템과 서빙 소프트웨어를 포함한 추론 결과다.

• GPT‑OSS 120B: 정격 700W인 Jalapeño와 1,200W인 GB200을 비교했다. 최대 처리량은 각각 85,448 TPS/kW와 44,960 TPS/kW로 약 1.9배 차이였고, 종단 지연시간은 1.03초와 1.80초였다.
• DeepSeek R1 670B: 700W Jalapeño와 1,400W GB300의 최대 처리량은 19,641 TPS/kW와 11,781 TPS/kW로 약 1.7배 차이였다. 종단 지연시간은 1.65초와 5.99초로 약 3.6배 낮았다.
• Kimi K2.5 1T: 같은 700W 대 1,400W 기준에서 최대 처리량은 18,195 TPS/kW와 11,862 TPS/kW로 약 1.5배 차이였다. 종단 지연시간은 1.56초와 5.31초로 약 3.4배 낮았다.

제목의 최대 1.9배는 GPT‑OSS 120B를 Jalapeño와 GB200에서 실행한 결과다. GB300을 상대로 한 DeepSeek와 Kimi 시험에서는 각각 약 1.7배와 1.5배였으므로, 정확한 결론은 세 지정 모델의 해당 구성에서 Jalapeño가 더 높은 최대 전력당 처리량을 기록했다는 것이다.

패키지 전력은 데이터센터 전체 전력이 아니다

대표 비교에 사용된 700W, 1,200W, 1,400W는 서버나 시설 전체가 아니라 각 가속기의 공시 패키지 전력이다. OpenAI는 시험 중 Jalapeño의 지속 소비전력이 550W 이하였다고 밝혔지만, 비교의 일관성을 위해 실제 측정값 대신 각 가속기의 공시 정격을 분모로 사용했다.

이 방식은 가속기 단위의 효율을 정규화하는 데 유용하지만 CPU, 호스트 메모리, 네트워크, 전원 변환과 냉각 전력까지 포함하지 않는다. Tom’s Hardware의 비교 조건 검토 에 따르면 가속기당 전체 유틸리티 전력을 Jalapeño 1.18kW, GB300 2.55kW로 잡은 부록 계산에서는 패키지 전력 기준보다 격차가 좁아졌다.

따라서 이번 결과만으로 데이터센터의 전력 절감률이나 랙당 수용량을 그대로 계산할 수는 없다. 칩 가격, 서버 구성, 가동률, 냉각 방식과 소프트웨어 운영비도 공개되지 않아 Jalapeño 시스템의 총소유비용이 얼마나 낮은지도 아직 판단할 수 없다.

단일 토큰과 다중 토큰 조건의 차이

주요 비교에서는 Jalapeño와 GB200·GB300 모두 단일 토큰 예측을 사용했다. 이는 한 생성 단계에서 다음 토큰 하나를 확정하는 방식이다. 다중 토큰 예측(MTP)은 여러 후보 토큰을 한꺼번에 예측한 뒤 검증해 처리량을 높일 수 있으므로, 동일한 하드웨어라도 서빙 설정에 따라 결과가 달라질 수 있다.

GB300에 MTP를 적용한 별도 비교에서는 Jalapeño의 최대 전력 효율 우위가 약 1.5배로 줄었다. 이는 1.9배 수치를 무효화하는 결과가 아니라 그 수치가 GPT‑OSS 120B와 동일한 STP 구성에서 나온 최고값임을 보여준다. 실제 서비스 성능은 입력·출력 길이, 배치 규모, 사용자별 토큰 속도 목표와 예측 방식에 좌우된다.

처리량과 지연시간도 함께 읽어야 한다. 요청을 많이 묶으면 시스템 전체 처리량은 높아질 수 있지만 개별 사용자의 대기시간은 길어질 수 있다. 이번 자료가 여러 부하 지점의 처리량과 지연시간을 함께 제시한 것은 같은 응답성 수준에서 시스템이 처리할 수 있는 작업량을 비교하기 위해서다.

추론에 맞춘 전용 설계가 만든 결과

Jalapeño는 언어 모델 학습을 위한 범용 가속기가 아니라 모델 서빙을 주된 작업으로 삼은 추론 전용 ASIC이다. 프롬프트를 읽는 프리필 단계는 연산량의 영향을 크게 받고, 응답을 토큰 단위로 만드는 디코드 단계는 메모리 대역폭과 데이터 이동에 더 민감하다.

OpenAI는 칩, 메모리, 네트워크, 서빙 소프트웨어와 랙 규모 시스템을 함께 설계해 단계 사이의 데이터 이동과 통신 지연을 줄였다고 설명했다. 생성 과정의 KV 캐시와 모델 상태를 연산 자원 가까이에 두고, 프리필과 디코드에 맞는 연산·메모리·네트워크 조합을 활성화하는 구조다.

다만 새 모델 계열을 지원할 때에는 새로운 커널과 모델별 최적화가 여전히 필요하다. 세 공개 모델에서 측정한 효율이 다른 모델이나 더 긴 문맥, 다른 정밀도와 서빙 설정에서도 자동으로 재현된다고 단정할 수 없는 이유다.

학습·최신 세대 비교·대규모 배치는 아직 남았다

이번 결과는 NVIDIA 가속기 사업 전체에 대한 승리를 뜻하지 않는다. 비교 상대는 GPT‑OSS 시험의 GB200과 DeepSeek·Kimi 시험의 GB300이었으며, 후속 Vera Rubin 플랫폼은 포함되지 않았다. Jalapeño는 새 모델을 학습하도록 설계된 칩도 아니어서 학습과 추론을 모두 지원하는 범용 플랫폼과 담당 범위가 다르다.

상용 배치도 아직 시작 전이다. Axios가 확인한 배치 계획 은 2026년 안에 제한된 수의 Jalapeño 시스템을 설치하고 2027년에 용량을 늘리는 일정이며, OpenAI는 이 칩을 외부에 판매할 계획이 없다고 밝혔다. 회사는 생산 적격성 평가, 소프트웨어 안정화와 추가 모델 검증을 진행 중이다.

현재 확인된 범위는 Jalapeño가 실제 작동하는 OpenAI의 첫 자체 추론 실리콘이며, 세 공개 모델의 지정된 InferenceX 조건에서 비교 시스템보다 전력당 처리량 1.5~1.9배와 낮은 종단 지연시간을 기록했다는 데까지다. 대규모 배치 이후의 지속 성능과 시설 전체 전력, 비용, MTP 운용 결과, Vera Rubin을 포함한 같은 세대 시스템과의 비교는 아직 공개되지 않았다.