OpenAI Jalapeño 첫 측정치 공개, 와트당 처리량이 승부처였다

OpenAI의 2026년 8월 25일 발표 로 자체 추론 칩 Jalapeño의 첫 공개 측정 결과가 나왔다. InferenceX에서 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 실행한 결과, 지정된 비교 시스템보다 최대 처리량 기준 와트당 성능은 1.5~1.9배 높고 종단 간 지연시간은 1.7~3.6배 낮았다.

같은 날 공개된 결과의 승부처는 칩 한 개의 절대 속도가 아니라 주어진 전력으로 처리할 수 있는 추론 작업량이었다. 다만 이는 8,000토큰 입력·1,000토큰 출력과 단일 토큰 예측에 맞춘 초기 측정치이며, 독립 기관이 상용 장비를 임의로 조달해 전체 시험을 재현한 결과는 아니다.

세 모델에서 전력당 처리량과 지연시간이 함께 개선됐다

공개 결과는 각 가속기의 패키지 정격전력으로 처리량을 정규화했다. Jalapeño에는 700W, GPT‑OSS 비교에 사용된 GB200에는 1,200W, DeepSeek와 Kimi 비교의 GB300에는 1,400W가 적용됐다. Jalapeño의 시험 중 지속 소비전력은 550W 이하였지만, 대표 비교표의 분모는 이 실측치가 아니라 700W 정격전력이다.

• GPT‑OSS 120B: 최대 혼합 처리량은 kW당 85,448로 GB200의 44,960보다 약 1.9배 높았다. 종단 간 지연시간은 1.03초와 1.80초로 약 1.7배 차이였다.
• DeepSeek R1 670B: 최대 혼합 처리량은 kW당 19,641로 GB300의 11,781보다 약 1.7배 높았다. 종단 간 지연시간은 1.65초와 5.99초로 약 3.6배 차이였다.
• Kimi K2.5 1T: 최대 혼합 처리량은 kW당 18,195로 GB300의 11,862보다 약 1.5배 높았다. 종단 간 지연시간은 1.56초와 5.31초로 약 3.4배 차이였다.

이 결과는 세 워크로드의 측정 구간에서 처리량을 늘리면서 응답성을 크게 희생하지 않았다는 뜻이다. 그러나 각 수치는 서로 다른 운용 지점에서 얻을 수 있으므로, 최대 처리량과 최소 토큰 간 시간이 하나의 고정 구성에서 동시에 나온 기록처럼 합쳐 읽어서는 안 된다.

예를 들어 DeepSeek R1의 최소 토큰 간 시간은 Jalapeño 1.43밀리초, GB300 5.90밀리초였고 각각 사용자당 초당 약 700토큰과 169토큰에 해당했다. 이는 낮은 동시성에서의 응답성을 보여주는 값으로, 최대 처리량 비교와는 별도의 지점이다.

공개 벤치마크였지만 완전한 독립 시험은 아니었다

InferenceX는 요청의 입력 처리부터 출력 생성까지를 측정하는 공개 벤치마크다. 이번 주요 비교는 명목상 8k/1k, 즉 8,000토큰 입력과 1,000토큰 출력의 단일 턴 요청에서 다음 토큰 하나씩을 예측하는 STP 조건으로 진행됐다. 모델과 문맥 길이, 출력 길이, 동시성, 디코딩 방식이 바뀌면 처리량과 지연시간의 관계도 달라질 수 있다.

SemiAnalysis의 실험실 관찰 기록 은 OpenAI 엔지니어와 함께 실제 Jalapeño 실리콘에서 InferenceX가 실행되는 것을 확인했다고 설명한다. 그러나 공개 수치는 OpenAI가 제공했으며 SemiAnalysis가 전체 시험군을 독자적으로 실행하지 않았고, 장문·멀티턴 환경을 다루는 AgentX 결과도 확인하지 못했다고 명시한다.

따라서 이번 자료는 시뮬레이션이나 제조사의 전망치보다 강한 실제 칩 측정 근거이지만, 제3자 재현 시험과는 구별해야 한다. 원시 로그, 반복 횟수와 분산, 시스템별 소프트웨어 최적화 수준이 모두 공개된 것도 아니다. 확인된 범위는 실제 엔지니어링 실리콘과 지정된 세 모델·조건까지다.

전력 비교의 경계도 분명하다. 대표 수치는 냉각, 호스트 CPU, 네트워크, 전력 변환 손실을 포함한 데이터센터 전체 소비전력이 아니라 가속기 패키지 TDP를 사용한다. 랙이나 시설 단위의 총전력으로 바꾸면 전력당 처리량 격차는 달라질 수 있다.

한국 데이터센터에서 중요한 수치와 아직 없는 수치

전력 인입과 냉각 용량이 고정된 데이터센터에서는 가속기 수보다 kW당 처리량이 실제 수용 가능한 요청량에 더 직접적으로 연결된다. Jalapeño의 첫 결과가 국내 AI 인프라 시장에 의미를 갖는 이유도 같은 전력 예산에서 더 많은 추론 작업을 처리할 가능성을 보였기 때문이다.

낮은 지연시간은 별도의 가치가 있다. 여러 추론 단계를 순차적으로 실행하는 에이전트나 대화형 서비스에서는 단계마다 발생한 대기가 누적된다. 공개된 운용 범위에서 전력당 처리량과 토큰 생성 속도가 함께 개선된 점은 전력 효율을 위해 응답성을 포기해야 하는 절충을 줄일 수 있다는 초기 증거다.

하지만 이 자료만으로 국내 배치의 총소유비용을 계산할 수는 없다. 장비 가격, 랙 구성, 호스트와 네트워크 전력, 냉각 방식, 가동률, 장애 복구 체계, 소프트웨어 지원 비용이 공개되지 않았다. 한국 리전의 공급 일정이나 국내 사업자 배치 계획도 확인되지 않았다.

Jalapeño의 역할은 추론으로 한정된다. 학습 가속기를 대체하는 제품으로 제시되지 않았으며, OpenAI는 Nvidia를 비롯한 다른 업체의 가속기도 학습과 추론에 계속 폭넓게 배치할 계획이다. 세 워크로드의 우위가 Nvidia의 학습 성능이나 소프트웨어 생태계, 데이터센터 전체 경제성의 우위를 뒤집었다는 뜻은 아니다.

Rubin·멀티턴 시험과 실제 배치 데이터가 남았다

대표 비교 상대는 Nvidia GB200과 GB300이며 차세대 Vera Rubin은 포함되지 않았다. Tom’s Hardware의 비교 검토 는 전체 시설 전력을 적용하면 격차가 좁아지고, 실제 Nvidia 배치에서 쓰일 수 있는 멀티 토큰 예측과 Rubin 비교가 빠졌다는 점을 짚었다.

시험에 사용된 Jalapeño는 초기 A0 스테핑이며 소프트웨어도 성숙 단계에 있다. 비교 시스템 역시 특정 시점의 소프트웨어와 설정으로 측정됐기 때문에 양쪽의 후속 최적화에 따라 결과가 이동할 수 있다. 서로 다른 세대의 최고 기록을 비교하려면 메모리 세대뿐 아니라 문맥 길이와 디코딩 방식, 전력 분모도 맞춰야 한다.

실제 서비스에서는 단일 8k/1k 요청보다 긴 문맥, 여러 턴, 도구 호출, 요청 간 캐시 재사용, 불균일한 출력 길이와 트래픽 급증이 함께 발생한다. 이런 환경에서는 칩 연산 성능 외에도 요청 라우팅, 접두어 캐시, 메모리 관리, 호스트와 가속기 사이의 이동, 랙 간 네트워크가 종단 간 성능을 좌우한다.

현재 Jalapeño의 상태는 작동하는 엔지니어링 실리콘에서 얻은 첫 공개 측정치다. OpenAI는 2026년 말까지 자체 컴퓨팅 인프라에 배치를 시작할 계획이며, 생산 적격성 평가와 소프트웨어 성숙화, 추가 모델 검증을 진행하고 있다. 이는 일반 판매나 대규모 상용 배치가 완료됐다는 의미가 아니다.

• 확인됨: 실제 Jalapeño 실리콘에서 세 공개 모델의 InferenceX 결과가 측정됐다.
• 확인됨: 지정된 8k/1k·STP 조건과 패키지 TDP 기준에서 GB200·GB300보다 높은 전력당 처리량과 낮은 지연시간을 기록했다.
• 부분 확인: SemiAnalysis가 실행을 현장에서 관찰했지만 전체 시험과 공개 수치를 독립적으로 생성하지는 않았다.
• 미확인: Rubin과의 동일 조건 비교, AgentX 같은 장문·멀티턴 시험, 제3자 시설의 재현 결과는 공개되지 않았다.
• 미확인: 한국 공급 일정과 가격, 랙 단위 총전력, 실제 가동률을 반영한 국내 총소유비용은 판단할 자료가 없다.

첫 측정치가 입증한 범위는 제한된 공개 워크로드에서 Jalapeño 시스템이 전력당 처리량과 응답 속도를 함께 개선했다는 데까지다. 성능 우위가 실제 서비스에서도 유지되는지는 Rubin·멀티 토큰 조건의 비교, 독립 재현, 멀티턴 워크로드, 랙 단위 전력과 2026년 말 내부 배치 데이터가 나온 뒤 판단할 수 있다.