HBM4는 왜 두 배 빨라졌나, 용량보다 중요한 2048비트 통로

HBM4가 HBM3E보다 빨라진 핵심 이유는 핀 하나의 속도만 높인 것이 아니라, 데이터를 동시에 나르는 인터페이스를 1024비트에서 2048비트로 두 배 넓혔기 때문이다. 여기에 핀당 전송률 상승이 더해져 제품에 따라 한 스택의 대역폭은 HBM3E의 두 배를 넘는다. 제목의 ‘두 배’는 용량이나 모든 애플리케이션의 실행 속도가 일률적으로 두 배가 된다는 뜻이 아니라, 버스 폭의 확대와 그에 따른 메모리 처리량 증가를 가리킨다.

AI 서버에서 이 변화는 가속기가 모델 가중치와 KV 캐시를 기다리는 시간을 줄일 가능성을 키운다. 다만 HBM4를 장착했다고 추론 성능이 그대로 두 배가 되는 것은 아니다. 실제 효과는 모델 구조와 정밀도, 배치 크기, 컨텍스트 길이, 소프트웨어가 달성하는 실효 대역폭, 가속기 사이의 통신 병목에 따라 달라진다.

두 배 넓어진 인터페이스가 출발점이다

HBM은 여러 DRAM 다이를 수직으로 쌓고 실리콘관통전극(TSV)으로 연결한 뒤, 가속기 가까이에서 매우 많은 I/O를 병렬로 구동한다. 핀당 속도만 극단적으로 높이기보다 넓은 접속면을 활용해 큰 총대역폭을 확보하는 구조다. HBM4는 이 원리를 한 단계 더 밀어 인터페이스 폭을 HBM3E의 두 배로 늘렸다.

대략적인 스택 대역폭은 ‘핀당 전송률 × 인터페이스 폭 ÷ 8’로 계산할 수 있다. 8로 나누는 것은 비트를 바이트로 환산하기 위해서다. 따라서 핀당 전송률이 같다면 2048비트 인터페이스는 1024비트 인터페이스보다 한 번에 두 배 많은 데이터를 옮길 수 있다.

이 점이 제목의 인과관계를 뒷받침한다. HBM4의 대역폭 상승은 단순한 클록 개선이 아니라 병렬 통로 자체를 확대한 결과다. 핀 속도는 그 위에 추가되는 배율이며, 세대 차이를 설명할 때 먼저 봐야 할 수치는 용량보다 인터페이스 폭이다.

버스 폭과 핀 속도가 곱해져 3TB/s대로 올라간다

삼성전자의 HBM4 사양 은 I/O가 HBM3E의 1024개에서 2048개로 늘었고, 기본 핀 속도는 11.7Gbps, 최대 속도는 13Gbps라고 제시한다. 최대 스택 대역폭은 3.3TB/s로 자사 HBM3E의 약 2.7배이며, 현재 12단 제품의 용량 범위는 24GB부터 36GB다.

계산 결과도 공개 수치와 맞는다. 11.7Gbps에 2048비트를 곱하고 8로 나누면 약 3.0TB/s, 13Gbps에서는 약 3.33TB/s가 된다. 반면 삼성전자가 비교 기준으로 제시한 HBM3E 최대 핀 속도 9.6Gbps에 1024비트를 적용하면 약 1.23TB/s다.

약 2.7배의 차이 가운데 가장 큰 몫은 두 배가 된 인터페이스 폭에서 나온다. 핀 속도는 9.6Gbps에서 11.7Gbps로 약 22% 높아졌지만, 전체 대역폭에는 이 증가율과 두 배의 버스 폭이 함께 곱해진다. 핀 속도 하나만 비교하면 HBM4의 도약을 과소평가하게 되는 이유다.

같은 36GB라도 데이터를 꺼내는 속도는 다르다

용량은 메모리에 담을 수 있는 데이터의 양이고, 대역폭은 그 데이터를 초당 얼마나 많이 옮길 수 있는지 나타낸다. 긴 컨텍스트와 큰 모델을 메모리에 유지하려면 용량이 필요하지만, 저장된 가중치와 캐시를 연산기로 계속 공급하려면 대역폭이 필요하다. 어느 한쪽이 다른 쪽을 대신하지는 못한다.

Micron의 12단 제품 비교 에 따르면 HBM4와 이전 세대의 비교 대상은 모두 36GB지만, HBM4는 2048 I/O와 11Gbps를 넘는 핀 속도로 스택당 2.8TB/s를 넘기며 대역폭이 두 배 이상이다. 비슷한 속도에서 측정한 비트당 에너지 기준 전력 효율도 12단 HBM3E보다 20% 개선됐다고 제시한다. Micron은 더 빠른 KV 캐시 접근이 추론 지연을 낮추는 용도와 연결된다고 설명한다.

2.8TB/s라는 이론 대역폭으로 36GB를 한 번 순차 이동한다고 가정하면 산술상 약 13밀리초가 걸린다. 이는 실제 응답 지연을 뜻하는 벤치마크가 아니다. 접근 패턴, 명령 오버헤드, 메모리 컨트롤러, 가속기 내부 경로 때문에 실효 속도는 달라지지만, 같은 용량에서도 데이터 공급 능력은 크게 달라질 수 있음을 보여주는 기준이다.

긴 컨텍스트의 디코딩에서 대역폭이 중요한 이유

대규모 언어 모델 추론은 입력을 처리하는 프리필과 출력 토큰을 하나씩 만드는 디코딩으로 나뉜다. 프리필은 입력 토큰을 병렬로 처리하는 행렬 연산의 비중이 크다. 디코딩에서는 새 토큰을 생성할 때마다 이전 토큰의 키와 값, 모델 가중치를 반복해서 읽으므로 메모리 이동의 영향이 커진다.

NVIDIA의 KV 캐시 기술 설명 은 프리필에서 입력 전체의 키·값을 만들어 저장하고, 디코딩 단계마다 과거 키·값을 캐시에서 다시 읽는 과정을 구분한다. 또한 디코딩의 잦은 KV 캐시 읽기와 쓰기가 메모리 대역폭에 큰 압력을 준다고 설명한다.

컨텍스트가 길거나 동시 요청이 많아지면 KV 캐시가 차지하는 공간과 이동량도 커진다. 캐시가 HBM 용량 안에 들어가더라도 필요한 데이터를 제때 공급하지 못하면 연산 코어가 기다린다. 이때 2048비트 인터페이스의 가치는 저장 공간을 넓히는 것이 아니라, 같은 시간에 더 많은 데이터를 전달해 대기 가능성을 낮추는 데 있다.

그렇다고 모든 추론 요청이 같은 혜택을 받는 것은 아니다. 계산량이 큰 프리필이나 가속기 간 통신이 지배적인 환경에서는 연산 성능이나 네트워크가 먼저 병목이 될 수 있다. 반대로 긴 출력, 큰 가중치와 KV 캐시, 낮은 배치처럼 데이터 재사용이 제한된 디코딩에서는 높은 HBM 대역폭이 상대적으로 직접적인 성능 변수다.

전력 효율과 패키징이 실제 성능의 경계를 정한다

대역폭을 평가할 때는 초당 전송량과 함께 비트당 에너지를 봐야 한다. 대역폭과 소비전력이 같은 비율로 늘면 서버 랙의 전력 공급과 냉각 능력이 먼저 한계에 닿을 수 있다. Micron의 20% 수치처럼 비교 조건이 명시된 전력 효율은 같은 양의 데이터를 옮기는 비용이 얼마나 달라지는지를 보여주지만, 제조사와 적층 수, 동작 속도가 다른 제품에 그대로 일반화할 수는 없다.

2048 I/O는 메모리 칩만 바꾸면 끝나는 사양도 아니다. 가속기 패키지에서 더 많은 접속점과 배선을 수용하고 신호 및 전력 무결성을 확보해야 한다. HBM은 TSV로 연결된 다이를 정밀하게 적층한 뒤 완성된 스택의 연결 상태를 검사하므로, 인터페이스 확대는 베이스 다이와 인터포저, 조립 및 검증을 함께 설계해야 하는 과제다.

HBM4와 HBM3E의 본질적인 차이는 더 많이 저장하는 데 있지 않고, 같은 시간에 더 많이 이동시키는 데 있다. 두 배 넓어진 2048비트 인터페이스가 대역폭 상승의 기반을 만들고, 더 높은 핀 속도와 개선된 비트당 에너지가 이를 확장한다. 이 변화는 긴 컨텍스트와 KV 캐시를 반복해서 읽는 AI 추론에서 특히 중요하지만, 최종 성능 향상 폭은 연산기와 메모리 컨트롤러, 통신, 소프트웨어가 그 대역폭을 얼마나 활용하느냐에 달려 있다.