K-EXAONE 2.0이냐 A.X K2냐…같은 공개 모델도 서빙 조건이 갈린다

LG AI연구원의 K-EXAONE 2.0 공식 저장소는 총 7,500억·토큰당 활성 370억 매개변수를, SK텔레콤의 A.X K2 공식 저장소는 총 6,880억·활성 330억 매개변수를 제시한다. 두 모델 모두 Apache 2.0으로 공개된 MoE 모델이지만, 한국어 서비스를 직접 운영할 때 필요한 가중치 형식과 GPU 메모리, 추론 엔진 구성은 서로 다르다. 총 매개변수가 큰 쪽을 고르는 것만으로는 배포 가능성이나 운영비를 판단할 수 없다.

이미 사용할 GPU와 vLLM 운영 방식이 정해진 팀이라면 공식 실행 경로가 그 환경에 맞는지가 먼저다. 두 모델을 모두 적재할 수 있다면 한국어 작업의 품질을 같은 요청과 채점 방식으로 비교하고, 그때의 지연 시간과 메모리 사용량까지 함께 봐야 한다. 공개 가중치와 같은 라이선스는 출발 조건을 맞춰 줄 뿐, 같은 장비에서 같은 설정으로 실행된다는 뜻은 아니다.

활성 매개변수는 계산량의 단서, 총 매개변수는 적재량의 단서

MoE는 입력 토큰마다 일부 전문가만 선택해 계산한다. 그래서 활성 매개변수는 토큰 처리에 참여하는 규모를 이해하는 데 유용하다. 그러나 서비스를 시작할 때는 선택될 수 있는 전문가의 가중치도 메모리에 올려야 한다. 활성 규모만 보고 필요한 GPU 메모리를 추정하면 모델을 적재하는 단계부터 계산이 어긋날 수 있다.

두 모델의 활성 규모가 비교적 가까워도 메모리 사용량이 같아지는 것은 아니다. 가중치 정밀도와 저장 형식, 텐서 병렬화 방식이 다르고, 실제 요청을 받으려면 KV 캐시와 실행 중간값을 위한 공간도 남겨야 한다. 반대로 총 매개변수의 차이만으로 응답 속도를 예측할 수도 없다. 속도에는 한 번에 들어오는 요청 수와 입력 길이, 선택한 엔진의 구현이 함께 영향을 준다.

라이선스는 두 후보를 가르는 주요 차이가 아니다. 공개 가중치에 표시된 Apache 2.0은 상업적 이용을 검토할 수 있는 조건을 제공한다. 다만 모델 가중치의 라이선스와 서비스 전체의 사용 조건은 구분해야 한다. 실제 배포 이미지에 포함할 추론 엔진, 커널과 다른 의존성은 각각의 배포 조건을 따로 확인할 필요가 있다.

GPU 수보다 먼저 볼 것은 적재 형식과 남는 메모리

K-EXAONE 2.0의 공식 vLLM 예제는 NVIDIA H200을 노드마다 8장씩 배치한 두 노드 구성이다. 텐서 병렬화를 여러 GPU에 걸쳐 사용하고, 노드 간 실행을 위한 설정도 포함한다. 이는 공개된 실행 예제의 장비 구성이며 모든 서비스가 반드시 같은 GPU 수를 요구한다는 의미는 아니다. 요청량과 입력 길이가 달라지면 필요한 여유 메모리도 달라진다.

A.X K2의 공개 체크포인트는 FP8 형식이다. 제작사의 vLLM 검증 구성에서 적재된 가중치는 GPU 전체에 걸쳐 약 656GiB를 사용했고, 검증에는 NVIDIA B300 GPU 4장이 쓰였다. 이 수치는 가중치 적재량이다. 동시 요청의 KV 캐시와 활성값을 위한 공간까지 포함한 서비스 용량으로 읽으면 GPU를 과소 배정하게 된다.

Transformers 경로에서 A.X K2의 FP8 실행에는 해당 연산을 지원하는 GPU와 추가 커널이 필요하다. 지원되지 않는 환경에서는 가중치를 bfloat16으로 풀어 약 1.4TB의 메모리가 필요하다는 안내도 있다. 따라서 '모델을 내려받을 수 있다'와 '보유 장비에서 의도한 정밀도로 실행할 수 있다'는 서로 다른 조건이다. 장비 견적에는 가중치뿐 아니라 입력 길이, 동시 처리량과 시작 시 필요한 커널 준비 작업을 반영해야 한다.

두 회사의 예제에 등장하는 GPU 장수만 나란히 놓고 어느 쪽이 저렴하다고 결론 내리기는 어렵다. 한쪽의 다중 노드 vLLM 예제와 다른 쪽의 특정 GPU 검증 구성은 정밀도와 하드웨어, 측정 목적이 일치하지 않는다. 비교 가능한 비용은 같은 요청량과 응답 지연 목표를 정한 뒤, 각 모델이 실제로 구동되는 구성에서 산출해야 한다.

vLLM이라는 이름이 같아도 지원 기능은 다르다

K-EXAONE 2.0의 vLLM 예제는 모델 지원이 추가된 별도 vLLM 포크와 Transformers 포크를 설치한다. 예제에는 MTP 방식의 추측 디코딩이 들어가 있지만, DSpark 방식의 vLLM 서빙은 현재 지원되지 않는다. 모델 기능 설명에 DSpark가 등장하더라도 이를 기존 vLLM 환경에서 곧바로 사용할 수 있는 기능으로 계산해서는 안 된다.

A.X K2의 vLLM 경로도 SK텔레콤이 제공하는 지정 포크를 사용한다. 이 경로에서는 사고 과정을 구조화해 전달할 파서 설정이 필요하며, 요청마다 사고 모드를 선택할 수 있다. 이미 표준 vLLM 이미지를 고정해 운영하는 팀에는 포크 설치, 버전 고정과 업데이트 검증이 추가 작업이다. 엔진 이름이 같다는 사실만으로 운영 절차까지 공유되지는 않는다.

A.X K2의 모델 구조는 Transformers에 통합돼 별도 원격 모델 코드를 신뢰하도록 설정할 필요가 없다. 다만 공개된 사용 안내는 필요한 변경이 정식 배포판에 포함되기 전까지 소스 설치를 안내하고, FP8 실행에는 커널 패키지를 요구한다. 익숙한 라이브러리에서 불러올 수 있다는 설명을 기존 컨테이너에서 아무 변경 없이 서비스할 수 있다는 뜻으로 받아들이면 안 된다.

추론 설정도 한국어 품질과 지연 시간 비교에 영향을 준다. K-EXAONE 2.0은 사고 모드가 기본이며 비사고 모드를 명시적으로 선택할 수 있다. A.X K2 역시 요청별로 사고 모드를 켜거나 끌 수 있다. 한 모델에는 사고 과정을 허용하고 다른 모델에는 짧은 답변만 요구하면 출력 토큰 수와 응답 시간, 정답률이 함께 달라진다. 같은 서비스 요구를 비교할 때는 모드와 최대 출력 길이를 맞춰야 한다.

한국어 점수는 모델명뿐 아니라 평가 모드를 붙여 읽는다

K-EXAONE 2.0 모델 카드의 BF16 평가표에는 KMMLU-Pro 69.1점, CLIcK 84.2점과 Ko-LongBench 89.6점이 실려 있다. 앞의 두 항목은 한국어 지식과 문화·언어 이해를, 마지막 항목은 한국어 장문 과제를 살피는 데 쓰인다. 점수가 같은 종류의 작업을 뜻하지 않으므로 고객 문의 응답과 긴 문서 분석을 하나의 한국어 성능 수치로 합칠 수 없다.

A.X K2 모델 카드는 사고 모드 평가에서 KMMLU-Pro 80.5점과 CLIcK 91.6점을 제시한다. 두 시험 이름은 LG 측 표와 같지만 공개된 결과의 모델 정밀도와 사고 모드 표기가 다르다. 점수 차이는 후보를 좁히는 신호로 볼 수 있어도, 동일한 프롬프트와 출력 조건에서 두 모델을 직접 시험한 결과로 바꿔 말할 수는 없다.

서비스용 비교라면 실제 한국어 요청을 같은 묶음으로 입력해야 한다. 예를 들어 검색 결과에 근거해 답하는 작업과 문화적 맥락을 이해하는 작업은 실패 방식이 다르다. 정답 여부뿐 아니라 근거를 잘못 인용하는지, 지시한 형식을 지키는지, 긴 답변 때문에 대기 시간이 늘어나는지를 함께 기록해야 선택에 필요한 차이가 드러난다. 이 평가는 공식 벤치마크의 숫자를 대신하는 새 순위가 아니라 서비스 조건에 맞춘 판단 자료다.

장문 결과와 외부 순위는 평가셋을 분리해야 한다

A.X K2는 기본 학습한 128K 문맥을 YaRN으로 확장하며, 모델 카드의 RULER 결과는 256K 구간에서 86.6점이다. K-EXAONE 2.0에 제시된 Ko-LongBench 결과와는 시험 과제와 길이 구간이 다르다. 두 점수의 크기만 비교하면 장문 검색, 여러 문서의 정보 결합, 한국어 문맥 이해 중 무엇이 실제로 나은지 알 수 없다.

긴 입력을 허용하는 설정 자체도 서비스 처리량을 보장하지 않는다. 입력이 길어질수록 KV 캐시가 차지하는 공간이 커지고, 동시에 처리할 수 있는 요청 수와 첫 토큰까지의 시간이 달라진다. 특히 A.X K2의 Transformers 경로는 희소 어텐션의 선택 결과를 밀집 마스크로 적용하므로, 긴 문맥 서빙에는 선택된 인덱스를 희소 커널로 전달하는 vLLM 경로가 권장된다. 장문 성능표와 운영 엔진을 분리해서 보면 기대 처리량을 과대평가하기 쉽다.

2026년 10월 20일 갱신된 BenchLM 한국어 순위표에는 K-EXAONE 2.0 행이 있지만 SK텔레콤 모델은 'A.X'로 표기돼 있다. 두 행의 KMMLU 세부 칸도 비어 있다. 따라서 그 종합 점수를 A.X K2와 K-EXAONE 2.0이 동일한 한국어 평가셋에서 맞붙은 결과로 인용하기 어렵다. 모델의 정확한 버전과 실제 채점 항목이 보이는 결과를 우선해야 한다.

선택은 보유 장비와 서비스 작업에서 갈린다

한국어 지식 질의와 문화적 표현이 중심이라면 A.X K2의 공식 KMMLU-Pro·CLIcK 결과는 살펴볼 만한 신호다. 그 선택은 FP8 가중치를 적재할 GPU 용량과 지원 커널, 지정된 추론 경로를 확보할 수 있을 때 현실적이다. 장문 입력이 잦다면 공개된 최대 문맥 길이보다 해당 길이에서의 응답 지연과 동시 처리량이 운영비에 더 직접적으로 연결된다.

K-EXAONE 2.0은 한국어 평가와 장문 평가 결과에 더해 다중 노드 서빙 예제를 제공한다. 그 구성을 운영할 수 있다면 서비스의 실제 한국어 요청으로 품질을 판단할 수 있다. 다만 vLLM 처리량 계획에 DSpark 사용을 전제로 넣어서는 안 된다. 두 후보 모두 공개 가중치와 상업적 이용을 검토할 수 있는 라이선스를 제공하므로, 최종 선택을 가르는 것은 사용할 GPU에서 지원되는 실행 경로와 같은 조건으로 측정한 품질·지연 시간이다.

함께 읽기:

• Riverside vs Descript: 한국어 팟캐스트는 선택지가 이미 갈린다
• Midjourney냐 Firefly냐…이미지 품질보다 상업 이용 조건이 먼저다
• Windows 제로데이 2건이 악용 중…업데이트 수보다 먼저 볼 CVE