Gimlet Labs에 3억 달러…AI 추론 병목을 칩 혼합으로 푼다

AI 추론 인프라 스타트업 Gimlet Labs가 2026년 9월 4일 3억 달러 규모의 시리즈 B 투자를 유치했다. Bloomberg의 당일 보도 에 따르면 이번 거래에서 기업가치는 30억 달러로 평가됐고 Andreessen Horowitz가 라운드를 주도했으며, Arm과 Microsoft의 벤처투자 조직 M12가 새 투자자로 참여했다.

같은 날 나온 Gimlet Labs의 공식 발표 에는 Samsung Ventures, Sapphire Ventures, Menlo Ventures 등도 참여사로 기재됐다. 회사는 조달 자금을 GPU 한 종류에 추론 작업을 몰아주는 대신 서로 다른 프로세서에 모델 단계와 연산을 나눠 맡기는 ‘멀티실리콘 클라우드’ 확장에 투입할 계획이다.

3억 달러가 향하는 곳은 추론 전용 인프라

이번 투자의 전제는 학습용으로 구축된 동종 하드웨어 구성이 추론의 비용과 전력 문제에 항상 최적은 아니라는 것이다. 하나의 추론 요청에도 연산량, 메모리 대역폭, 지연시간 요구가 다른 작업이 섞여 있어 모든 단계를 같은 GPU에서 처리하면 일부 자원이 병목에 묶이거나 유휴 상태로 남을 수 있다는 판단이다.

회사는 2026년 3월 이후 수십억 달러 규모의 계약 매출과 기가와트 단위 데이터센터 파이프라인을 추가했으며, 관리 용량을 수백 메가와트 규모로 확대하고 있다고 밝혔다. 다만 ‘계약 매출’은 실제 회계상 인식 매출과 같다고 볼 수 없고, ‘파이프라인’도 이미 가동 중인 전력 용량을 뜻하지 않는다. 발표문에는 고객별 계약액, 취소 조건, 매출 인식 기간이나 가동 현황을 확인할 외부 감사 자료가 포함되지 않았다.

따라서 이번 조달은 소프트웨어 개발비만을 위한 투자가 아니다. 여러 종류의 서버를 연결할 네트워크와 전력·냉각 설비, 실제 추론 서비스를 운영할 데이터센터 용량까지 함께 확장해야 하는 자본집약적 사업에 대한 투자다.

사전 채우기와 디코딩을 서로 다른 칩으로

Gimlet Labs의 해법은 하나의 AI 추론 요청을 작은 작업으로 분해한 뒤 각각에 적합한 프로세서를 배치하는 것이다. 프롬프트를 처리하는 사전 채우기(prefill)는 연산 성능의 영향을 크게 받는 반면, 토큰을 순차적으로 생성하는 디코딩(decode)은 메모리 대역폭과 지연시간의 영향을 더 많이 받는다. 두 단계를 반드시 같은 장치에서 실행할 필요가 없다는 것이 설계의 출발점이다.

회사가 제시한 구성은 GPU와 CPU뿐 아니라 니어메모리 컴퓨팅, 데이터플로 아키텍처 기반 가속기까지 포괄한다. 소프트웨어가 모델을 분석해 단계·레이어·연산 단위로 분해하고, 서비스 수준 목표와 사용 가능한 장비에 맞춰 실행 위치를 정한다. 특정 디코딩 장비가 포화되면 다른 가용 장비에 작업을 배치해 유휴 자원을 줄인다는 구상도 포함된다.

분할 방법은 사전 채우기와 디코딩의 분리에 그치지 않는다. 추측 디코딩의 초안 생성과 검증을 나누거나 어텐션과 피드포워드 네트워크 연산을 다른 장치에 맡길 수도 있다. 어느 구성이 유리한지는 모델 크기, 입력 길이, 동시 요청량, 목표 지연시간과 보유 하드웨어에 따라 달라진다.

비용과 전력 병목을 줄이는 논리

멀티실리콘 접근법의 경제적 목표는 새 전력을 계속 추가하는 대신 주어진 전력 한도에서 더 많은 유효 토큰을 처리하는 것이다. 모든 작업에 고가 GPU를 배치하지 않고 특정 연산에 효율적인 가속기를 함께 쓰면, 한 장치가 잘 처리하지 못하는 작업 때문에 전체 시스템이 기다리는 시간을 줄일 여지가 생긴다. 같은 전력에서 처리량을 높이거나 같은 처리량에서 지연시간을 낮추겠다는 논리다.

그러나 값싼 칩을 섞는다고 서비스 원가가 자동으로 내려가지는 않는다. 이기종 장비 사이에서 모델 상태와 중간 결과를 전송하면 네트워크 지연과 통신 비용이 생기며, 데이터 이동 시간이 연산에서 얻은 이득을 상쇄할 수 있다. 컴파일러 지원, 메모리 용량, 장비 가동률, 장애 대응까지 포함한 총소유비용으로 비교해야 한다.

전력 효율도 칩 한 개의 소비전력만으로 판단할 수 없다. 서버 랙의 전력 밀도와 냉각, 네트워크 스위치, 데이터 이동에 드는 전력을 모두 포함해야 한다. 결국 기술의 성패는 다양한 고객 워크로드가 이어지는 실제 데이터센터에서 분할 비용보다 높은 처리 효율을 안정적으로 유지할 수 있느냐에 달려 있다.

최대 10배는 주도 투자자가 제시한 수치

a16z의 투자 메모 는 Gimlet Labs가 모델과 도구를 서로 다른 프로세서로 보내고 사전 채우기·디코딩, 레이어 또는 연산 단위로 작업을 분리한 뒤 이 복잡성을 단일 추론 API 뒤에 감춘다고 설명한다. 같은 전력 범위에서 프런티어 모델의 처리량과 상호작용 성능이 최대 10배 향상됐다는 수치도 제시했지만, 이는 라운드를 주도한 투자자의 주장이다.

공개 자료만으로는 이 결과를 독립적으로 재현하기 어렵다. 사용 모델, 비교 대상 하드웨어, 배치 크기, 입력·출력 길이, 지연시간 기준과 비용 산정 방식이 모두 공개돼야 동종 GPU 구성과 공정하게 비교할 수 있다. 특히 ‘최대’ 수치는 가장 유리한 워크로드의 결과일 수 있으므로 모든 모델과 고객 환경에 일반화할 수 없다.

투자 메모는 고객군에 프런티어 AI 연구소와 하이퍼스케일러가 포함된다고 적었지만 구체적인 이름과 계약 범위는 공개하지 않았다. 회사가 밝힌 계약 파이프라인과 투자자가 제시한 고객 채택 사례는 수요 신호이지만, 실제 상용 트래픽의 규모나 서비스 안정성, 수익성을 독립적으로 입증하는 자료는 아니다.

이기종 데이터센터의 운영 난도가 남은 변수

서로 다른 칩을 하나의 서비스로 묶으면 조달 선택지는 넓어지지만 운영 항목도 늘어난다. 프로세서별로 서버 규격, 네트워크 토폴로지, 랙당 전력과 냉각 조건이 다를 수 있으며, 소프트웨어는 원래 함께 작동하도록 설계되지 않은 장비 사이에서 요청과 장애를 조정해야 한다.

단일 API는 개발자가 하드웨어 차이를 직접 다루는 부담을 줄이지만 내부 복잡성까지 없애지는 않는다. 모델이 바뀔 때마다 여러 컴파일 경로를 검증해야 하고, 특정 장비나 네트워크 구간의 문제가 전체 요청을 연쇄적으로 늦추지 않도록 격리해야 한다. 낮은 지연시간과 높은 처리량을 동시에 요구하는 서비스에서는 작업 분할 자체가 새 병목이 될 가능성도 있다.

현재 확인된 것은 투자 규모와 기업가치, 참여 투자자, 그리고 Gimlet Labs가 공개한 멀티실리콘 설계다. 아직 확인되지 않은 것은 계약 파이프라인이 실제 매출로 전환되는 속도, 대규모 이기종 인프라의 운영비, 최대 10배 성능의 독립 재현성이다. 고객 배치 규모와 비교 조건을 명시한 벤치마크가 공개돼야 이번 투자가 전제한 기술적·사업적 우위를 판단할 수 있다.