Gimlet Labs에 3억 달러…GPU 하나로는 추론 병목을 못 푼다

AI 인프라 스타트업 Gimlet Labs가 2026년 9월 4일 Andreessen Horowitz가 주도한 시리즈 B에서 3억 달러를 조달했다. 기업가치는 30억 달러, 누적 조달액은 3억9200만 달러로 집계됐으며, SiliconANGLE의 당일 보도 도 투자 단계와 금액, 기업가치, 주도 투자사를 전했다.

9월 4일 공개된 투자의 초점은 같은 종류의 GPU를 더 쌓는 데 그치지 않는다. Gimlet Labs는 하나의 AI 추론 작업을 GPU·CPU·메모리 특화 장치·전용 가속기에 나눠 실행하는 멀티실리콘 클라우드를 확장하려 한다. 제목의 ‘GPU 하나로는 못 푼다’는 GPU가 추론을 수행하지 못한다는 뜻이 아니라, 단일 프로세서 구조만으로 처리량과 지연시간, 전력 효율을 모든 단계에서 동시에 최적화하기 어렵다는 회사의 문제의식을 가리킨다.

3억 달러가 향하는 멀티실리콘 클라우드

이번 라운드에는 Sapphire Ventures, Menlo Ventures, 645 Ventures, Arm, M12, Samsung Ventures, Tiger Global Management 등이 참여했다. Gimlet Labs의 공식 발표 에 따르면 회사는 관리 용량을 수백 메가와트 규모로 늘리는 중이며, 2026년 3월 이후 수십억 달러의 계약 매출과 기가와트 단위의 데이터센터 파이프라인을 추가했다고 주장했다.

다만 계약 상대방과 매출 인식 일정, 취소 조건, 실제 가동 중인 용량은 공개되지 않았다. ‘계약 매출’은 이미 회계상 인식된 매출과 같지 않고, 데이터센터 파이프라인도 전력과 장비가 확보돼 서비스를 제공하는 운영 용량을 뜻하지 않는다. 확인된 사실은 자금 조달과 투자자 명단이며, 사업 규모에 관한 나머지 수치는 회사가 제시한 현황이다.

회사가 자금을 투입하려는 대상도 소프트웨어만은 아니다. 여러 반도체를 하나의 자원 풀로 제공하려면 컴파일러와 런타임뿐 아니라 서버, 네트워크, 전력, 냉각 조건을 함께 운영해야 한다. 특정 GPU의 공급량을 늘리는 사업과 달리, 이미 존재하는 서로 다른 연산 자원을 묶어 제한된 전력에서 더 많은 추론 요청을 처리하겠다는 구상이다.

GPU가 아니라 ‘한 종류의 칩’이 병목이다

대규모 언어모델의 추론은 한 번의 요청처럼 보이지만 내부 작업은 균일하지 않다. 입력 문맥을 읽어 처리하는 프리필(prefill)은 병렬 계산 능력의 영향을 크게 받는다. 답변을 한 토큰씩 이어 만드는 디코드(decode)는 모델 가중치와 캐시를 반복해서 불러오므로 메모리 대역폭과 지연시간이 더 중요해진다.

동일한 가속기 집단에서 두 단계를 모두 실행하면 배치와 운영은 단순해진다. 그러나 프리필의 계산 부하와 디코드의 메모리 접근 특성이 다르기 때문에 한 단계에 맞춘 자원이 다른 단계에서는 충분히 활용되지 않을 수 있다. 여러 모델 호출과 도구 실행이 차례로 이어지는 에이전트형 작업에서는 각 호출의 지연도 누적된다.

Gimlet Labs의 전략은 GPU를 버리는 것이 아니다. GPU가 효율적인 연산은 그대로 맡기고, 메모리 접근이나 특정 데이터 흐름에 적합한 단계는 다른 가속기에 배치한다. CPU도 모델 외부의 도구 실행과 제어 작업을 맡는 자원 풀에 포함된다. 핵심은 칩의 우열을 정하는 것이 아니라 작업의 성격과 하드웨어의 강점을 맞추는 데 있다.

프리필·디코드·모델 계층을 나누는 흐름

멀티실리콘은 요청 전체를 가격이 싼 서버로 보내는 일반적인 트래픽 라우팅보다 더 세밀하다. 하나의 요청이나 하나의 모델 안에 있는 실행 단계를 분리한 뒤 서로 다른 프로세서에서 이어서 처리한다. 회사가 설명한 작업 흐름은 다음과 같다.

1. 소프트웨어가 모델 실행 경로를 추적하고 프리필, 디코드, 계층 또는 연산 단위로 작업을 분해한다.
2. 지연시간·처리량·비용 목표와 사용 가능한 하드웨어를 기준으로 각 작업의 실행 계획을 정한다.
3. 컴파일러가 분할된 작업을 목표 프로세서에 맞게 최적화한다.
4. 런타임이 장치 사이의 실행 순서와 데이터 이동을 조율하고, 특정 장치가 포화되면 남은 용량을 기준으로 작업을 재배치한다.

프리필과 디코드를 다른 장치 집합에 놓는 방식이 대표적이지만 분할 단위는 더 작아질 수 있다. 어텐션과 피드포워드 연산을 나누거나, 초안 모델과 결과를 검사하는 모델을 서로 다른 장치에서 실행하는 구성도 가능하다. 개발자에게는 하나의 추론 API로 보이더라도 내부에서는 컴파일러, 스케줄러, 네트워크와 메모리 이동이 동시에 맞아야 한다.

‘최대 10배’는 투자자와 회사가 제시한 상한

Andreessen Horowitz의 투자 설명 은 Gimlet Labs가 같은 전력 범위에서 프론티어 모델의 처리량과 상호작용성을 최대 10배 높였다고 주장한다. 같은 글은 프리필과 디코드, 모델 계층이나 연산을 여러 프로세서에 배치하고 컴파일러와 런타임으로 조율하는 구조를 설명하며, 고객으로 이름이 공개되지 않은 프론티어 AI 연구소 한 곳과 하이퍼스케일러 한 곳을 언급한다.

이 수치는 독립기관이 여러 클라우드와 칩 조합을 동일한 조건에서 비교한 공개 벤치마크가 아니다. 회사 자료도 구성에 따라 같은 전력에서 5∼10배 속도 향상 또는 같은 지연시간에서 비슷한 수준의 처리량 향상을 얻을 수 있다고 표현한다. 사용 모델, 입력 길이, 배치 크기, 칩 조합과 네트워크 조건이 공개되지 않은 만큼 ‘10배’를 모든 워크로드에 보장되는 성능으로 해석할 수는 없다.

고객 주장 역시 계약의 존재와 검증 가능한 운영 성과를 구분해야 한다. 고객 이름과 계약 범위, 실제 처리 트래픽이 공개되지 않았기 때문에 현재 확인할 수 있는 것은 투자사와 회사의 설명까지다. 실명 고객의 운영 자료나 재현 가능한 성능 측정치는 아직 제시되지 않았다.

효율의 대가는 운영 복잡성이다

여러 종류의 장치를 연결하면 기존 병목을 줄이는 대신 새로운 병목이 생길 수 있다. 장치 사이에서 중간 결과와 캐시를 옮기는 시간이 절약한 연산 시간을 넘지 않아야 하고, 컴파일러는 서로 다른 명령 체계에서도 모델이 같은 결과를 내도록 최적화해야 한다. 런타임은 요청량이 변하는 동안 각 장치의 여유 용량과 서비스 수준 목표를 계속 맞춰야 한다.

물리적 데이터센터도 균일한 GPU 클러스터보다 관리 항목이 많아진다. 서버 종류에 따라 네트워크 구성, 랙당 전력 밀도와 냉각 조건이 달라질 수 있기 때문이다. 따라서 Gimlet Labs의 경쟁력은 개별 가속기의 최고 속도보다 이질적인 장치 사이의 데이터 이동과 장애, 전력과 냉각 조건을 하나의 서비스 수준으로 관리할 수 있는지에 달려 있다.

현재 공개적으로 확인된 것은 3억 달러의 시리즈 B 조달, 30억 달러의 기업가치와 멀티실리콘 클라우드 확장 계획이다. 다음 판단에 필요한 것은 조건이 공개된 독립 벤치마크, 실명 고객의 운영 사례, 수백 메가와트로 제시된 관리 용량의 실제 가동 일정이다. 이 자료가 나와야 단일 종류의 프로세서가 만든 병목을 여러 반도체의 조합이 지속적으로 줄이는지, 일부 모델과 장치 구성에서만 큰 개선을 내는지 가려낼 수 있다.

함께 읽기:

• Lasso에 3000만달러, GPU 없는 AI 방어벽은 자체 측정치다
• Gimlet Labs에 3억 달러…AI 추론 병목을 칩 혼합으로 푼다