Gimlet Labs에 3억 달러, AI 추론 경쟁이 전력 효율로 옮겨갔다

AI 추론 인프라 기업 Gimlet Labs는 2026년 9월 4일 Andreessen Horowitz가 주도한 3억 달러 규모의 시리즈 B를 공개했다. Gimlet Labs의 공식 발표 에 따르면 Samsung Ventures와 Arm, Microsoft의 벤처투자 조직 M12, Sapphire Ventures, Menlo Ventures, Tiger Global Management 등이 라운드에 참여했다.

이번 거래에서 기업가치는 30억 달러로 평가됐다. Bloomberg News의 거래 보도 는 조달액과 기업가치, Andreessen Horowitz의 주도 사실을 확인했다. 투자자별 출자액과 거래의 세부 조건은 공개되지 않았다.

투자금이 향한 곳은 GPU 수량보다 전력당 처리량이다

이번 투자의 핵심은 GPU를 더 많이 사들이는 것만으로 추론 용량을 늘리는 방식에서 벗어나는 데 있다. 데이터센터의 전력 인입과 랙 밀도, 냉각 용량이 제한되면 서버를 확보하더라도 모두 가동하기 어렵다. 투자 관점에서는 보유한 칩의 수보다 같은 전력 범위에서 실제 판매 가능한 추론 요청을 얼마나 처리하는지가 중요해진다.

Gimlet Labs가 내세운 멀티실리콘 클라우드는 GPU를 하나의 새로운 프로세서로 대체하는 서비스가 아니다. GPU와 CPU, 메모리 인접 연산 장치, 데이터플로형 가속기처럼 특성이 다른 하드웨어를 하나의 자원 풀로 묶고, 추론 작업의 각 부분을 적합한 장치에 배치하는 구조다. 특정 칩의 용량이 부족할 때 다른 가용 하드웨어를 활용해 유휴 자원을 줄이는 것도 목표에 포함된다.

Samsung Ventures의 참여는 한국 시장에서도 눈에 띄는 대목이지만, 이를 Samsung Electronics와의 공급 계약이나 기술 채택으로 확대해석할 근거는 없다. 공개된 투자자 명단에는 삼성 측 개별 투자액이나 공동 제품, 반도체 공급 조건이 제시되지 않았다. 현재 확인할 수 있는 범위는 재무적 투자 참여까지다.

프리필과 디코드의 병목이 서로 다르다

대규모 언어모델 추론은 성격이 같은 하나의 연산으로 이뤄지지 않는다. 입력 문맥을 한꺼번에 처리하는 프리필(prefill)은 계산 성능의 영향을 크게 받는 반면, 답변 토큰을 순차적으로 생성하는 디코드(decode)는 모델 가중치와 키·값 캐시를 반복해 읽기 때문에 메모리 대역폭이 주요 병목이 된다. 한 종류의 프로세서가 두 단계에서 비용과 처리량, 지연시간을 모두 최적화하기 어려운 이유다.

a16z의 기술·투자 설명 에 따르면 Gimlet Labs의 컴파일러는 모델을 대상 하드웨어에 맞게 최적화하고, 런타임은 프리필과 디코드 또는 모델의 계층과 연산을 서로 다른 프로세서에 배치한다. 개발자에게는 이기종 구성이 하나의 추론 API 뒤에서 작동하도록 설계됐다. 이 자료는 동일한 전력 범위에서 처리량과 상호작용성이 최대 10배 개선됐다고 주장한다.

이 구조가 효과를 내려면 각 장치가 잘하는 작업에서 얻는 이익이 장치 사이의 데이터 이동 비용보다 커야 한다. 프리필 결과와 키·값 캐시를 디코드 장치로 넘기는 시간이 길어지면 연산 단계에서 줄인 지연이 네트워크에서 다시 발생한다. 요청이 몰릴 때 작업을 재배치하는 스케줄러도 현재 이용률뿐 아니라 통신비용과 서비스 지연 목표를 함께 계산해야 한다.

최대 10배는 독립 검증된 수치가 아니다

공개된 성능 배수는 Gimlet Labs와 주도 투자사가 제시한 자체 자료이며, 독립 기관이 측정한 비교시험 결과가 아니다. 사용한 모델과 칩 구성, 입력 길이, 동시 요청 수, 비교 대상의 소프트웨어 최적화 수준이 충분히 제시되지 않은 상태에서는 다른 환경에서도 같은 결과가 나오는지 판단하기 어렵다. 따라서 최고 수치를 모든 모델과 서비스에 적용되는 확정 성능으로 볼 수 없다.

추론 시스템의 성능은 하나의 숫자로 정리하기도 어렵다. 여러 요청을 묶어 처리하면 장치 이용률과 전체 처리량은 높아질 수 있지만, 개별 이용자가 첫 토큰을 받기까지 기다리는 시간은 늘어날 수 있다. 처리량과 상호작용성이 함께 좋아졌다는 주장을 검증하려면 첫 토큰 지연, 이후 토큰 생성 속도, 동시 처리량을 같은 서비스 수준에서 비교해야 한다.

전력 효율의 측정 경계도 결과를 바꾼다. 가속기 보드의 소비전력만 계산한 값과 CPU, 메모리, 네트워크 스위치, 전력변환 손실, 냉각 부하까지 포함한 데이터센터 수준의 값은 같지 않다. 투자자가 확인해야 할 경제성은 순간적인 최고 속도보다 장기간의 이용률과 요청당 총비용, 실제 청구 가능한 처리량에 가깝다.

이기종 연산은 운영 복잡성을 없애지 않는다

멀티실리콘 방식은 칩 선택지를 넓히지만 복잡성을 소프트웨어와 시설 운영 계층으로 옮긴다. 제조사마다 명령어 체계와 개발 도구, 메모리 구조가 다르기 때문에 컴파일러는 같은 모델 연산을 여러 대상으로 안정적으로 변환해야 한다. 칩별 최적화가 바뀔 때 출력의 정확도와 수치적 일관성을 유지하는 검증도 필요하다.

물리적 데이터센터에서는 네트워크 토폴로지와 랙당 전력 밀도, 냉각 조건이 서로 다른 서버를 함께 관리해야 한다. 소프트웨어가 작업 배치를 자동화하더라도 배선과 스위치 용량, 냉각수 조건, 장애 복구까지 동일해지는 것은 아니다. 지원하는 칩의 종류가 많다는 사실보다 이런 차이를 예측 가능한 서비스 수준으로 통합하는 능력이 상용 경쟁력을 좌우한다.

비용 구조에도 상반된 효과가 생길 수 있다. 기존 유휴 장치를 추론에 활용하고 특정 가속기의 공급 부족을 우회하면 자본 효율이 높아질 수 있지만, 여러 하드웨어용 소프트웨어를 유지하고 데이터 이동을 관리하는 비용은 증가한다. 결국 경제성은 칩 구매가격 하나가 아니라 전력, 네트워크, 냉각, 소프트웨어 운영을 합친 총비용으로 평가해야 한다.

기업가치 30억 달러 이후 남은 검증

현재 확인된 것은 라운드의 규모와 기업가치, 주도 투자사, Samsung Ventures를 포함한 참여자 구성이다. Gimlet Labs가 서로 다른 프로세서에 추론 작업을 분산해 제한된 전력에서 이용 가능한 연산 용량을 늘리려는 방향도 분명하다. 반면 투자자별 출자액과 자금 집행 일정, 삼성 측과의 구체적인 사업 협력은 알려지지 않았다.

기술적 판단에는 실제 고객 환경의 비교 자료가 더 필요하다. 동일한 모델 품질과 지연 목표 아래에서 균질한 서버 구성보다 요청당 비용과 전체 전력, 지속 처리량이 얼마나 달라지는지 공개돼야 한다. 특정 종류의 칩이 포화되거나 장애가 발생했을 때 다른 하드웨어로 옮긴 작업이 같은 정확도와 응답시간을 유지하는지도 검증 대상이다.

이번 거래는 AI 추론 인프라의 투자 기준이 단순한 가속기 확보량을 넘어 전력당 유효 처리량과 이기종 자원의 운영 능력으로 넓어지고 있음을 보여준다. 다만 높은 기업가치가 기술적 우위를 보증하지는 않는다. 다음 단계에서 필요한 것은 제한된 조건의 최고 배수가 아니라 상용 부하에서 비용과 지연, 처리량을 함께 측정한 재현 가능한 자료다.

함께 읽기:

• Metriport에 2600만 달러…의료 AI 경쟁이 환자 기록으로 내려갔다