Gimlet Labs gọi 300 triệu USD: AI phải dùng đúng loại chip cho từng việc
Ngày 4/9/2026, Gimlet Labs, startup hạ tầng AI có trụ sở tại San Francisco, huy động 300 triệu USD trong vòng Series B do Andreessen Horowitz dẫn đầu. bản tin Reuters xác nhận thương vụ định giá công ty ở mức 3 tỷ USD, với sự tham gia của Sapphire Ventures, M12 thuộc Microsoft, Arm, Menlo Ventures và Factory.
Cũng trong thông tin về thương vụ ngày 4/9, SiliconANGLE mô tả nền tảng của Gimlet có thể chia mô hình ngôn ngữ thành các mô-đun, tối ưu mã và đưa từng mô-đun lên kiến trúc chip phù hợp với nhu cầu tính toán hoặc bộ nhớ. Đây là luận điểm trung tâm phía sau vòng vốn: thay vì buộc toàn bộ quá trình suy luận chạy trên một loại phần cứng, Gimlet muốn chọn silicon theo đặc tính của từng phần việc.
Series B đặt cược vào hạ tầng suy luận đa silicon
Khoản đầu tư không chỉ tài trợ cho việc bổ sung máy chủ. Gimlet đang xây một lớp phần mềm điều phối GPU, CPU, kiến trúc tính toán gần bộ nhớ và các bộ tăng tốc chuyên dụng như một nhóm tài nguyên chung. Vốn mới được dành cho hoạt động của Gimlet Cloud và mở rộng đội ngũ, trong khi công ty hướng tới quy mô hàng trăm megawatt công suất được quản lý.
Mức định giá 3 tỷ USD phản ánh kỳ vọng rằng lớp điều phối phần cứng có thể trở thành một phần có giá trị của chuỗi hạ tầng AI. Tuy nhiên, định giá của vòng vốn không tự chứng minh hiệu quả kỹ thuật hay mức tiết kiệm cho khách hàng. Giá trị kinh doanh chỉ hình thành nếu hệ thống tạo được nhiều token hơn trong cùng giới hạn điện và độ trễ, đồng thời không làm chi phí vận hành tăng quá mạnh.
Cách đặt cược này cũng khác với việc chọn một bộ tăng tốc duy nhất rồi tối ưu mọi mô hình cho thiết bị đó. Gimlet muốn giữ quyền lựa chọn giữa nhiều kiến trúc và thay đổi cách phân bổ theo tải thực tế. Nếu một loại thiết bị dành cho một pha đã kín tải, bộ lập lịch có thể dùng phần cứng còn trống phù hợp kế tiếp, thay vì để toàn bộ yêu cầu chờ một nhóm chip.
Prefill và decode tạo ra hai bài toán phần cứng khác nhau
Một yêu cầu gửi tới mô hình ngôn ngữ thường có hai pha lớn. Prefill đọc toàn bộ lời nhắc, xử lý ngữ cảnh và tạo KV cache nên thiên về năng lực tính toán song song. Decode sinh kết quả từng token và liên tục đọc lại trạng thái, vì vậy thường nhạy hơn với băng thông bộ nhớ.
Trong công bố Series B của Gimlet Labs, công ty cho biết phần mềm truy vết và phân rã workload rồi lập lịch từng pha trên phần cứng thích hợp; các cách tách gồm prefill/decode, speculative decode và tách attention khỏi mạng feed-forward. Gimlet tuyên bố mô hình chạy trên nhiều loại bộ tăng tốc có thể nhanh hơn 5–10 lần trong cùng mức điện, hoặc tăng thông lượng ở cùng độ trễ, nhưng chưa công bố trong bài viết một bộ benchmark độc lập đầy đủ cho mọi mô hình và tổ hợp chip.
Minh họa đơn giản là đưa prefill lên thiết bị có năng lực tính toán cao, sau đó chuyển trạng thái cần thiết sang thiết bị có băng thông bộ nhớ phù hợp hơn cho decode. Ở mức chi tiết hơn, mô-đun attention và mạng feed-forward cũng có thể được phân bổ khác nhau. Vì vậy, “đúng loại chip” không phải một lựa chọn cố định cho toàn bộ AI mà là quyết định theo từng pha, mô-đun, mục tiêu độ trễ và phần cứng đang sẵn có.
Hiệu suất trên mỗi watt chỉ có giá trị khi giảm chi phí toàn hệ thống
Đối với trung tâm dữ liệu bị giới hạn nguồn điện, hiệu năng của một chip riêng lẻ chưa phải thước đo quyết định. Nhà vận hành cần tính số token hoặc số yêu cầu hoàn thành trong một đơn vị thời gian, tại mức điện năng và độ trễ đã cam kết. Nếu cách phân bổ mới tăng thông lượng trong cùng giới hạn điện, phần công suất đó có thể phục vụ thêm khách hàng mà chưa phải mở rộng hạ tầng tương ứng.
Lợi ích còn có thể đến từ tỷ lệ sử dụng thiết bị. Cụm đồng nhất dễ để một số tài nguyên chờ khi workload không khai thác cân bằng năng lực tính toán và băng thông bộ nhớ. Một bộ lập lịch đa silicon có thể ghép phần việc với tài nguyên còn trống tốt hơn, nhưng chỉ khi trình biên dịch tạo được mã hiệu quả và hệ thống dự đoán đúng nút thắt của từng mô-đun.
So sánh kinh tế vì thế phải giữ cố định mô hình, chất lượng đầu ra, độ dài ngữ cảnh, số yêu cầu đồng thời và mục tiêu độ trễ. Sau đó mới có thể đối chiếu tổng chi phí trên mỗi token, điện năng trên mỗi token, thông lượng duy trì và tỷ lệ sử dụng thiết bị. Một con số tăng tốc tối đa không thể tự động chuyển thành mức tiết kiệm tương ứng vì giá chip, mạng, làm mát và nhân lực vận hành vẫn khác nhau giữa các cấu hình.
Chi phí truyền dữ liệu là phép thử khó của kiến trúc đa chip
Chuyên môn hóa chỉ có lợi khi phần hiệu quả thu được lớn hơn chi phí kết nối các thiết bị. Tách prefill và decode đòi hỏi chuyển KV cache từ nút xử lý lời nhắc sang nút sinh token. Nếu trạng thái lớn, liên kết chậm hoặc yêu cầu quá ngắn, thời gian truyền có thể làm mất phần độ trễ vừa tiết kiệm.
Hệ thống đa nhà cung cấp còn phải xử lý khác biệt về định dạng dữ liệu, trình biên dịch, runtime và khả năng quan sát. Mỗi lần workload đi qua ranh giới giữa hai kiến trúc đều có thể phát sinh bước chuyển đổi hoặc đồng bộ. Một nút thắt ở mạng hay lớp điều phối có thể khiến bộ tăng tốc đắt tiền phải chờ dù từng thiết bị riêng lẻ đạt hiệu năng cao.
Đây cũng là giới hạn của lời hứa giảm phụ thuộc nhà cung cấp. Khách hàng có thêm lựa chọn phần cứng, nhưng đồng thời phụ thuộc nhiều hơn vào phần mềm dùng để phân rã mô hình, biên dịch mã và lập lịch workload. Khả năng chuyển sang nền tảng khác sẽ tùy thuộc mức độ mở của định dạng, công cụ triển khai và dữ liệu đo chi phí theo từng mô-đun.
Sau vòng Series B, các dữ kiện đã rõ là số vốn 300 triệu USD, mức định giá 3 tỷ USD và chiến lược mở rộng nền tảng suy luận đa silicon. Những phần chưa được chứng minh rộng rãi là hiệu quả trên các workload sản xuất khác nhau, chi phí truyền trạng thái giữa nhiều loại chip và mức tiết kiệm sau khi tính đủ mạng, điện, làm mát cùng công sức vận hành. Các benchmark có thể đối chiếu độc lập sẽ quyết định liệu kiến trúc này trở thành lợi thế kinh tế hay chỉ chuyển nút thắt từ chip sang phần mềm và kết nối.
Đọc thêm:
Đăng ký bản tin
Nhận tin Web3, AI và tiền mã hóa mới nhất ngay trong hộp thư.