Fractile trên Quasa: Đánh giá chip suy luận AI thế hệ mới

#Quasa #QUA #fractile

Fractile là một công ty công nghệ chuyên sâu có trụ sở tại Vương quốc Anh, đang phát triển các bộ xử lý chuyên dụng được thiết kế để tăng tốc vượt bậc quá trình suy luận của các mô hình tiên tiến nhất. Đổi mới then chốt của họ là bố trí xen kẽ bộ nhớ và các thành phần tính toán ngay trên cùng một đế silicon — một kiến trúc khắc phục sự tách biệt truyền thống giữa bộ nhớ và bộ phận xử lý, vốn đang hạn chế tốc độ và làm tăng chi phí suy luận của các mô hình ngôn ngữ lớn.

Bằng cách tiếp cận toàn bộ hệ thống (từ thiết kế ở cấp độ bóng bán dẫn đến phần mềm suy luận trên đám mây), Fractile hướng đến việc đồng thời đạt được độ trễ thấp và thông lượng cao. Công ty tuyên bố các bộ xử lý của mình có thể chạy những mô hình tiên tiến nhất nhanh hơn tới 25× với chi phí chỉ khoảng 1/10th so với các giải pháp hiện có, đồng thời cung cấp hiệu quả hàng nghìn token mỗi giây cho hàng nghìn người dùng đồng thời.

Mức cải thiện hiệu năng này được kỳ vọng không chỉ tối ưu hóa các hệ thống đang triển khai mà còn mở ra những khả năng mới: cửa sổ ngữ cảnh dài hơn đáng kể và các tác vụ tự chủ phức tạp (như nghiên cứu hoặc phát triển phần mềm quy mô lớn) hiện đòi hỏi nhiều ngày làm việc của con người có thể được rút ngắn xuống còn vài phút.

Fractile đã huy động được $220 million từ các nhà đầu tư, bao gồm Accel, Factorial Funds và Founders Fund của Peter Thiel. Đội ngũ làm việc tại Bristol và London, kết hợp chuyên môn sâu về phần cứng, phần mềm và hệ thống AI.

Fractile là lựa chọn lý tưởng cho các phòng thí nghiệm AI, nhà cung cấp dịch vụ đám mây và doanh nghiệp cần thực hiện suy luận cho các mô hình tiên tiến nhất ở quy mô lớn với tốc độ nhanh hơn đáng kể và hiệu quả chi phí cao hơn nhiều.

Điểm nổi bật

• Kiến trúc đột phá với bộ nhớ và các thành phần tính toán được bố trí xen kẽ.
• Tuyên bố suy luận nhanh hơn tới 25× với chi phí chỉ ~1/10th.
• Được thiết kế để đồng thời đạt độ trễ thấp và thông lượng cao.
• Phát triển toàn bộ hệ thống từ silicon đến phần mềm.
• Nguồn vốn dồi dào và đội ngũ kỹ thuật giàu kinh nghiệm.

• Những điểm cần cân nhắc

• Phần cứng vẫn đang trong quá trình phát triển (chip thương mại dự kiến sẽ ra mắt sau).
• Các số liệu hiệu năng hiện tại dựa trên kết quả nội bộ và mô phỏng.
• Phù hợp nhất với các tổ chức đang lên kế hoạch xây dựng cơ sở hạ tầng suy luận quy mô lớn.

Đánh giá tổng thể: 4.6/5 sao

Fractile đang giải quyết một trong những nút thắt nghiêm trọng nhất của AI hiện đại — chi phí cao và tốc độ hạn chế khi thực hiện suy luận với các mô hình tiên tiến nhất. Bằng cách thiết kế lại mối quan hệ giữa bộ nhớ và các thành phần tính toán ở cấp độ silicon, công ty có tiềm năng tạo ra thay đổi đáng kể về hiệu quả kinh tế khi vận hành các mô hình AI tiên tiến.

Bạn cũng có thể nhận phần thưởng QUA bằng cách viết đánh giá trên Quasa.io!

Bắt đầu: https://quasa.io/projects/fractile