Subquadratic trên Quasa: Đánh giá LLM đầu tiên có độ phức tạp dưới bậc hai

#Quasa #QUA #subquadratic

Subquadratic là một công ty nghiên cứu và hạ tầng AI tiên phong đang xây dựng một lớp mô hình ngôn ngữ lớn mới. Mô hình chủ lực của công ty, SubQ, là LLM đầu tiên được xây dựng trên kiến trúc chú ý thưa hoàn toàn có độ phức tạp dưới bậc hai. Khác với các mô hình Transformer truyền thống có độ phức tạp tăng theo bậc hai của độ dài ngữ cảnh ($O(n^2)$), SubQ có độ phức tạp tăng tuyến tính ($O(n)$), giúp việc suy luận với hàng triệu tokens trở nên khả thi và hiệu quả.

SubQ được thiết kế riêng cho các tác vụ có ngữ cảnh dài. Mô hình có thể xử lý toàn bộ kho mã nguồn, lịch sử hoạt động dài của tác nhân, các yêu cầu hợp nhất mã trong nhiều tháng và các trạng thái được duy trì liên tục trong một câu lệnh duy nhất mà không làm suy giảm chất lượng. Mô hình hiện hỗ trợ cửa sổ ngữ cảnh lên đến 12 triệu tokens và đạt hiệu suất cao trên cả các bộ đánh giá truy xuất trong ngữ cảnh dài lẫn suy luận tổng quát. Với 1 triệu tokens, SubQ cần ít tài nguyên tính toán hơn đáng kể (theo công bố, ít hơn 64.5× so với cơ chế chú ý dày đặc) và chạy nhanh hơn đáng kể so với các cơ chế chú ý tiêu chuẩn.

Công ty tập trung vào nguyên tắc “hiệu quả chính là trí thông minh.” Bằng cách giải quyết nút thắt bậc hai ở cấp độ kiến trúc, Subquadratic hướng tới việc tạo điều kiện cho một thế hệ tác nhân AI mới thực sự có thể làm việc với lượng ngữ cảnh lớn thay vì dựa vào việc chia nhỏ, tóm tắt hoặc các thủ thuật truy xuất.

Subquadratic là lựa chọn lý tưởng cho các nhà phát triển, tác nhân lập trình, đội ngũ doanh nghiệp và nhà nghiên cứu cần khả năng suy luận đáng tin cậy với ngữ cảnh dài — đặc biệt là để phân tích toàn bộ cơ sở mã nguồn, vận hành tác nhân trong thời gian dài và thực hiện các tác vụ phức tạp trên nhiều tài liệu.

Điểm nổi bật

• Kiến trúc LLM đầu tiên hoàn toàn có độ phức tạp dưới bậc hai (tăng tuyến tính).
• Ngữ cảnh hàng triệu tokens (lên đến 12M tokens).
• Khả năng truy xuất mạnh mẽ trong ngữ cảnh dài với hiệu quả cao.
• Được thiết kế để xử lý toàn bộ kho mã nguồn và trạng thái tác nhân được duy trì liên tục.
• API tương thích với OpenAI và các tích hợp tác nhân lập trình.

• Những điểm có thể cần cân nhắc

• Là một mô hình nghiên cứu tiên phong, hệ sinh thái rộng hơn và các biến thể kích thước của mô hình vẫn đang tiếp tục được mở rộng.
• Phù hợp nhất với các trường hợp sử dụng ngữ cảnh dài hơn là trò chuyện thông thường bằng câu lệnh ngắn.

Đánh giá tổng thể: 4.7/5 sao

Subquadratic đang giải quyết một trong những hạn chế quan trọng nhất của các LLM hiện nay — chi phí tính toán tăng theo bậc hai của cơ chế chú ý. Bằng cách mang lại khả năng suy luận thực tiễn với hàng triệu tokens mà cần ít tài nguyên tính toán hơn nhiều, SubQ đánh dấu một bước tiến kiến trúc đáng kể cho các tác nhân và ứng dụng có ngữ cảnh dài.

Hãy cùng nhận phần thưởng QUA bằng cách viết đánh giá trên Quasa.io!

Bắt đầu: https://quasa.io/projects/subquadratic