PrismML: Đánh giá về tương lai của các mô hình ngôn ngữ lớn chạy trực tiếp trên thiết bị

#Quasa #QUA #prismml

PrismML là một công ty nghiên cứu AI có trụ sở tại Hoa Kỳ (với nền tảng vững chắc bắt nguồn từ Caltech), tập trung vào một thách thức then chốt: làm thế nào để nhân lên trí thông minh của các mô hình mà không làm tăng kích thước hay độ phức tạp của chúng. Giải pháp của họ là các mô hình có mật độ cực cao, được nén mạnh, mang lại hiệu năng cao trong khi sử dụng ít bộ nhớ, năng lượng và tài nguyên tính toán hơn đáng kể.

Sản phẩm chủ lực của họ, Bonsai 27B, là mô hình có 27 tỷ tham số, với các phiên bản 1-bit (chỉ 3.9 GB) và tam phân (5.9 GB). Điều này cho phép một mô hình có quy mô như vậy chạy trực tiếp trên điện thoại thông minh và máy tính xách tay — điều trước đây không thể thực hiện với các mô hình có độ chính xác đầy đủ tiêu chuẩn. PrismML tuyên bố phiên bản 1-bit sử dụng ít bộ nhớ hơn 14×, chạy nhanh hơn 8× và tiêu thụ ít năng lượng hơn 5× so với các mô hình 16-bit truyền thống, trong khi vẫn hỗ trợ suy luận nhiều bước, gọi công cụ, quy trình làm việc của tác nhân AI và khả năng hiểu đa phương thức.

Triết lý cốt lõi của công ty là “mật độ trí thông minh” — tối đa hóa trí thông minh hữu ích trên mỗi bit thay vì chỉ tăng số lượng tham số. Cách tiếp cận này nhằm giải quyết đồng thời hai vấn đề lớn: các mô hình lớn không thể chứa vừa trên thiết bị cá nhân và nhu cầu năng lượng không bền vững của các trung tâm dữ liệu khổng lồ.

PrismML là lựa chọn lý tưởng cho các nhà phát triển, nhà sản xuất phần cứng, nhà nghiên cứu và các công ty muốn AI mạnh mẽ chạy cục bộ với khả năng bảo vệ quyền riêng tư cao, độ trễ thấp và hiệu quả sử dụng năng lượng cao.

Điểm nổi bật

• Công nghệ nén 1-bit và tam phân đẳng cấp thế giới (dòng Bonsai).
• Bonsai 27B chạy trên điện thoại chỉ với ~4 GB.
• Cải thiện đáng kể về bộ nhớ, tốc độ và hiệu quả sử dụng năng lượng.
• Hỗ trợ suy luận, sử dụng công cụ và các khả năng đa phương thức ngay trên thiết bị.
• Nền tảng nghiên cứu vững chắc từ Caltech.

Những điểm có thể cần cân nhắc

• Là một công nghệ tương đối mới, sự hỗ trợ từ hệ sinh thái và các công cụ tinh chỉnh vẫn đang được mở rộng.
• Hiện tại, kết quả tốt nhất được ghi nhận trên phần cứng điện thoại di động và máy tính xách tay cao cấp, hiện đại.

Đánh giá tổng thể: 4.6/5 sao

PrismML đang thúc đẩy một trong những hướng phát triển tiên phong quan trọng nhất của AI hiện nay — giúp các mô hình lớn trở nên thiết thực trên những thiết bị hằng ngày. Bằng cách tập trung vào mật độ trí thông minh thay vì chỉ kích thước, công ty đang góp phần đưa AI mạnh mẽ từ đám mây ra biên một cách có ý nghĩa.

Bạn cũng có thể nhận phần thưởng QUA bằng cách viết đánh giá trên Quasa.io!

Bắt đầu: https://quasa.io/projects/prismml