Anyscale – Nền tảng thương mại cho các cụm Ray, huấn luyện và phục vụ mô hình | Quasa.io

#Quasa #QUA #Anyscale

Anyscale là nền tảng thương mại do những người tạo ra Ray phát triển: xử lý dữ liệu phân tán, huấn luyện, suy luận theo lô và phục vụ mô hình trên các cụm CPU/GPU/TPU. Mô hình tính phí chính thức sử dụng Anyscale Credits theo mức sử dụng—không công bố mức phí SaaS cố định theo chỗ người dùng. Hosted: máy ảo do Anyscale quản lý, thanh toán bằng thẻ, hỗ trợ trong giờ làm việc. BYOC: VPC và GPU đặt trước của bạn, hóa đơn qua marketplace, SLA 24×7. Các ví dụ về giá Hosted đã công bố: chỉ dùng CPU từ khoảng AC $0.0135/hr, T4 ~$0.57, L4 ~$0.95, A10G ~$1.36, A100 ~$4.96; dòng H/B cần liên hệ để biết giá. Mức phí Kubernetes/nhóm máy khác nhau (H100 có phí nền tảng ~AC $7.16/hr cộng với hóa đơn đám mây của bạn). Các mẫu khởi đầu có thể chạy với vài đô la tín dụng. Ray mã nguồn mở vẫn miễn phí khi tự vận hành. Đây không phải là API LLM dùng ngay chỉ bằng một cú nhấp chuột và cũng không rẻ hơn việc dùng trực tiếp dịch vụ đám mây nếu các cụm không hoạt động. Hãy bắt đầu với Hosted. Chuyển sang BYOC khi việc đặt trước tài nguyên và nơi lưu trữ dữ liệu trở nên quan trọng.

ĐIỂM MẠNH CỐT LÕI
• Do chính các tác giả của Ray xây dựng
• Dùng cùng các API Python từ máy tính xách tay đến 64+ GPU
• Hosted hoặc đám mây của bạn
• Gộp tài nguyên GPU trên nhiều đám mây
• Khả năng quan sát các tác vụ và Serve  

LÝ TƯỞNG CHO
Các nhóm đã viết mã bằng Ray và cần các cụm phục vụ môi trường sản xuất, thay vì thêm một lớp bọc cho notebook.

ĐIỂM NỔI BẬT
• Ray được công bố có 500M+ lượt tải xuống
• Chỉ trả phí cho số giờ chạy
• vLLM / Train / Data trên cùng một nền tảng
• Thanh toán qua marketplace trên BYOC
• Các mẫu có thể chạy với vài đô la  

NHỮNG ĐIỂM CẦN CÂN NHẮC
• Phí nền tảng được tính thêm ngoài chi phí GPU đám mây
• Các khu vực cung cấp Hosted còn hạn chế
• H100+ cần trao đổi với bộ phận bán hàng
• Các cụm không hoạt động vẫn phát sinh chi phí nếu bạn để chúng chạy
• Tin tức về quyền sở hữu (thương vụ Nscale) là vấn đề riêng biệt với sản phẩm  

ĐÁNH GIÁ TỔNG THỂ
4.4/5 sao. Dùng tín dụng Hosted để kiểm chứng tác vụ. Mua BYOC khi bạn đã trả tiền cho GPU và cần vận hành Ray mà vẫn giữ VPC. Bạn cũng có thể nhận phần thưởng 1 QUA bằng cách viết đánh giá trên Quasa.io!

BẮT ĐẦU: https://quasa.io/projects/anyscale