Anyscale – แพลตฟอร์มเชิงพาณิชย์สำหรับคลัสเตอร์ Ray การฝึกโมเดลและการให้บริการโมเดล | Quasa.io

#Quasa #QUA #Anyscale

Anyscale คือแพลตฟอร์มเชิงพาณิชย์จากผู้สร้าง Ray สำหรับข้อมูลแบบกระจาย การฝึกโมเดล การอนุมานแบบแบตช์ และการให้บริการโมเดลบนคลัสเตอร์ CPU/GPU/TPU รูปแบบการคิดค่าบริการอย่างเป็นทางการใช้ Anyscale Credits ตามการใช้งาน โดยไม่มีราคา SaaS แบบเหมาจ่ายต่อผู้ใช้ที่เปิดเผยต่อสาธารณะ Hosted: ใช้ VMs ที่ Anyscale จัดการ ชำระเงินผ่านบัตร และรับการสนับสนุนในเวลาทำการ BYOC: ใช้ VPC และ GPUs ที่จองไว้ของคุณเอง รับใบแจ้งหนี้ผ่านมาร์เก็ตเพลส และมี SLAs แบบ 24×7 ตัวอย่างราคา Hosted ที่เผยแพร่: แบบใช้เฉพาะ CPU เริ่มต้นประมาณ AC $0.0135/hr, T4 ~$0.57, L4 ~$0.95, A10G ~$1.36, A100 ~$4.96 ส่วน H/B-class ต้องติดต่อสอบถามราคา อัตราสำหรับ Kubernetes/พูลเครื่องแตกต่างกัน (H100 มีค่าธรรมเนียมแพลตฟอร์ม ~AC $7.16/hr บวกค่าใช้จ่ายคลาวด์ของคุณ) เทมเพลตเริ่มต้นใช้งานได้ด้วยเครดิตเพียงไม่กี่ดอลลาร์ Ray แบบโอเพนซอร์สยังคงนำไปรันเองได้ฟรี แพลตฟอร์มนี้ไม่ใช่ LLM API ที่ใช้งานได้ในคลิกเดียว และไม่ได้ถูกกว่าการใช้คลาวด์โดยตรงหากปล่อยคลัสเตอร์ว่างไว้ เริ่มจาก Hosted แล้วเปลี่ยนไปใช้ BYOC เมื่อการจองทรัพยากรและสถานที่จัดเก็บข้อมูลมีความสำคัญ

จุดแข็งหลัก
• สร้างโดยผู้พัฒนา Ray
• ใช้ Python APIs ชุดเดียวกันตั้งแต่แล็ปท็อปไปจนถึง 64+ GPUs
• เลือก Hosted หรือคลาวด์ของคุณเอง
• รวมทรัพยากร GPU จากหลายคลาวด์เป็นพูล
• ตรวจสอบสถานะและการทำงานของงานและ Serve ได้  

เหมาะสำหรับ
ทีมที่เขียนงานด้วย Ray อยู่แล้วและต้องการคลัสเตอร์สำหรับใช้งานจริง ไม่ใช่เครื่องมือครอบโน้ตบุ๊กอีกตัวหนึ่ง

จุดเด่น
• Ray ระบุว่ามียอดดาวน์โหลด 500M+
• จ่ายเฉพาะชั่วโมงที่รัน
• vLLM / Train / Data บนแพลตฟอร์มเดียว
• ชำระค่าบริการผ่านมาร์เก็ตเพลสเมื่อใช้ BYOC
• เทมเพลตเริ่มต้นที่ไม่กี่ดอลลาร์  

ประเด็นที่ควรพิจารณา
• มีค่าธรรมเนียมแพลตฟอร์มเพิ่มเติมจากค่า GPUs บนคลาวด์
• ภูมิภาคที่ให้บริการ Hosted มีจำกัด
• H100+ ต้องพูดคุยกับฝ่ายขาย
• คลัสเตอร์ที่ว่างอยู่ยังมีค่าใช้จ่ายหากคุณเปิดทิ้งไว้
• ข่าวเรื่องความเป็นเจ้าของ (ข้อตกลงกับ Nscale) เป็นคนละประเด็นกับตัวผลิตภัณฑ์  

ข้อสรุปโดยรวม
4.4/5 ดาว ใช้เครดิต Hosted เพื่อพิสูจน์ว่างานรันได้จริง ซื้อ BYOC เมื่อคุณจ่ายค่า GPUs อยู่แล้วและต้องการการดูแลระบบ Ray โดยยังคงควบคุม VPC ของคุณเอง รับรางวัล 1 QUA ด้วยการเขียนรีวิวบน Quasa.io ได้ด้วย!

เริ่มต้นใช้งาน: https://quasa.io/projects/anyscale