Anyscale – komerciāla platforma Ray klasteriem, apmācībai un modeļu darbināšanai | Quasa.io

#Quasa #QUA #Anyscale

Anyscale ir Ray veidotāju komerciālā platforma: sadalīta datu apstrāde, apmācība, pakešu inference un modeļu darbināšana CPU/GPU/TPU klasteros. Oficiālais norēķinu modelis ir uz patēriņu balstīti Anyscale Credits — publiski pieejamas fiksētas SaaS maksas par lietotāja vietu nav. Hosted: Anyscale pārvaldītas virtuālās mašīnas, norēķini ar karti, atbalsts darba laikā. BYOC: jūsu VPC un rezervētie GPU, rēķins no mākoņpakalpojumu tirgus, 24×7 SLAs. Publicētie Hosted cenu piemēri: tikai CPU — no aptuveni AC $0.0135/hr, T4 ~$0.57, L4 ~$0.95, A10G ~$1.36, A100 ~$4.96; par H/B klasi jāsazinās ar pakalpojuma sniedzēju. Kubernetes/mašīnu pūlu tarifi atšķiras (H100 platformas maksa ~AC $7.16/hr papildus jūsu mākoņpakalpojumu rēķinam). Sākuma veidnes var palaist, izmantojot kredītus dažu dolāru vērtībā. Atvērtā pirmkoda Ray joprojām var bez maksas darbināt patstāvīgi. Tā nav ar vienu klikšķi lietojama LLM API, un tā nav lētāka par tiešu mākoņresursu izmantošanu, ja klasteri stāv dīkstāvē. Sāciet ar Hosted. Pārejiet uz BYOC, kad svarīgas kļūst resursu rezervācijas un datu glabāšanas atrašanās vieta.

GALVENĀS PRIEKŠROCĪBAS
• Izstrādājuši Ray autori
• Tās pašas Python API no klēpjdatora līdz 64+ GPU
• Hosted vai jūsu mākonis
• GPU apvienošana pūlā vairākās mākoņvidēs
• Uzdevumu un Serve darbības pārredzamība  

IDEĀLI PIEMĒROTS
Komandām, kas jau raksta kodu ar Ray un kam vajadzīgi klasteri darbam produkcijas vidē, nevis vēl viens piezīmju grāmatiņu apvalks.

SVARĪGĀKAIS
• Tiek apgalvots, ka Ray ir 500M+ lejupielāžu
• Maksājiet tikai par darbības stundām
• vLLM / Train / Data vienā platformā
• BYOC norēķini mākoņpakalpojumu tirgū
• Veidnes, sākot no dažiem dolāriem  

IESPĒJAMIE APSVĒRUMI
• Platformas maksa tiek piemērota papildus mākoņa GPU izmaksām
• Hosted reģionu izvēle ir ierobežota
• Par H100+ jārunā ar pārdošanas komandu
• Dīkstāvē esoši klasteri joprojām rada izmaksas, ja tos atstājat ieslēgtus
• Ziņas par īpašnieku maiņu (Nscale darījums) ir nošķiramas no paša produkta  

KOPĒJAIS VĒRTĒJUMS
4.4/5 zvaigznes. Izmantojiet Hosted kredītus, lai pārbaudītu uzdevuma izpildi. Iegādājieties BYOC, ja jau maksājat par GPU un jums vajadzīga Ray ekspluatācijas pārvaldība, saglabājot savu VPC. Nopelniet arī QUA atlīdzību, publicējot atsauksmi vietnē Quasa.io!

SĀCIET: https://quasa.io/projects/anyscale