Anyscale – kaupallinen alusta Ray-klustereille, koulutukseen ja mallien tarjoiluun | Quasa.io

#Quasa #QUA #Anyscale

Anyscale on Rayn kehittäjien kaupallinen alusta hajautettuun datankäsittelyyn, koulutukseen, eräpäättelyyn ja mallien tarjoiluun CPU/GPU/TPU-klustereissa. Virallinen hinnoittelumalli perustuu käyttöperusteisiin Anyscale Credits -krediitteihin — julkista kiinteähintaista SaaS-käyttäjäpaikkaa ei ole. Hosted: Anyscalen hallinnoimat virtuaalikoneet, korttilaskutus ja tuki toimistoaikoina. BYOC: oma VPC ja varatut GPU:t, markkinapaikan laskutus ja 24×7-palvelutasosopimukset. Julkaistuja Hosted-hintaesimerkkejä: pelkkä CPU alkaen noin AC $0.0135/hr, T4 ~$0.57, L4 ~$0.95, A10G ~$1.36, A100 ~$4.96; H/B-luokan hinnoittelu selviää ottamalla yhteyttä. Kubernetes-/koneryhmähinnat poikkeavat näistä (H100 ~AC $7.16/hr alustamaksuna oman pilvilaskun lisäksi). Aloitusmallipohjat käynnistyvät muutaman dollarin krediiteillä. Avoimen lähdekoodin Ray on edelleen ilmainen itse ylläpidettynä. Kyseessä ei ole yhdellä napsautuksella käyttöönotettava LLM API, eikä se ole suoraa pilvikäyttöä halvempi, jos klusterit ovat käyttämättöminä. Aloita Hosted-vaihtoehdolla. Siirry BYOC-vaihtoehtoon, kun varaukset ja datan sijainti ovat tärkeitä.

KESKEISET VAHVUUDET
• Rayn tekijöiden kehittämä
• Samat Python API:t kannettavalta tietokoneelta aina 64+ GPU:n kokoonpanoihin
• Hosted tai oma pilvi
• GPU-resurssien yhdistäminen useista pilvistä
• Töiden ja Serven havainnoitavuus  

SOPII ERITYISESTI
Tiimeille, jotka jo kirjoittavat Ray-koodia ja tarvitsevat tuotantoklustereita eivätkä jälleen yhtä muistikirjakäyttöliittymää.

KOHOKOHDAT
• Raylla kerrotaan olevan 500M+ latausta
• Maksa vain käyttötunneista
• vLLM / Train / Data samalla alustalla
• Markkinapaikkalaskutus BYOC-vaihtoehdossa
• Mallipohjia muutamasta dollarista alkaen  

MAHDOLLISET HUOMIOITAVAT SEIKAT
• Alustamaksu tulee pilven GPU-kustannusten päälle
• Hosted-alueita on rajallisesti
• H100+ edellyttää keskustelua myynnin kanssa
• Käyttämättömät klusterit maksavat edelleen, jos jätät ne käyntiin
• Omistusuutiset (Nscale-kauppa) ovat tuotteesta erillinen asia  

KOKONAISARVIO
4.4/5 tähteä. Varmista työn toimivuus Hosted-krediiteillä. Osta BYOC, kun maksat jo GPU:ista ja tarvitset Rayn operointia luopumatta VPC:stä. Ansaitse myös 1 QUA -palkinto kirjoittamalla arvostelu Quasa.io-sivustolla!

ALOITA: https://quasa.io/projects/anyscale