MLflow eða W&B: ókeypis hugbúnaður getur kostað meira í rekstri

Sjálfhýst MLflow getur kostað teymi meira en W&B þótt hugbúnaðurinn sé ókeypis: sameiginleg uppsetning krefst þjóns, gagnagrunns og geymslu fyrir afurðir, auk vinnu við að reka þessa hluta. Arkitektúrlýsing MLflow sýnir að einföld staðbundin uppsetning og sameiginleg rakningarþjónusta eru ólík verkefni. MLflow hentar því vel þegar teymið vill stjórna eigin innviðum og líkanaskrá; W&B getur hentað betur þegar sameiginleg greining tilrauna vegur þyngra en rekstur eigin þjónustu.

Þessi munur snýst um ábyrgð jafnt sem eiginleika. Samanburður BearPlex metur MLflow sterkara í líkanaskrá og útgáfuferli, en W&B sterkara í samvinnu og sjónrænni tilraunagreiningu. Það er mat á áherslum kerfanna, ekki mældur kostnaðarmunur fyrir tiltekið teymi. Hvor kosturinn er ódýrari ræðst af umfangi gagna, aðgangsþörf og þeim vinnustundum sem eigin hýsing krefst.

Hvað fær teymið í hvoru kerfi?

MLflow Tracking heldur utan um keyrslur, færibreytur, mælingar og afurðir. Í sameiginlegri uppsetningu getur rakningarþjónn tekið við gögnum frá rannsakendum, gagnagrunnur varðveitt lýsigögn og sérstök geymsla varðveitt stærri skrár á borð við líkön. Teymið ræður þá sjálft hvar þessir hlutar eru hýstir og hvernig þeir tengjast öðrum innviðum. Sá sveigjanleiki er verðmætur þegar þegar er til staðar rekstur fyrir gagnagrunna, geymslu og aðgangsstýringu.

W&B býður sameiginlegt umhverfi til að bera saman keyrslur, skoða mælingar og vinna með afurðir. Fyrir rannsóknarteymi sem rýna oft niðurstöður saman getur það fækkað handvirkum skrefum í daglegu starfi. Sá ávinningur er þó háður því að eiginleikar og aðgangur í viðkomandi áskrift passi við vinnuna. W&B býður líka skráningu afurða og líkana, svo ákvörðunin snýst ekki um hvort hægt sé að varðveita útgáfur, heldur hvaða kerfi á að vera ráðandi skrá og hvar samstarfið fer fram.

Verðskráin nær ekki utan um allan kostnaðinn

Weights & Biases er nú vara innan CoreWeave Forge, samkvæmt upplýsingum CoreWeave um W&B. Því skiptir máli að bera ný kaup saman við núverandi pakkaskilmála fremur en eldri tilvísanir í fast verð á hvert sæti. Sjálfhýst MLflow hefur hins vegar ekkert hugbúnaðarleyfisgjald sem segir til um verð á þjóni, geymslu eða vinnu við viðhald.

Í verðskrá CoreWeave Forge er ókeypis leið fyrir smærri verkefni, en Pro byrjar á 60 Bandaríkjadölum á mánuði. Pro tilgreinir allt að tíu sæti til líkanaþróunar, 100 GB af geymslu og gjald fyrir geymslu umfram það; Enterprise er verðlagt sérstaklega. Upphafsverð Pro er því ekki staðfest heildarverð fyrir hvert teymi og ekki rétt að margfalda það sjálfkrafa með fjölda starfsmanna. Ókeypis akademískt leyfi hefur jafnframt sérstök hæfisskilyrði og mörk og á ekki sjálfkrafa við um rannsóknir sem tengjast rekstri fyrirtækis.

Fyrir MLflow þarf mánaðarlegur reikningur að taka til þjóns og gagnagrunns, geymslu afurða, afrita, vöktunar, uppfærslna og vinnu við aðgangsstýringu. Uppsetningarvinnu má dreifa yfir áætlaðan notkunartíma, en hún hverfur ekki af kostnaðinum. Fyrir W&B þarf að telja þau sæti sem raunverulega þarf, viðeigandi áskrift, varðveitt gögn og gjaldskylda umframnotkun. Sama varðveislutímabil og sambærilegur aðgangur verða að liggja að baki báðum tölum; annars er verið að verðleggja ólíka þjónustu.

Reiknidæmi fyrir tveggja, fimm og tuttugu manna teymi

Eftirfarandi er skilyrt reiknidæmi, ekki tilboð eða mæling á dæmigerðum rekstri. Gerum ráð fyrir að ein innri vinnustund við rekstur og aðgangsstýringu kosti 100 Bandaríkjadali. Innviðaliðurinn nær til þjóns og gagnagrunns; geymsluliðurinn nær til afurða og afrita. Stofnkostnaður, skattar og gengisbreytingar eru ekki teknar með.

• Tveggja manna teymi: 100 dalir í innviði, 50 í geymslu og afrit og tvær vinnustundir á mánuði gera samtals 350 dali, eða 175 dali á mann ef kostnaðinum er skipt jafnt.
• Fimm manna teymi: 150 dalir í innviði, 100 í geymslu og afrit og fjórar vinnustundir gera 650 dali á mánuði, eða 130 dali á mann.
• Tuttugu manna teymi: 300 dalir í innviði, 250 í geymslu og afrit og tíu vinnustundir gera 1.550 dali á mánuði, eða 77,50 dali á mann.

Í þessu dæmi er sjálfhýsta leiðin dýrari en birt upphafsverð Pro í öllum þremur stærðum. Það jafngildir ekki endanlegum samanburði: Pro-verðið eitt segir hvorki hvað tiltekin gagnanotkun kostar né hvort öll sæti og þær aðgangsheimildir sem teymið þarf rúmast í pakkanum. Hjá tuttugu manna teymi skiptir sérstaklega máli hversu margir þurfa sæti til líkanaþróunar; heildarfjöldi starfsmanna er ekki sjálfur sætisþörfin.

Reiknidæmið sýnir einnig hvers vegna kostnaður á mann lækkar þegar sami innviður nýtist fleirum. Sú þróun heldur aðeins meðan fjölgun keyrslna, geymslu og aðgangshópa kallar ekki á verulega meiri rekstrarvinnu. Ef fyrirliggjandi innviðateymi sinnir MLflow án nýráðningar eru vinnustundirnar samt raunverulegur kostnaður: þær fara þá ekki í önnur verkefni. Með sömu rökum er tími sem W&B kann að spara við sameiginlega yfirferð niðurstaðna mögulegur ávinningur, en þarf að meta út frá vinnulagi teymisins fremur en gera ráð fyrir fastri sparnaðartölu.

Gagnaslóðin frá tilraun til útgáfu

Þegar líkan fer úr tilraun í notkun skiptir máli að geta rakið hvaða keyrsla skilaði því og hvaða útgáfa var valin. Leiðbeiningar MLflow um líkanaskrá lýsa skráðum líkanaútgáfum, merkjum og samheitum sem geta vísað á tiltekna útgáfu; eigin MLflow-þjónn þarf gagnagrunnstengda bakendageymslu til að nota líkanaskrána. Þetta gefur teymi skýra skráningu milli keyrslu og útgáfu, en ábyrgðin á gagnagrunni og uppfærslum fylgir með.

W&B getur einnig varðveitt afurðir og tengsl þeirra við tilraunir. Ef útgáfuferli teymisins byggir þegar á eigin innviðum getur MLflow verið eðlileg aðalskrá fyrir samþykktar líkanaútgáfur. Ef rannsóknarhópurinn vinnur daglega saman að fjölmörgum tilraunum getur þægindi W&B vegið þyngra fyrr í ferlinu. Í báðum tilvikum þarf að vera ljóst hvaða auðkenni tengja niðurstöðu, líkanaafurð og þá útgáfu sem er notuð.

Hvenær er skynsamlegt að nota bæði?

Samhliða notkun á helst rétt á sér þegar rannsóknarhópur vill rýna tilraunir í W&B en rekstrarteymi vill halda samþykktum líkanaútgáfum í MLflow. Þá þarf skilgreinda leið milli kerfanna: auðkenni keyrslu, tilvísun í afurð og skráð líkanaútgáfa verða að fylgja sömu niðurstöðu. Annars getur teymið átt erfitt með að sjá hvort líkanið sem fór í notkun samsvari því sem rannsakendur samþykktu.

Tveimur kerfum fylgja tvö aðgangsumhverfi, samþætting sem þarf viðhald og hugsanlega geymsla á sömu afurð á fleiri en einum stað. Fyrir lítið teymi sem þarf fyrst og fremst að rekja keyrslur er sá aukakostnaður erfiður að réttlæta. Þegar rannsókn og útgáfustýring eru aðskilin verkefni getur samhliða notkun hins vegar verið skynsamleg, að því gefnu að ábyrgð á tengingunni og varðveislu gagnanna sé ákveðin með sama hætti og ábyrgð á kerfunum sjálfum.

Lestu einnig:

• Slack eða Teams: ódýrara valið ræðst af hugbúnaðinum sem er fyrir
• HubSpot eða Pipedrive: ókeypis byrjun getur orðið dýrari við fyrsta vaxtarskref
• Ragas eða DeepEval: gagnasafnið og CI-prófið mæla ekki sama hlut