MLflow ці Weights & Biases: прыватнасць даных аплачваецца адміністраваннем

Калі арганізацыя павінна сама вызначаць, дзе захоўваюцца даныя эксперыментаў, самастойны MLflow дае кантроль над іх размяшчэннем. Паводле архітэктуры MLflow, для каманднай працы выкарыстоўваюцца tracking server, сховішча метаданых і асобнае сховішча артэфактаў. Кантроль над імі азначае таксама адказнасць за доступ, абнаўленні і аднаўленне пасля збою.

Калі каманда часцей параўноўвае запуски і дзеліцца вынікамі, зручнейшым пачаткам можа быць воблачны Weights & Biases (W&B). Гэта не выключае прыватнага размяшчэння W&B: у такім варыянце трэба асобна ацаніць умовы разгортвання і тое, хто будзе падтрымліваць сістэму. Выбар залежыць ад месцазнаходжання даных, патрэб у сумеснай працы і поўнага кошту эксплуатацыі, а не толькі ад платы за ліцэнзію.

Размяшчэнне даных: улічваць трэба ўсе кампаненты

У MLflow метаданыя запускаў, параметры і метрыкі захоўваюцца асобна ад артэфактаў — напрыклад, файлаў мадэляў або набораў даных. Таму месца tracking server не вызначае аўтаматычна месца ўсіх даных. Для індывідуальнай працы дастаткова лакальнай канфігурацыі, а агульны сервер патрэбны, калі некалькі даследчыкаў павінны працаваць з адной гісторыяй эксперыментаў.

Для патрабаванняў да рэзідэнтнасці варта разглядаць увесь маршрут даных: базу метаданых, асноўнае сховішча артэфактаў, рэзервовыя копіі і знешнія сэрвісы, з якімі звязана сістэма. Калі ў артэфакт трапляе ўзор з адчувальнага набору даных, правілы яго захоўвання датычацца і гэтага файла. Самастойнае разгортванне дазваляе арганізацыі выбраць размяшчэнне кампанентаў, але само па сабе не гарантуе, што канфігурацыя адпавядае яе патрабаванням.

У W&B ёсць тры мадэлі разгортвання: агульнае SaaS-асяроддзе, выдзеленае воблака ў выбраным рэгіёне AWS або GCP і асяроддзе пад кіраваннем кліента ва ўласным воблаку ці на ўласных серверах. Выдзелены рэгіён можа вырашыць частку задач па размяшчэнні, але патрабаванне захоўваць даныя менавіта ў Беларусі трэба звяраць з даступнай канфігурацыяй і дамоўнымі ўмовамі. Пры кліенцкім разгортванні кантроль над асяроддзем расце разам з абавязкам яго абслугоўваць.

Сумесная праца і паходжанне артэфактаў

Абедзве сістэмы запісваюць параметры, метрыкі і файлы запускаў. Розніца больш прыкметная, калі даследчыкі рэгулярна супастаўляюць канфігурацыі і прадстаўляюць вынікі калегам. Параўнанне Horizon Labs адзначае мацнейшую візуалізацыю W&B, сумесныя Reports, убудаваныя Sweeps для падбору гіперпараметраў і сувязі паміж запусками ды версіямі артэфактаў.

Гэтыя сувязі дапамагаюць адказаць на пытанне, з якой версіі даных атрымана мадэль. Яны ўзнікаюць толькі для таго, што каманда сапраўды зарэгістравала: прапушчаную версію ўваходных даных інтэрфейс не адновіць. У MLflow таксама можна захаваць запуск, мадэль і яе крыніцу, але для даследчай каманды, якая часта абмяркоўвае шмат варыянтаў, спосаб паказу і абмену вынікамі можа быць істотным крытэрыем выбару.

Рэестр мадэляў: што адбываецца пасля запуску

Журнал эксперыментаў і рэестр вырашаюць розныя задачы. Першы паказвае параметры і вынікі навучання; другі дапамагае вызначыць версію мадэлі, якую павінна выкарыстоўваць іншая сістэма. Сцэнарыі Model Registry у MLflow апісваюць версіі, тэгі і псеўданімы: псеўданім можна пераназначыць на новую версію без змены спасылкі на мадэль у кодзе.

W&B таксама прапануе рэестр і lineage артэфактаў, таму само існаванне рэестра не вырашае выбар. Для каманды, якой важна бачыць сувязь набору даных, запуску і мадэлі, істотная паўната запісаў на кожным этапе. Калі мадэль перадаецца ў наладжаны працэс разгортвання, больш важна, як рэестр з гэтым працэсам злучаецца і хто мае права змяніць абраную версію.

Поўны кошт: ліцэнзія, сховішча і праца чалавека

Самастойны MLflow не патрабуе платы за ліцэнзію, але каманднае разгортванне мае эксплуатацыйны кошт. У яго ўваходзяць вылічальныя рэсурсы для сервера, база метаданых, месца для артэфактаў і рэзервовых копій, абнаўленні, кантроль доступу і час спецыяліста на збоі. Калі арганізацыя ўжо падтрымлівае гэтыя кампаненты, дадатковыя выдаткі могуць быць невялікімі; калі стварае іх дзеля аднаго невялікага праекта, бясплатная ліцэнзія мала гаворыць пра бюджэт.

Для воблачнага W&B пачатковая праца па падтрымцы меншая, затое кошт залежыць ад плана і таго, колькі каманда запісвае. На тарыфнай старонцы W&B план Pro пачынаецца ад $60 у месяц, уключае 100 ГБ сховішча, а дадатковы аб’ём пазначаны па $0,03 за ГБ. У выкарыстанне сховішча ўваходзяць артэфакты і даныя запускаў; пры спасылцы на файл у знешнім сховішчы ў квоту W&B трапляюць захаваныя ў сэрвісе метаданыя, а сам файл — не.

Паўторнае захаванне вялікіх кантрольных версій мадэлі павялічвае аб’ём у абедзвюх сістэмах. Для MLflow гэта выдаткі на ўласнае сховішча, копіі і іх абслугоўванне; для воблачнага W&B — магчымы рост платы звыш уключанага аб’ёму. Калі W&B разгортваецца пад кіраваннем кліента, да ўмоў камерцыйнага плана далучаюцца ўласныя інфраструктурныя выдаткі. Таму параўноўваць варта аднолькавыя тэрмін захоўвання, колькасць файлаў і абавязкі па падтрымцы.

Матрыца выбару паводле патрэб каманды

• Індывідуальны даследчык. Лакальны MLflow падыходзіць, калі патрэбны кантроль над файламі і просты ўлік эксперыментаў без каманднага сервера. W&B варты ўвагі, калі час на параўнанне і паказ вынікаў важнейшы за самастойнае размяшчэнне. Лакальны план Personal у W&B прызначаны для асабістых праектаў і не дазваляе карпаратыўнае выкарыстанне.
• Малая ML-каманда. Воблачны W&B мае перавагу, калі агляды запускаў, справаздачы і падбор параметраў адбываюцца часта, а падтрымліваць асобны сэрвіс няма каму. MLflow можа быць больш эканомным выбарам, калі каманда ўжо мае базу, сховішча і спецыяліста, які іх абслугоўвае.
• Арганізацыя са строгімі ўмовамі размяшчэння даных. Самастойны MLflow дае прамы кантроль над яго кампанентамі. Выдзеленае або кліенцкае разгортванне W&B таксама можна разглядаць, але рашэнне залежыць ад даступнага месца захоўвання, умоў дамовы і кошту падтрымкі канкрэтнай канфігурацыі.

Чытайце таксама:

• GitHub ці GitLab на сваім серверы: ліцэнзія не аплачвае адміністраванне
• Penpot ці Figma: бясплатны self-host аплачваецца ўласнай інфраструктурай
• Ollama ці LM Studio: лакальная мадэль не заўсёды азначае прыватнасць