Hugging Face apo Replicate: trafiku i ulët përmbys çmimin për orë

Për një model publik që përdoret rrallë, Replicate mund të kushtojë më pak se një Hugging Face Inference Endpoint i mbajtur ndezur gjithë muajin. Një T4 kushton 0,81 dollarë për orë në tarifat e Replicate, kundrejt 0,50 dollarëve për një endpoint T4 në GCP sipas çmimeve të Hugging Face. Ora më e lirë nuk sjell domosdoshmërisht faturën më të ulët: rëndësi ka sa kohë faturohet instanca.

Për modelet publike të faturuara sipas kohës, rregullat e faturimit të Replicate ngarkojnë vetëm përpunimin aktiv, ndërsa nisja dhe pritja pa kërkesa janë falas. Endpoint-i i dedikuar i Hugging Face faturohet edhe kur qëndron gati pa përpunuar kërkesa. Kështu, trafiku sporadik favorizon shpesh modelin publik në Replicate; kur GPU-ja punon për pjesën më të madhe të kohës, tarifa më e ulët e endpoint-it të mbajtur aktiv mund ta përmbysë rezultatin.

Ku del pika e barazimit për një T4

Marrim një shembull kushtor: i njëjti model mund të ekzekutohet në të dy shërbimet, në një T4 të vetme, pa replika shtesë dhe gjatë një muaji prej 720 orësh. Këtu shfrytëzimi është pjesa e muajit kur GPU-ja përpunon kërkesa, jo përqindja e përdorimit të brendshëm të saj gjatë një kërkese. Supozojmë gjithashtu se një orë përpunimi kryen të njëjtën punë në të dy platformat; pa një provë me të njëjtin model dhe ngarkesë, kjo nuk është matje performance.

Një endpoint T4 që qëndron ndezur gjatë gjithë këtij muaji kushton 360 dollarë. Për modelin publik në Replicate, fatura kushtore është 0,81 dollarë shumëzuar me orët e përpunimit. Dy shumat barazohen kur përpunimi zë rreth 61,7% të muajit: 0,50 pjesëtuar me 0,81. Ky prag vlen vetëm për tarifat dhe mënyrën e faturimit të këtij krahasimi. Nëse modeli publik tarifohet për rezultat, ose kërkon harduer tjetër, duhet një llogari tjetër.

Një muaj në 10%, 50% dhe 90% shfrytëzim

Tre skenarët mbajnë të pandryshuar muajin prej 720 orësh dhe supozimin e një T4 të vetme. Ndryshon vetëm koha aktive e përpunimit; pjesa tjetër e muajit nuk krijon kosto për modelin publik në Replicate, por faturohet për endpoint-in e mbajtur ndezur në Hugging Face. Shumat janë llogaritje kushtore nga tarifat e publikuara, jo fatura klientësh.

• 10% shfrytëzim: 72 orë përpunimi dhe 648 orë të tjera. Replicate kushton 58,32 dollarë; endpoint-i i mbajtur ndezur kushton 360 dollarë.
• 50% shfrytëzim: 360 orë përpunimi dhe 360 orë të tjera. Replicate kushton 291,60 dollarë; endpoint-i kushton sërish 360 dollarë.
• 90% shfrytëzim: 648 orë përpunimi dhe 72 orë të tjera. Replicate kushton 524,88 dollarë; endpoint-i mbetet në 360 dollarë.

Te ngarkesa e ulët, kursimi vjen nga orët që nuk faturohen, pavarësisht çmimit më të lartë për orë aktive. Te ngarkesa e lartë, mbajtja e një instance të dedikuar bëhet më ekonomike sipas këtij supozimi. Numri i kërkesave, i marrë veçmas, nuk tregon ku bie një aplikacion në këtë llogari: kërkesa me kohë të ndryshme përpunimi zënë sasi të ndryshme kohe GPU-je.

Scale-to-zero ndryshon faturën dhe përgjigjen e parë

Hugging Face lejon që endpoint-i të fiket pas një periudhe pa trafik. Udhëzimi i autoscaling-ut jep një orë si periudhë të parazgjedhur dhe thotë se ndërmjetësi mund të kthejë 503 ndërsa replika e re inicializohet. Kërkesa me kokën X-Scale-Up-Timeout mund të mbahet në pritje deri sa replika të jetë gati ose të skadojë afati. Nisja mund të zgjasë disa minuta, sipas modelit.

Për të parë efektin në të njëjtin muaj kushtor, supozojmë një bllok të vetëm përpunimi çdo ditë dhe fikje pas një ore pa trafik. Gjatë 30 ditëve, endpoint-i qëndron i ndezur rreth 30 orë shtesë pas blloqeve aktive. Në 10%, 50% dhe 90% shfrytëzim, kostoja e thjeshtuar e T4 bëhet përkatësisht 51, 195 dhe 339 dollarë, plus koha e faturueshme e nisjeve. Në këtë formë trafiku, scale-to-zero e bën endpoint-in më të lirë se modeli publik në Replicate edhe në skenarin me pak kërkesa, por kërkesa e parë e çdo blloku përballet me nisjen e ftohtë.

Shpërndarja e kërkesave ka po aq peshë sa totali i orëve aktive. Shumë blloqe të shkurtra gjatë ditës mund ta mbajnë endpoint-in ndezur për më shumë orë pritjeje se shembulli me një bllok; një periudhë e gjatë pa kërkesa e lejon të fiket. Një përshkrim tjetër i Hugging Face jep 15 minuta dhe kodin 502 për fikjen automatike, ndaj afati dhe përgjigjja e përmendur në dokumentacion duhen lidhur me cilësimin konkret të endpoint-it.

Modeli privat e ndryshon krahasimin me Replicate

Llogaritja prej 58,32 dollarësh për trafikun e ulët i përket një modeli publik në Replicate që faturohet sipas kohës së përpunimit. Shumica e modeleve private përdorin instanca të dedikuara dhe faturohen gjatë nisjes, pritjes dhe përpunimit. E njëjta mënyrë faturimi zbatohet për instancat e një deployment-i, edhe kur aty vendoset një model publik. Përjashtim bëjnë disa modele private të përshtatura për nisje të shpejtë, për të cilat faturohet vetëm përpunimi aktiv.

Për një startup që duhet të vendosë peshat e veta private, tarifa për orë aktive e modelit publik nuk mjafton si parashikim. Koha e pritjes, nisjet dhe numri i instancave mund të ndryshojnë faturën. Modeli publik përdor si parazgjedhje një grup të përbashkët hardueri dhe radhë kërkesash; kjo mund të sjellë nisje të ftohta ose kufizime kapaciteti, edhe pse koha e pritjes nuk faturohet. Instanca e dedikuar jep më shumë kontroll mbi burimet, me koston e kohës kur ato qëndrojnë ndezur.

Hardueri dhe vonesa vendosin kufirin e formulës

T4 është një bazë e përbashkët për të kuptuar faturimin, por nuk përfaqëson çdo model. Një model që kërkon më shumë memorie ose më shumë replika ndryshon si tarifën, ashtu edhe kohën e nevojshme për të përballuar fluksin. Edhe kur emri i GPU-së përputhet, konfigurimi i shërbimit dhe radhët e kërkesave mund të ndikojnë sa punë kryhet në një orë; krahasimi i çmimeve nuk është krahasim i vonesës së përgjigjes.

Për zgjedhjen mujore, dallimi vendimtar është nëse ngarkesa është e rrallë apo e vazhdueshme, nëse modeli në Replicate është publik apo privat dhe nëse aplikacioni mund të presë rinisjen e një endpoint-i të fikur. Me një model publik dhe pak përpunim, pagesa vetëm për kohën aktive mbron buxhetin. Me trafik të qëndrueshëm, një endpoint T4 i mbajtur ndezur mund të kushtojë më pak; scale-to-zero e ndryshon sërish llogarinë, por ia kalon koston e kursyer përballë vonesës së kërkesës së parë.

Lexoni gjithashtu:

• Clockify apo Toggl Track: kursimi për vend mund të kushtojë përdorimin
• Kajabi apo Teachable: çmimi i ulët vjen me 7,5% për çdo shitje
• Deel apo Remote: 100 dollarë ndajnë EOR-in, kontraktorët përmbysin zgjedhjen