„Hugging Face Spaces“ ar „Replicate“: GPU tuščios eigos kaina

Jei reikia viešos demonstracinės programos su savo sąsaja, „Hugging Face Spaces“ tinka jos prieglobai, tačiau mokamam GPU svarbu nustatyti miego laiką. „Spaces“ GPU dokumentacijoje nurodyta, kad mokamas išteklius pagal numatytuosius nustatymus veikia nuolat ir apmokestinamas net be lankytojų. Užmigus mokestis už jį nutrūksta; „Nvidia T4 – small“ tarifas yra 0,40 USD už valandą.

Jei pirmiausia reikia API nenuspėjamam srautui ir tinka viešas modelis, „Replicate“ leidžia mokėti už jo vykdymą. „Replicate“ kainodaroje nurodyta, kad dauguma viešų modelių apmokestinami pagal vykdymo laiką, nors kai kurių kaina priklauso nuo įvesties ar išvesties; T4 tarifas yra 0,000225 USD už sekundę, arba 0,81 USD už valandą. Daugumai privačių modelių mokama ir už įjungtos kopijos tuščią eigą. Taigi pasirinkimą lemia ne vien tarifai, bet ir laikas, kurį išteklius lieka įjungtas tarp užklausų.

Kokią trukmę įtraukti į sąskaitą

„Spaces“ GPU išlaidų formulė yra kaina = kiekvienos kopijos apmokestinamos minutės × jos valandinis tarifas / 60, susumavus visų kopijų rezultatus. Į šį laiką patenka programos paleidimas ir laukimas tarp apsilankymų, kol suveikia nustatytas miego režimas. Jei mokamas „Space“ neužmiega, sąskaita kaupiasi visą jo veikimo laiką, kad ir kiek užklausų būtų pateikta. Papildomos kopijos apmokestinamos atskirai, todėl vienos kopijos mėnesio kainos negalima dauginti tik iš užklausų skaičiaus.

Pagal vykdymo laiką apmokestinamo viešo „Replicate“ modelio formulė yra kaina = apmokamų vykdymo sekundžių suma × sekundinis tarifas. Privačiam modeliui arba atskiram diegimui reikia skaičiuoti kiekvienos įjungtos kopijos laiką: parengimą, darbą ir laukimą. Toliau pateikti skaičiavimai yra sąlyginiai GPU išlaidų pavyzdžiai. Jie nereiškia, kad tas pats modelis abiejose aplinkose veiks vienodu greičiu ar kad GPU sąskaita apims visas programos prieglobos išlaidas.

Retai lankoma demonstracija: miegas pakeičia kainą

Tarkime, per sąlyginį 30 dienų mėnesį demonstracija sulaukia 40 apsilankymų. Kiekvienas lankytojas sukelia vieną 20 sekundžių modelio vykdymą, o mokamas „Space“ dėl apsilankymų, paleidimo ir tarpų iki užmigimo iš viso veikia 4 valandas. Pasirinkus minėtą T4 tarifą, GPU išlaidos būtų 4 × 0,40 = 1,60 USD. Jei ta pati kopija liktų įjungta visas 720 mėnesio valandų, sąskaita siektų 720 × 0,40 = 288 USD.

Jei tą patį sąlyginį darbą galėtų atlikti viešas „Replicate“ modelis, apmokestinamas pagal T4 vykdymo laiką, kaina būtų 40 × 20 × 0,000225 = 0,18 USD. Čia skaičiuojamas tik modelio vykdymas. „Spaces“ talpina demonstracinę programą su jos sąsaja, o naudojant viešą modelį per „Replicate“ API sąsajos priegloba lieka atskiras sprendimas ir atskira galima išlaidų eilutė.

Šio scenarijaus rezultatas jautresnis laikui iki užmigimo negu pačiam modeliui skirtoms sekundėms. Tie patys 40 apsilankymų, pasiskirstę taip, kad tarp jų būtų ilgos pertraukos, leistų kopijai dažniau užmigti. Jei apsilankymai kartotųsi prieš pat nustatytą miego ribą, ji ilgiau liktų įjungta. Todėl reta demonstracija gali būti pigi ir „Spaces“, tačiau tik įskaičiavus tikrąjį jos budėjimo laiką.

Nenuspėjamas viešas API srautas: kur yra kainų lūžis

Tarkime, per tą patį sąlyginį mėnesį pateikiama 10 000 užklausų, kurių kiekviena vykdoma 20 sekundžių. Iš viso tai 200 000 apmokamų sekundžių, arba 45 USD pagal pasirinktą „Replicate“ T4 tarifą. Viena visą mėnesį veikianti „Spaces“ T4 kopija kainuotų 288 USD. Šiame palyginime daroma prielaida, kad vienos kopijos pakanka užklausoms aptarnauti ir kad pasirinktas viešas modelis iš tiesų apmokestinamas pagal tą T4 tarifą.

Esant šioms prielaidoms, kainos susilygintų ties 1 280 000 vykdymo sekundžių per mėnesį: 288 / 0,000225. Tai atitinka 64 000 užklausų po 20 sekundžių. Virš šios ribos viena nuolat veikianti „Spaces“ kopija pagal pasirinktus tarifus kainuotų mažiau už viešo modelio vykdymą; žemiau jos – daugiau. Jeigu „Space“ dalį mėnesio miegotų, jo sąskaita ir lūžio taškas mažėtų. Jei srauto pikas pareikalautų papildomų kopijų, jų įjungtą laiką reikėtų pridėti prie skaičiavimo.

Kainų lygybė dar nereiškia vienodo atsako laiko. Pagal „Replicate“ atsiskaitymo taisykles viešo modelio parengimas ir tuščia eiga neapmokestinami, tačiau bendroje išteklių eilėje galimi šalti paleidimai ir mastelio ribos. Tuo tarpu nuolat įjungta kopija paruošta priimti darbą, bet už jos laukimą mokama. Staigūs užklausų pikai taip pat gali sudaryti eilę vienoje kopijoje, todėl lūžio formulė nusako išlaidas pagal prielaidas, o ne garantuotą pralaidumą.

Nuolat veikiantis privatus modelis: mokama už rezervuotą laiką

Jei privatus modelis turi būti paruoštas visą sąlyginį 720 valandų mėnesį, viena „Replicate“ T4 kopija kainuotų 720 × 0,81 = 583,20 USD. Viena nuolat veikianti „Spaces“ T4 kopija pagal tą patį scenarijų kainuotų 288 USD. Privataus „Replicate“ modelio užklausų skaičius šio skaičiavimo pagrindo nekeičia: kol kopija įjungta, jos laukimas įtraukiamas į mokamą laiką. Tai skirtingos paslaugų konfigūracijos, tad sumų skirtumas nėra jų našumo palyginimas.

Jei privataus modelio nereikia laikyti paruošto visą parą, „Replicate“ diegimų nustatymai leidžia mažinti kopijų skaičių iki nulio, nustatyti mažiausią nuolat paruoštų kopijų skaičių ir apriboti didžiausią jų skaičių. Sąlyginiu atveju, kai viena T4 kopija per mėnesį įjungta 120 valandų, jos kaina būtų 120 × 0,81 = 97,20 USD. Į šias valandas reikia įtraukti ir modelio parengimą bei laukimą prieš išjungimą; išjungta kopija vėliau turės būti paleista iš naujo.

Jei palyginimo alternatyva yra visą 720 valandų veikiantis 288 USD kainuojantis „Space“, privataus „Replicate“ T4 kopijos išlaidos pasiektų tą sumą po maždaug 355,6 įjungtos valandos: 288 / 0,81. Ši riba skiriasi nuo viešo API scenarijaus, nes čia skaičiuojamas visas rezervuotas laikas, o ne vien modelio vykdymas. Sprendimą galiausiai lemia tai, kiek laiko privatus modelis turi būti paruoštas iškart ir kiek kopijų reikia vienu metu.

Taip pat skaitykite: