Hugging Face թե Replicate․ պարապ GPU-ն կարող է շրջել էժան ընտրությունը

Ընդհատվող հարցումների դեպքում Replicate-ի հանրային մոդելը կարող է ավելի քիչ արժենալ, նույնիսկ եթե նույն դասի GPU-ի ժամային դրույքն ավելի բարձր է։ Replicate-ի վճարման կանոններով հանրային մոդելի համար վճարվում է ակտիվ մշակման ժամանակը, իսկ մասնավոր մոդելի կամ deployment-ի դեպքում՝ նաև գործարկման ու առցանց պարապ ժամանակը։

Կայուն բեռի դեպքում Hugging Face Inference Endpoints-ի ցածր ժամային դրույքը կարող է գերակշռել։ Ընտրության համար պետք է համադրել նույն GPU դասի գները և տարբերել հարցման ակտիվ ժամանակը այն ժամերից, որոնց ընթացքում առանձին հզորությունը պատրաստ է սպասում։ Ստորև բերված գումարները պայմանական հաշվարկներ են, ոչ թե նույն մոդելի արագության փորձարկման արդյունքներ։

Նույն GPU դասը՝ տարբեր գին և վճարման միավոր

Hugging Face-ի Inference Endpoints-ի սակագնացույցում մեկ AWS T4-ն արժե ժամում $0.50, L40S-ը՝ $1.80, A100 80GB-ը՝ $2.50, իսկ GCP H100-ը՝ $10. Գները ներկայացված են ժամով, բայց աշխատող endpoint-ի ծախսը հաշվարկվում է րոպեներով։ Վճարման մեջ մտնում է նաև գործարկման ժամանակը, և յուրաքանչյուր լրացուցիչ աշխատող պատճեն ավելացնում է ծախսը։

Replicate-ի սարքավորումների գները մեկ T4-ի համար ժամում $0.81 են, L40S-ի համար՝ $3.51, A100 80GB-ի համար՝ $5.04, իսկ H100-ի համար՝ $5.49. դրանք հրապարակված են նաև վայրկյանային դրույքներով։ Այս թվերը կարելի է կիրառել այն մոդելի պայմանական հաշվարկում, որի վճարը կախված է GPU-ի աշխատած ժամանակից։ Replicate-ում որոշ մոդելներ, սակայն, գնահատվում են մուտքով, ելքով կամ պատրաստի արդյունքով. դրանց հաշիվը չի ստացվի պարզապես GPU-ի ժամավճարով։

H100-ի համար գների հերթականությունը կախված է Hugging Face-ի ամպային տարբերակից։ Ընկերության հիմնական սակագնացույցում մեկ AWS H100-ը նշված է ժամում $4.50, մինչդեռ Inference Endpoints-ի փաստաթղթային ցուցակում ներկայացված է GCP H100-ը՝ $10 դրույքով, և AWS H100 տող չկա։ Ուստի միայն GCP-ի թիվը վերցնելով Replicate-ին համընդհանուր ավելի էժան համարել չի կարելի. հաշվի առեք նաև՝ ընտրված տարբերակը հասանելի՞ է անհրաժեշտ տարածաշրջանում և հաշվին։

GPU-ի նույն անվանումը ևս չի երաշխավորում նույնական ծառայություն։ Hugging Face-ի AWS T4 տարբերակի հրապարակված հիշողությունը 14 GB է, Replicate-ի T4-ինը՝ 16 GB, իսկ պրոցեսորի և օպերատիվ հիշողության հատկացումները նույնպես կարող են տարբերվել։ Մոդելի տեղավորվելը, միաժամանակյա հարցումների թողունակությունը և մեկ հարցման մշակման տևողությունը կարևոր են այնքանով, որքանով փոխում են պահանջվող պատճենների քանակն ու վճարովի ժամանակը։

Որտեղ է առաջանում պարապ GPU-ի ծախսը

Replicate-ի հանրային մոդելի դեպքում հարցումների միջև պարապ մնացած հզորության վճարը չի ընկնում օգտվողի վրա։ Դրա դիմաց հարցումները մտնում են ընդհանուր հերթ, և մոդելը կարող է սառը մեկնարկ ունենալ։ Եթե պահանջվում է սեփական մոդել, ընտրված սարքավորում կամ առանձին հերթ, Replicate-ի մասնավոր մոդելն ու deployment-ը փոխում են հաշվարկը. առցանց պատճենի սպասման ժամանակն էլ է վճարովի։

Hugging Face Inference Endpoint-ը նույնպես առանձին հզորություն է։ Երբ պատճենը գործարկված է և պատրաստ է պատասխանել, ցածր հարցումների հոսքը ինքնին չի վերացնում դրա վճարը։ Endpoint-ի կարգավորումները թույլ են տալիս միացնել զրոյի հասցնող ավտոմատ մասշտաբավորումը և ընտրել, թե վերջին հարցումից որքան հետո պատճենը կանգնի։ Այդ ընտրությունը կրճատում է պարապ ժամանակի ծախսը, բայց հաջորդ հարցումը պետք է սպասի նոր մեկնարկին։

Ծախսի համար պիտանի օգտագործվածության չափը GPU-ի ներսում երևացող զբաղվածության տոկոսը չէ։ Հարկավոր է գումարել այն ժամանակը, որի համար տվյալ ռեժիմը հաշիվ է ներկայացնում. հանրային մոդելի դեպքում՝ հարցումների ակտիվ մշակումը, իսկ առանձին պատճենի դեպքում՝ դրա առցանց մնալը։ Երկար մշակվող մեկ հարցումը կարող է վճարովի լինել ամբողջ ընթացքում, նույնիսկ եթե GPU-ի հաշվարկային հնարավորությունների մի մասը չի օգտագործվում։

T4-ի ծախսային շրջադարձի սահմանը

Պայմանականորեն ընդունենք, որ նույն աշխատանքը երկու հարթակներում կատարվում է մեկ T4 դասի GPU-ով, և Replicate-ում ընտրված հանրային մոդելը գնահատվում է ակտիվ ժամանակով։ Եթե Hugging Face-ի endpoint-ը միացված է պահանջվող ամբողջ ժամանակ, ապա դրա արժեքը միացված ժամերն են՝ բազմապատկած $0.50-ով։ Replicate-ի հանրային մոդելի համար նույն բանաձևում օգտագործվում են միայն ակտիվ ժամերը՝ բազմապատկած $0.81-ով։

Երկու գումարները հավասարվում են, երբ ակտիվ մշակման ժամանակը հասնում է endpoint-ի միացված ժամանակի մոտ 61.7%-ին՝ $0.50-ը $0.81-ի բաժանելու արդյունքին։ Այդ սահմանից ցածր հանրային մոդելի ժամանակային վճարն ավելի փոքր է, իսկ դրանից բարձր մեկ մշտապես միացված Hugging Face T4-ի GPU ժամանակն ավելի էժան է։ Սա վերաբերում է նշված դրույքներով մեկ պատճենի ծախսին. եթե աշխատանքը մի հարթակում ավելի երկար է տևում կամ պահանջում է լրացուցիչ պատճեն, սահմանը փոխվում է։

Նույն պայմանական մեթոդով L40S-ի սահմանը մոտ 51.3% է, իսկ A100-ինը՝ մոտ 49.6%։ Ավելի ցածր շեմը նշանակում է, որ այդ զույգերում Hugging Face-ի ժամային գինը կարող է փոխհատուցել առանձին պահվող հզորության ավելի մեծ պարապ բաժին։ Եթե Replicate-ում օգտագործվում է deployment կամ սովորական մասնավոր մոդել, դրանց առցանց պարապ ժամանակը նույնպես վճարովի է, և հանրային մոդելի համար հաշվված շեմերը այդ ռեժիմներին չեն վերաբերում։

Երեք պայմանական ամսական բեռ

Հազվադեպ հարցումներ. ենթադրենք՝ 30 օր շարունակ ամեն օր կա մեկ անընդմեջ 10 րոպեանոց ակտիվ բեռ։ Ամսվա ակտիվ ժամանակը 5 ժամ է. Replicate-ի ժամանակով գնահատվող հանրային T4 մոդելի պայմանական արժեքը $4.05 կլինի։ Եթե Hugging Face T4 endpoint-ը միացված մնա ամսվա բոլոր 720 ժամերին, գումարը կհասնի $360-ի։ Տարբերության մեծ մասը գնված մշտական հասանելիության արժեքն է, ոչ թե GPU-ների ժամային գների տարբերությունը։

Այդ նույն հազվադեպ բեռի դեպքում Hugging Face-ի զրոյի հասցնող ռեժիմը կարող է զգալիորեն նվազեցնել հաշիվը։ Ճշգրիտ գումարը կախված կլինի ընտրված պարապ սպասման միջակայքից, յուրաքանչյուր նոր մեկնարկի տևողությունից և նրանից, թե հարցումները իսկապես առանձին խմբերով են գալիս, թե կուտակվում են օրվա ընթացքում։ Եթե առաջին հարցման ուշացումը զգայուն է ծառայության համար, մշտապես պատրաստ պատճեն պահելու ծախսը պետք է համարել պահանջվող հասանելիության գին։

Աշխատանքային ժամեր. ենթադրենք՝ ամսում կա 22 աշխատանքային օր, օրական 8 ժամ պահանջվող հասանելիությամբ, և ակտիվ մշակումը զբաղեցնում է այդ ժամանակի 25%-ը։ Ստացվում է 176 հասանելի և 44 ակտիվ ժամ։ Replicate-ի հանրային T4-ի պայմանական ծախսը $35.64 է, իսկ միայն աշխատանքային ժամերին միացված Hugging Face T4 endpoint-ինը՝ $88՝ առանց գործարկման հավելյալ րոպեների։ Ցածր ժամային դրույքն այստեղ չի ծածկում հարցումների միջև պատրաստ պահվող հզորության արժեքը։

Շուրջօրյա բեռ. պայմանական 30-օրյա ամսվա 720 ժամից 80%-ը՝ 576 ժամը, ակտիվ մշակման վրա ծախսելու դեպքում Replicate-ի հանրային T4-ի ժամանակային արժեքը $466.56 է։ Մեկ մշտապես միացված Hugging Face T4-ն արժե $360, իսկ նույն ամբողջ ժամանակ առցանց Replicate deployment-ը՝ $583.20։ Այս համեմատությունը ենթադրում է, որ մեկ GPU-ն բավարար է երկու հարթակներում էլ և նույն աշխատանքը կատարում է նույն ակտիվ ժամանակում. հակառակ դեպքում պետք է փոխել հաշվարկի ժամերն ու պատճենների քանակը։

Ինչն է որոշում հարթակի ընտրությունը

Եթե անհրաժեշտ մոդելը հասանելի է Replicate-ի հանրային կատալոգում, գնահատվում է ակտիվ ժամանակով, իսկ հարցումները անկանոն են, հանրային ռեժիմը կարող է նվազեցնել ամսական GPU ծախսը։ Սեփական մոդելի կամ վերահսկվող deployment-ի պահանջի դեպքում այդ առավելությունը ինքնաբերաբար չի պահպանվում. երկու հարթակներում էլ վճարովի առցանց ժամանակը դառնում է հիմնական չափը։

Կայուն բեռի համար T4, L40S և A100 դասերում Hugging Face-ի հրապարակված ժամային դրույքները ցածր են համեմատված Replicate դրույքներից։ H100-ի դեպքում նախ պետք է ճշտել ամպային տարբերակի հասանելիությունը։ Վերջնական ընտրության վրա նույնքան ազդում են պահանջվող մշտական պատրաստությունը, նոր մեկնարկի հանդեպ հանդուրժողականությունը և այն, թե ընտրված մոդելն իրականում որքան վճարովի ժամանակ է պահանջում մեկ արդյունքի համար։

Կարդացեք նաև:

• Podia թե Kajabi․ ցածր ամսավճարը կարող է թանկանալ վաճառքի 5%-ով
• RAG թե fine-tuning․ փաստերի համար վերապատրաստումը հաճախ սխալ ընտրություն է
• Claude Code թե Gemini CLI․ harness-ը կարող է փոխել արդյունքը 20.8 կետով