Hugging Face эсвэл Replicate: хямд GPU-г traffic-ийн хэлбэр сольж чадна

Өөрийн сургасан загварыг API болгоод байнга бэлэн байлгах шаардлагатай бол Hugging Face Inference Endpoints-ийн dedicated endpoint-ийг эхэлж тооцох нь зүйтэй. Харин Replicate дээрх нийтийн загвар хэрэгцээг хангаж, дуудлага хоорондоо урт завсарладаг бол зөвхөн хүсэлт боловсруулах хугацааны төлбөр нийт зардлыг бууруулж болно.

Өөрийн загварыг Replicate-д хувиар байрлуулахад энэ давуу тал ихэнх тохиолдолд өөрчлөгдөнө: төхөөрөмжийг эхлүүлэх, сул зогсоох, ажиллуулах хугацаа бүгд төлбөрт ордог. Иймээс сонголтыг GPU-ийн цагийн үнэ, төлбөртэй онлайн байх хугацаа, эхний хүсэлтийн хүлээлт гэсэн гурван нөхцөлөөр хамт шийднэ.

Ижил GPU ангиллын үнэ юуг харуулж байна вэ?

Hugging Face-ийн тарифын хүснэгтэд AWS дээрх нэг T4 цагт $0.50, L40S $1.80, 80 GB A100 $2.50, GCP дээрх H100 $10.00 гэжээ; AWS-ийн H100-д харагдах $4.50-ын мөрийг хэрэглээнээс гарсан гэж тэмдэглэсэн. Endpoint эхэлж эсвэл ажиллаж байх үеийн compute нөөцөөр төлбөр тооцдог бөгөөд цагийн тарифыг минутын нарийвчлалтай бодно. Иймд ажиллаж буй хуулбар хүсэлт хүлээсэн хугацаа ч төсөвт орно.

Replicate-ийн үнийн хүснэгтэд нэг T4 цагт $0.81, L40S $3.51, 80 GB A100 $5.04, H100 $5.49 байна; ихэнх нийтийн загварыг хүсэлт боловсруулах хугацаагаар, ихэнх хувийн загварыг эхлүүлэх, сул зогсох, боловсруулах нийт онлайн хугацаагаар тооцдог. Зарим нийтийн загварын үнэ GPU хугацаагаар бус оролт, гаралтын хэмжээгээр тогтоно. Хурдан асдаг гэж тусгайлан тэмдэглэсэн хувийн fine-tune загварт зөвхөн идэвхтэй хугацааны нөхцөл үйлчилж болох тул сонгосон загварын үнийн төрлийг тусад нь харах шаардлагатай.

Энэ бол ижил нэртэй GPU ангиллын жагсаалтын үнийн харьцуулалт юм. Хоёр үйлчилгээний төхөөрөмжийн санах ой, орчин болон нэг хүсэлтэд зарцуулах GPU хугацаа яг ижил гэсэн үг биш. Загварын хэмжээ, багцлан боловсруулах тохиргоо, зэрэгцээ дуудлага, гаралтын урт өөрчлөгдвөл нэг хариултын бодит өртөг бас өөрчлөгдөнө. H100-ийн цагийн тарифын ялгааг ч ижил загварын хариуны үнэ эсвэл хариулах хурдны хэмжилт гэж ойлгож болохгүй.

Ачаалал хэд хүрэхэд хямд сонголт солигдох вэ?

Нэг GPU-тай Hugging Face endpoint-ийг саржин ажиллуулж, Replicate-ийн GPU хугацаагаар үнэлэгддэг нийтийн загвар зөвхөн хүсэлт боловсруулах үед төлбөртэй байна гэж нөхцөл тавья. Тэгвэл Hugging Face-ийн сарын зардал = сарын цаг × түүний цагийн тариф; Replicate-ийнх = сарын цаг × боловсруулах хугацааны хувь × түүний цагийн тариф. Зардал тэнцэх хувь нь Hugging Face-ийн тарифыг Replicate-ийн тарифт хуваасантай тэнцэнэ.

Нийтэлсэн тарифаар T4-ийн тэнцэх цэг $0.50 ÷ $0.81 ≈ 61.7%, L40S-ийнх $1.80 ÷ $3.51 ≈ 51.3%. Энэ босгоос доош боловсруулах хугацаатай бол уг нөхцөлт харьцуулалтад Replicate, дээш бол тасралтгүй ажиллах Hugging Face хуулбар хямд гарна. Эндхүү хувь нь хүсэлт ирсэн цагийн эзлэх хувь бус, төлбөртэй GPU боловсруулах хугацаа сарын нийт цагт эзлэх хувь юм.

Дараах жишээнд сарыг 730 цаг, Hugging Face талд нэг хуулбарыг тасралтгүй ажиллана гэж авсан. Replicate талд мөн адил GPU ангиллын нийтийн загвар GPU хугацаагаар үнэлэгдэж, зөвхөн боловсруулах үед төлбөр үүснэ гэж төсөөлсөн. Энэ нь бодит загварын нэхэмжлэл эсвэл хоёр платформ дээр хийсэн хурдны туршилт биш, дээрх тарифыг өөр өөр ачаалалд үржүүлсэн нөхцөлт тооцоо юм.

• 5% боловсруулах хугацаанд T4: Replicate $29.57, Hugging Face $365; L40S: Replicate $128.12, Hugging Face $1,314.
• 25% боловсруулах хугацаанд T4: Replicate $147.83, Hugging Face $365; L40S: Replicate $640.58, Hugging Face $1,314.
• 70% боловсруулах хугацаанд T4: Replicate $413.91, Hugging Face $365; L40S: Replicate $1,793.61, Hugging Face $1,314.

Өөрийн хувийн загварт Replicate-ийн талын үржүүлэгчийг «боловсруулсан хувь» гэж авч болохгүй. Тэнд загварын хуулбар төлбөртэй онлайн байсан нийт хугацааг, үүнд эхлүүлэх ба сул зогсох үеийг оруулж бодно. Хэрэв хоёр талын нэг хуулбар саржин бэлэн байвал T4, L40S, A100 дээр Hugging Face-ийн нийтэлсэн цагийн тариф бага байна. Харин хуулбарууд ачааллын дагуу нэмэгдвэл нэг GPU-ийн энгийн босго бүх сарын нэхэмжлэлийг тайлбарлахгүй: хуулбар бүрийн онлайн хугацаа тусдаа нэмэгдэнэ.

Тэг хүртэл бууруулахад тооцоо яаж өөрчлөгдөх вэ?

Hugging Face-ийн autoscaling тайлбарт хүсэлтгүй 15 минутын дараа endpoint-ийг тэг хуулбар хүртэл бууруулж болох, дахин эхэлж байх үед HTTP 502 ирж болох, орж ирсэн хүсэлтийг үйлчилгээ өөрөө дараалалд хадгалдаггүй гэж заасан. Загварыг дахин ачаалах хугацаа хэмжээнээс нь хамаарна. Эхний хүсэлтэд хурдан хариулах шаардлагатай үйлчилгээний хувьд энэ нь зөвхөн үнийн тохиргоо биш, хүлээлт болон алдаа боловсруулах шийдвэр болно.

Тэг хүртэл бууруулсан Hugging Face endpoint-ийг сарын турш асаалттай нэг хуулбарын тогтмол зардлаар тооцвол хэт өндөр дүн гарна. Харин боловсруулах хугацааны хувиар дангаар нь тооцвол эхлүүлэх болон хүсэлтүүдийн хооронд ажилласан минутыг орхино. Зардлын бодит томьёонд хуулбар бүрийн эхэлж, ажиллаж байсан төлбөртэй минутыг нэмээд тухайн GPU-ийн тарифаар үржүүлэх хэрэгтэй. Богино боловч ойр ойрхон ирэх дуудлага нэг урт завсартай ижил боловсруулах хугацаатай байсан ч онлайн хугацаагаараа ялгарч болно.

Replicate-ийн deployment тохиргоо хувийн dedicated API-д хамгийн бага ажиллах хуулбар тогтоож загварыг бэлэн байлгах, эсвэл ачаалалгүй үед тэг хүртэл бууруулах боломжтой. Бэлэн хуулбар эхний хүсэлтийн хүлээлтийг багасгахын хэрээр сул зогсолтын төлбөр нэмнэ. Тэг хүртэл бууруулах нь онлайн хугацааг багасгаж болох ч дараагийн хүсэлтэд дахин асах хугацаа орно; хоёр платформын cold start-ыг нэг тоогоор эрэмбэлэх харьцуулж болох хэмжилт энэ үнийн тооцоонд байхгүй.

Хувийн загвар, container, нийцлийн шаардлагаар яаж сонгох вэ?

Үнийн босгыг ашиглахаас өмнө байршуулалтын шаардлагаар сонголтоо шүүх нь зөв. Ижил GPU-ийн хямд тариф шаардлагатай загвар, орчин эсвэл хандалтын нөхцөлийг хангаж чадахгүй бол бодит сонголт болж чадахгүй.

• Хэрэв хэрэглэгч эхний хүсэлтийг удаан хүлээж болохгүй бол хамгийн багадаа нэг хуулбарыг бэлэн байлгах зардлыг хоёр талд тооц. Хэрэв ажил асинхрон, дуудлагын хооронд урт завсар гардаг бол тэг хүртэл бууруулахад үүсэх эхлүүлэх хугацаа болон төлбөртэй онлайн хугацаа чухал болно.
• Өөрийн сургасан жин, кодыг хувийн орчинд хадгалах ёстой бол Replicate-ийн нийтийн загварын active-time жишээг төсөвт шууд хэрэглэхгүй. Хувийн загвар эсвэл deployment-ийн төлбөртэй онлайн хугацааг Hugging Face-ийн dedicated endpoint-ийн төлбөртэй хугацаатай нэг суурь дээр харьцуул.
• Өөрийн inference сервер, тусгай хамаарал эсвэл бэлэн container image шаардлагатай бол Hugging Face-ийн custom container боломж нийтийн болон хувийн image ашиглахыг зөвшөөрдөг. Replicate талд загварын код, орчныг Cog-оор багцлах зам тухайн ажлын урсгалд нийцэх эсэхийг шийдэх хэрэгтэй.
• Өгөгдөл хаана боловсруулах, хэн endpoint-д хандах, ямар аудитын мөр үлдэх, ямар гэрээ хэрэгтэй нь байгууллагын зайлшгүй нөхцөл бол GPU-ийн үнээс өмнө эдгээрийг шүү. Dedicated endpoint гэсэн нэр дангаараа өгөгдлийн байршил эсвэл байгууллагын нийцлийн шаардлагыг батлахгүй; сонгох бүс, хандалтын тохиргоо, гэрээний нөхцөл нь шийдвэрлэх мэдээлэл болно.

Мөн уншаарай:

• Backblaze B2 эсвэл Wasabi: 90 хоногийн дүрэм хадгалалтын үнийг эргүүлнэ
• Payhip эсвэл Sellfy: сарын $780 борлуулалт шимтгэлийн ялагчийг сольж чадна
• AWS Lambda эсвэл Cloud Run: cold start биш, concurrency үнийг эргүүлнэ