Hugging Face’i autoscaling: nullini skaleerimine võib vastata 503-ga

11. oktoober 2026, kell 14:00|Autor: QUASA toimetus|4 min lugemist| 1

Hugging Face’i autoscaling’u juhendi järgi võib nullini skaleeritud Inference Endpoint anda replika käivitumise ajal päringule HTTP 503 vastuse. Päis X-Scale-Up-Timeout laseb proksil selle asemel oodata, kuni replika on valmis või määratud aeg saab täis. Mudelist sõltuv käivitumine võib võtta mitu minutit.

Harva kasutatava mudeli puhul vali nullini skaleerimine siis, kui päring võib oodata või rakendus saab töö järjekorda panna. Kiiret vastust vajava API jaoks hoia vähemalt üks replika töös. Mõlemal juhul määra maksimaalne replikate arv, kliendi ooteaeg ja 503 käsitlus: need otsused määravad korraga kulu võimaliku ülempiiri ning selle, mida kasutaja käivitumise ajal kogeb.

Loo endpoint ja määra replikapiirid

Vali mudel, pilvepiirkond ja sobiv instants ning loo endpoint. Hugging Face’i alustamisjuhend näitab loodud endpoint’i URL-i kasutamist ja märgib, et endpoint on vaikimisi privaatne ning nõuab juurdepääsutokenit. Brauseris töötava kasutajaliidese puhul saada mudelipäringud oma serveri kaudu, et token ei satuks kliendikoodi.

Endpoint’i seadetes vali minimaalne ja maksimaalne replikate arv. Nullini skaleerimise korral peab miinimum olema null; pidevalt valmis mudeli jaoks sea see vähemalt üheks. Maksimum piirab korraga töötavate replikate arvu, kuid selle saavutamisel ei kao ülejäänud koormus: päringud võivad hakata ootama. Nullini skaleerimine vähendab jõudeaja arvutuskulu, kuid uus päring peab seejärel ära ootama replika käivitumise.

Vali kasvusignaal päringute iseloomu järgi

Riistvarakasutusel põhinev strateegia lisab vaikimisi replika, kui töötavate replikate keskmine CPU või GPU kasutus jõuab 80 protsendini. GPU puhul hinnatakse kasutust ühe minuti aknas. See signaal sobib püsivama koormusega, kuid lühike päringulaine võib jõuda ootejärjekorda enne, kui riistvara keskmine kasutus skaleerimise käivitab.

Alternatiivne signaal on ootel päringute hulk, mille hulka loetakse ka parasjagu töödeldavad päringud. Vaikimisi käivitab lisareplika rohkem kui 1,5 ootel päringut replika kohta viimase 20 sekundi jooksul; lävendit saab muuta. Kui päringud saabuvad korraga, võrdle endpoint’i analüütikas ooteaega ja replikate lisandumist. Madalam lävend võib kasvatada kulu, kõrgem jätab rohkem päringuid ootama.

Oota külmkäivitus ära või käsitle 503 vastust

Kui kasutaja saab vastust oodata, saada päringuga näiteks X-Scale-Up-Timeout: 600. Väärtus on sekundites ja palub proksil hoida päringut kuni replika valmimiseni, kuid kõige rohkem määratud aja. Sea oma HTTP-kliendi ooteaeg pikemaks kui päise väärtus ning jäta ruumi ka mudeli vastamisajale. Päis annab võimaluse külmkäivituse ajal oodata; see ei taga, et mudel tähtajaks valmis saab.

Kui rakendus saab 503, piira korduskatsete arvu ja kasuta järjest pikenevaid vahesid. Sea kogu toimingule eraldi tähtaeg, et klient ei jääks lõputult vastust ootama. Sama töö uuesti saatmine peab olema ohutu: kui mudelipäringuga kaasneb rakenduses andmete salvestamine või muu kõrvalmõju, tuvasta korduv töö püsiva töö ID järgi. Piiramatu kordussaatmine tekitaks käivitumise ajal juurde päringuid just siis, kui vaba replika veel puudub.

Kasutajale võib käivitumisest teada anda siis, kui rakendus teab, et endpoint oli nulli skaleeritud. Üksnes 503 vastus ei ütle, miks teenus ajutiselt kättesaamatu on; muul juhul sobib neutraalne ajutise tõrke teade. Taustatöö puhul näita salvestatud töö olekut ning anna tähtaja möödudes lõplik vastus, mitte lõputult pöörlev ootevaade.

Arvuta iga profiili jaoks kululagi

Hugging Face’i hinnastuse järgi sõltub arvutuskulu valitud instantsi hinnast ja replikate tööajast; tunnis näidatud hinda arvestatakse minutipõhiselt ning arvesse läheb ka käivituv replika. Kui H on valitud instantsi tunnihind, annab 31-päevase kuu lihtsustatud arvutus 24 × 31 × maksimaalne replikate arv × H. See eeldab, et kõik lubatud replikad töötavad kogu kuu sama hinnaga.

Selline tulemus on ühe endpoint’i arvutusliku kulu ülempiiri hinnang valitud seadistuse korral, mitte kontole seatud rahaline kululimiit. Tegelik kulu sõltub sellest, kui kaua lisareplikad töötavad. Nullini skaleeritud endpoint võib vähendada jõudeoleku arvutuskulu, kuid mudeli järgmisel käivitumisel algab tasuline tööaeg taas.

Kolm seadistusprofiili

Järgmised ooteajad ja korduskatsete piirid on rakenduse lähtevalikud, mitte teenuse vaikeseaded. Enne kasutuselevõttu kohanda neid valitud mudeli käivitusaja ja tavapärase vastamisaja järgi.

Katsekeskkond: väike tühikäigukulu

Sea replikate piiriks 0–1 ja luba nullini skaleerimine. Kui testija saab oodata, kasuta näiteks päist X-Scale-Up-Timeout: 600 ning sea kliendi ooteaeg 660 sekundile, jättes pärast käivitumist aega ka mudeli vastuseks. Kui päring siiski lõpeb 503-ga, kuva ajutise tõrke teade ja paku üht käsitsi korduskatset. Ühe instantsi korral on kirjeldatud 31-päevase arvestuse arvutuslik lagi 744 × H.

Taustatöö: järjekord talub käivitumispausi

Sea replikate piiriks 0–2 ja luba nullini skaleerimine. Võta töö rakenduses vastu, anna sellele püsiv ID ning saada mudelipäring järjekorrast: veebipäring ei pea jääma kogu käivitumise ajaks avatuks. Töötaja võib kasutada näiteks 60-sekundilist üksikpäringu ooteaega ja proovida 503 järel uuesti 15, 30, 60 ning 120 sekundi pärast. Lõpeta katsed ka siis, kui tööle seatud kogutähtaeg möödub, ning salvesta kasutajale nähtav lõppolek. Kahe instantsi korral on arvutuslik lagi 1488 × H.

Madala latentsusega API: replika püsib valmis

Sea replikate piiriks 1–3 ja ära luba nullini skaleerimist. Pidevalt töötav replika väldib nullist käivitamise viivitust, ent selle tööaeg on püsikulu. Näiteks võid määrata kogu klienditoimingule 30-sekundilise tähtaja ning lubada selle sees ühe korduskatse ainult siis, kui päringu kordamine on ohutu. Kui teenus tähtajaks vastust ei anna, tagasta kasutajale selge ajutise tõrke vastus. Kolme instantsi korral on kirjeldatud arvestuse arvutuslik lagi 2232 × H; tegelik kulu sõltub sellest, kui kaua lisareplikad töötavad.

Loe ka:

Jaga: