Mistral Large 4 jõudis eelvaatesse — avatud kaalud tulevad hiljem

Mistral AI 6. oktoobri teadaande järgi jõudis Mistral Large 4 avalikku eelvaatesse: mudelit saab Mistral Studio API kaudu kasutada, ent allalaaditavad kaalud lubatakse avaldada alles oktoobri lõpuks. Eesti arendaja saab praegu ehitada ühenduse Mistrali teenusega ja saata sinna päringuid. Sama mudelit oma taristus käivitada veel ei saa, sest selleks vajalikku kaalude kogumit pole avaldatud.

Le Monde’i 6. oktoobri loos ütles Mistrali kaasasutaja Guillaume Lample, et mudel „narrows the gap“ ehk vähendab vahet parimate konkurentidega; väljaanne nimetas kaalude kavandatud avaldamispäevaks 27. oktoobrit. See on tulevane tähtaeg, mitte juba toimunud väljalase. Seni käib ligipääs Mistrali jälgitava liidese kaudu, mis jätab mudeli käitamise teenusepakkuja kontrolli alla.

Mida saab eelvaate API-ga juba teha

Avalik eelvaade annab ligipääsu Mistrali majutatud mudelile. Mudeli tunnus API-s on mistral-large-4; selle kaudu saab saata vestluspäringuid, küsida struktureeritud väljundit ja kasutada funktsioonide väljakutsumist. Toetatud on ka dokumentide küsimustele vastamine, paketttöötlus ning agentide ja vestluste liidesed. Need võimalused puudutavad praegu Mistrali käitatavat teenust, mistõttu ei ole rakenduse ühendamine API-ga samaväärne mudeli kohaliku paigaldusega.

Mudel võtab vastu eri tüüpi sisendit, sealhulgas teksti ja pilte. Arendaja võib eelvaates võrrelda oma ülesannete vastuseid, jälgida päringu kestust ning hinnata tarbitud tokenite kulu. Selline katse aitab otsustada, kas mudeli väljund sobib rakendusse. See ei mõõda veel ettevõtte enda riistvaral tekkivat viivitust ega koormust, sest päringud täidetakse Mistrali Euroopa taristus.

Ligipääs, maht ja hind ühes võrdluses

Mistrali mudelikaardi järgi on Large 4-l miljoni tokeni kontekstiaken, 52 miljardit aktiivset ja 1,05 triljonit parameetrit kokku ning 1,6 miljardi parameetriga nägemiskodeerija. Kaardil kuvatud soodushind on 0,68 USA dollarit miljoni sisendtokeni ja 2,09 dollarit miljoni väljundtokeni eest; vahemällu salvestatud sisendi hind on 0,07 dollarit. Läbikriipsutatud tavahinnad on vastavalt 1,36, 4,18 ja 0,14 dollarit. Need on API hinnad, mitte tulevase isemajutuse tariif.

• Praegune ligipääs: avaliku eelvaate päring liigub Mistrali teenusesse. Rakenduse saab API-ga ühendada ja mudeli vastuseid oma ülesandel hinnata.
• Hilisem isemajutus: mudelit saab oma arvutusressursil käivitada alles pärast kaalude avaldamist. Paigalduseks vajalikud failid ja täpsed tingimused määravad, milline taristu selleks sobib.
• Kontekst: dokumenteeritud aken määrab ühe päringu võimaliku mahu. Pika dokumendi või mahuka koodibaasi saatmine kasvatab sisendtokenite arvu ja seega arvet; akna maksimum ei kirjelda päringu tegelikku kiirust.
• Parameetrid: aktiivne osa näitab, kui palju mudelist töötab ühe tokeni töötlemisel. Kõigi parameetrite maht on olulisem kaalude salvestamise ja kohaliku käitamise kavandamisel.
• Kulud: API puhul saab arvestada sisendit ja väljundit avaldatud ühikuhindade järgi. Oma taristu kulu sõltub arvutusressursist, mälust, koormusest ja haldusest; API hind seda ei määra.

Näiteks tingliku päringu puhul, mis saadab 100 000 sisendtokenit ja saab 10 000 väljundtokenit, oleks soodushinna järgi API tokenitasu 0,0889 dollarit. See arvestus hõlmab ainult mudelile saadetud sisendit ja mudeli väljundit; võimaliku muu teenuse kulu see ei kirjelda.

Miks kaalude avaldamine on eraldi etapp

Large 4 on ekspertide segu arhitektuuriga mudel. Iga tokeni töötlemiseks kasutatakse osa ekspertidest, kuid isemajutuse kavandamisel tuleb arvestada kogu avaldatava kaalude kogumiga. Seetõttu ei saa aktiivsete parameetrite arvu käsitada kohaliku paigalduse mälunõudena. Ilma kaalufailide vormingu ja käitamisjuhisteta jääb täpne riistvaravajadus lahtiseks ka siis, kui mudeli üldine suurus on teada.

Enne kaalude väljalaset jätkub mudeli turvatestimine koos küberturvalisuse valdkonna osaliste, valitud partnerite ja riigiasutustega. Eelvaates jääb teenuse käitamine Mistrali kätte; oma taristus saaks organisatsioon tulevikus ise määrata käituskeskkonna ja juurdepääsu. See erinevus on oluline näiteks siis, kui ettevõtte otsus sõltub sellest, kus mudel töötab ja kelle kontrolli all on selle käitamine. Avalik eelvaade ei anna veel alust kinnitada kohaliku paigalduse töökindlust ega kasutustingimusi.

Koos kaaludega on kavandatud täiendav teave arhitektuuri, võrdlustestide ja järelõppe kohta. Eelvaates nähtav mudeli käitumine on seega hinnatav juba praegu, kuid tulevase kohaliku versiooni ressursivajadust saab täpsemalt arvutada alles avaldatud failide ja juhiste põhjal. Samuti tuleb API proovides arvestada eelvaate staatusega: mudelit arendatakse edasi, nii et tänased tähelepanekud ei ole püsiva konfiguratsiooni garantii.

Alustada API-ga või oodata kaale?

Otsuse määrab juurutuse eeltingimus. Kui eesmärk on teada saada, kas Large 4 annab konkreetsete päringute korral sobivaid vastuseid, saab seda eelvaates juba hinnata. Kui lahendus peab esimesest päevast töötama ettevõtte enda arvutusressursil, tuleb oodata kaalude avaldamist ja nende paigaldustingimusi. API katse võib siiski anda teavet sisendite, väljundite ja kasutusmahu kohta, mida saab hilisema kohaliku lahenduse nõuetega võrrelda.

• Alusta API-ga, kui Mistrali majutatud teenus sobib arendusetapiks ning otsustamiseks on vaja näha mudeli vastuseid, päringute viivitust ja tokenikulu oma töökoormusel.
• Oota kaale, kui isemajutus on vältimatu nõue või kui ostuotsus sõltub kaalufailide vormingust, avaldamistingimustest ja tegelikust mälunõudest.
• Ära kanna API ühikuhinda otse kohaliku lahenduse eelarvesse: oma taristus maksad arvutusressursi ja käitamise eest teistsugusel alusel.

Järgmine konkreetne verstapost on kaalude kavandatud väljalase. Siis saab avaldatud kaalude ja nende tingimuste põhjal hinnata, kas ettevõtte arvutusressurss võimaldab Large 4 isemajutust.

Loe ka:

• Gemini Live Avatar jõudis EL-i, kuid oma nägu vajab eriluba
• Webex toob Claude’i meeskonnaliikmeks, kuid funktsioon tuleb hiljem
• GOMX-5 jõudis orbiidile: kokkupõrkevältimine peab käivituma 48 tunniga