Mistral Large 4-ը բաց քաշերով է, բայց benchmark-ները դեռ նախնական են

|Հեղինակ: QUASA-ի խմբագրական թիմ|4 րոպե ընթերցանություն
Mistral Large 4-ը բաց քաշերով է, բայց benchmark-ները դեռ նախնական են

Ըստ Le Monde-ի հոկտեմբերի 6-ի լուսաբանման՝ Mistral AI-ն այդ օրը ներկայացրել է Mistral Large 4-ի հանրային նախնական տարբերակը, հոկտեմբերի 27-ին նախատեսել է ներբեռնելի քաշերի թողարկումը, իսկ համահիմնադիր Գիյոմ Լամպլը մոդելի առաջընթացը նկարագրել է «narrows the gap» բառերով։ Առայժմ մոդելը հասանելի է API-ով. բաց քաշերով ինքնուրույն տեղակայումը դեռ սպասվում է։

Mistral AI-ի մոդելի պաշտոնական քարտում նշված են Public Preview կարգավիճակը, 1,05 տրիլիոն ընդհանուր և 52 միլիարդ ակտիվ պարամետր, 1 միլիոն տոկենի համատեքստային պատուհան ու 1,6 միլիարդ պարամետրով պատկերային բաղադրիչ։ API-ի զեղչված սակագինը մեկ միլիոն մուտքային տոկենի համար 0,68 դոլար է, քեշավորված մուտքի համար՝ 0,07 դոլար, իսկ նույն ծավալի ելքի համար՝ 2,09 դոլար. քարտում նշված սովորական գները համապատասխանաբար 1,36, 0,14 և 4,18 դոլար են։ Անկախ ընդհանուր գնահատում արդեն կա, սակայն այն վերաբերում է հենց նախնական տարբերակին։

Ինչ են նշանակում հրապարակված բնութագրերն ու գինը

Mistral Large 4-ի պաշտոնական քարտում հրապարակված ընդհանուր ու ակտիվ պարամետրերի և համատեքստի տարբեր ցուցանիշները

Mistral Large 4-ը խառնուրդային փորձագետների ճարտարապետությամբ մոդել է։ Ընդհանուր պարամետրերի թիվը նկարագրում է ամբողջ համակարգը, իսկ ակտիվ պարամետրերի թիվը՝ յուրաքանչյուր հարցման ժամանակ գործի դրվող մասը։ Այդ տարբերակումը կարևոր է. ամբողջ մոդելի չափից միայնակ հնարավոր չէ եզրակացնել պատասխանի արագությունը կամ սեփական սարքավորման պահանջը։ Մոդելն ընդունում է տեքստային և պատկերային մուտք ու վերադարձնում տեքստային պատասխան։

Համատեքստային պատուհանը արտադրողի հայտարարված առավելագույն սահմանն է։ Այն ինքնին չի նշանակում, որ ցանկացած երկար մուտք կմշակվի նույն արդյունավետությամբ. արդյունքի վրա ազդում են նյութի կառուցվածքը, ելքի սահմանը և սպասարկվող տարբերակի կարգավորումները։ Այդ պատճառով ճարտարապետական չափերը, թույլատրելի համատեքստը և առաջադրանքի որակը առանձին հարցեր են, թեև ներկայացված են նույն մոդելի քարտում։

Հրապարակված վճարները վերաբերում են Mistral-ի API-ի օգտագործմանը։ Քեշավորված մուտքի առանձին սակագինը կարող է էական լինել կրկնվող մեծ մուտքերով աշխատանքի դեպքում, իսկ ելքային տոկենները հաշվարկվում են այլ դրույքաչափով։ Քարտում զեղչված և սովորական գների միաժամանակյա ցուցադրումը նշանակում է, որ ընթացիկ վճարը պետք է տարբերել հիմնական սակագնից։ Այս թվերը չեն նկարագրում ապագայում ներբեռնված մոդելի սարքավորման, հիշողության և սպասարկման ծախսը։

Ինչն է հաստատված, և ինչը դեռ սպասվում է

  • Պարամետրեր — հրապարակված բնութագիր։ Արտադրողը առանձին նշում է ամբողջ մոդելի և յուրաքանչյուր հարցման ընթացքում ակտիվ մասի չափերը։ Դրանք կառուցվածքի տվյալներ են, ոչ թե արագության կամ պատասխանի որակի անկախ չափումներ։
  • Համատեքստ — հայտարարված առավելագույնը։ Պաշտոնական քարտը տալիս է պատուհանի վերին սահմանը։ Փորձարկված կոնֆիգուրացիայի սահմանը կարող է այլ լինել, ուստի երկու թիվը համեմատելիս կարևոր է հասկանալ, թե որ տարբերակն է չափվել։
  • Գին — հրապարակված API սակագին։ Մուտքի, քեշավորված մուտքի և ելքի համար կան առանձին գներ՝ զեղչված ու սովորական տարբերակներով։ Դրանք սեփական ենթակառուցվածքում գործարկման հաշվարկ չեն։
  • Բաց քաշեր — նախատեսված թողարկում։ Հանրային նախնական հասանելիությունը թույլ է տալիս դիմել սպասարկվող մոդելին։ Քաշերի հրապարակումից հետո միայն հնարավոր կլինի ներբեռնել տրամադրված տարբերակը և գնահատել դրա ինքնուրույն տեղակայումը։
  • Արդյունավետություն — տարբեր կարգավիճակների արդյունքներ։ Արտադրողի թեմատիկ ցուցանիշները նրա ներկայացրած փորձարկումների պնդումներ են։ Անկախ ընդհանուր ինդեքսը չափում է ներկայում հասանելի նախնական տարբերակը և ինքնաբերաբար չի հաստատում յուրաքանչյուր ոլորտային պնդում։

Այս բաժանումը հատկապես կարևոր է «բաց քաշերով» բնորոշման համար։ Այն նկարագրում է թողարկման հայտարարված ձևը, սակայն ներկայիս API հասանելիությունը դեռ չի տալիս մոդելի քաշերը սեփական միջավայրում գործարկելու հնարավորություն։ Մինչ հրապարակումը արտաքին օգտվողը կարող է գնահատել ստացվող պատասխանները, բայց չի կարող նույն կերպ չափել ներբեռնված տարբերակի հիշողության պահանջը, տեղային ուշացումը կամ փոփոխությունների ազդեցությունը։

Անկախ գնահատումը վերաբերում է preview-ին

Artificial Analysis-ի 38 միավորանոց գնահատականը վերաբերում է Mistral Large 4 Preview-ին

Artificial Analysis-ի գնահատման էջում Mistral Large 4 Preview-ը ստացել է 38 միավոր Intelligence Index-ում, իսկ էջի ամփոփագրում գնահատված տարբերակի համատեքստային պատուհանը նշված է 524 հազար տոկեն։ Սա արտաքին չափում է, բայց դրա առարկան API-ով հասանելի նախնական տարբերակն է։ Պաշտոնական առավելագույն պատուհանի և գնահատման էջում նշված սահմանի տարբերության ճշգրիտ պատճառը հրապարակված այդ թվերից որոշել հնարավոր չէ։

Intelligence Index-ը միավորում է տարբեր առաջադրանքների գնահատականներ, այդ թվում՝ կոդի, գիտելիքի և բարդ դատողության փորձեր։ Մեկ ընդհանուր միավորը չի փոխարինում առանձին ոլորտային փորձարկմանը։ Օրինակ՝ արտադրողի ներկայացրած Deep SWE արդյունքը վերաբերում է երկարատև ծրագրավորման առաջադրանքներին, մինչդեռ ընդհանուր ինդեքսը ներառում է նաև այլ տեսակի աշխատանքներ։ Նույն մոդելի անունով հրապարակված երկու ցուցանիշները հավասար պայմաններում ստացված արդյունքներ համարելը սխալ համեմատություն կտա։

Mistral AI-ն ներկայացրել է նաև ֆինանսների, կիբեռանվտանգության և պատկերների հետ աշխատանքի առավելությունների պնդումներ։ Յուրաքանչյուր այդպիսի արդյունք կախված է ընտրված առաջադրանքներից, թույլատրված գործիքներից, հարցման ձևից և գնահատման չափանիշից։ Անկախ ընդհանուր ինդեքսը մոդելի մասին ավելացնում է արտաքին տվյալ, սակայն չի վերարտադրում արտադրողի բոլոր թեմատիկ փորձերը։ Այդ սահմանը հատկապես նշանակություն ունի, երբ նախնական տարբերակը համեմատվում է արդեն հրապարակված քաշերով այլ մոդելների հետ։

Ինչ կփոխի քաշերի հրապարակումը

Քաշերի թողարկումից հետո գնահատման առարկա կդառնա նաև տեղային գործարկումը, ոչ միայն API-ից ստացված պատասխանը։ Հնարավոր կլինի չափել ներբեռնված տարբերակի հիշողության պահանջը, ուշացումը և թողունակությունը, ապա նույն առաջադրանքները կրկնել այլ միջավայրում։ Այդ փորձերը ցույց կտան՝ սպասարկվող նախնական տարբերակի արդյունքները որքանով են պահպանվում սեփական տեղակայման դեպքում և ինչ ռեսուրսներ են դրա համար անհրաժեշտ։

Հրապարակման պահին պետք է պարզ դառնան նաև տրամադրվող տարբերակը, օգտագործման պայմանները և լրացուցիչ փորձարկումների մեթոդները։ Դրանք կարևոր են, քանի որ նախնական API հասանելիությունից դեռ չի հետևում, թե ներբեռնվող քաշերն ինչ պայմաններով ու ինչ վերջնական կազմաձևով կտրամադրվեն։ Այդ տվյալներից հետո հնարավոր կլինի արտադրողի թեմատիկ ցուցանիշներն ու անկախ տեղային փորձերը համեմատել նույն հրապարակված տարբերակի մակարդակով։

Կարդացեք նաև:

Կիսվել:

Բաժանորդագրվեք մեր տեղեկագրին

Ստացեք Web3-ի, ԱԲ-ի և կրիպտոյի վերջին լուրերն անմիջապես ձեր էլ. փոստին։

0