LM Arena или Artificial Analysis: људски глас може да преврне врх листе

Којој листи веровати зависи од питања које постављате. У Arena двобоју гласач бира између одговора два анонимна модела, а његов избор утиче на јавну ранг-листу. Такав поредак говори који су одговори људима дражи у тим поређењима. Сам по себи не показује који ће модел најтачније, најбрже или најјефтиније завршити ваш посао.

Методологија Artificial Analysis индекса обједињује десет евалуација: агентски задаци и опште способности носе по 30% оцене, а кодирање и научно резоновање по 20%. То је другачији одговор на питање о квалитету модела: учинак на унапред одређеним задацима, према унапред одређеним тежинама. Индекс је претежно текстуалан и на енглеском, па ни његово прво место није коначна оцена рада на српском, цене или брзине.

Шта људски глас заиста мери

Предност Arena двобоја је у томе што корисници оцењују одговоре на питања која сами постављају. Могу да дају предност јасноћи, тону, корисности објашњења или начину на који модел прати захтев. Име модела открива се после гласања, па познат бренд није видљив при самом избору одговора.

Преференција ипак није исто што и провера тачности. Када оба одговора звуче уверљиво, гласач може одабрати боље написан одговор и пропустити погрешан датум, прорачун или закључак. То не умањује вредност гласа за задатке у којима је употребљивост текста важна; само одређује шта из њега може да се закључи. За задатак са проверљивим исходом потребан је и критеријум који може да открије грешку.

Ни разлика између суседних места није увек чврста. Објашњење Arena рангирања разликује редно место израчунато из оцене од распона могућих места заснованог на интервалима поузданости. Ако се распони два модела преклапају, њихов редослед на листи носи мање информација него што сугеришу сами редни бројеви. То је нарочито битно када се избор своди на неколико блиских кандидата.

Шта технички индекс додаје поређењу

Индекс Artificial Analysis повезује више врста задатака у једну оцену, али његове категорије не морају имати исту важност за сваки посао. Агентски задаци испитују завршавање сложенијег посла, док задаци кодирања обухватају исходе који се могу проверити тестовима. Научно резоновање и опште способности додају друге врсте провере. Укупан индекс је зато користан за ужи избор, док појединачна категорија боље одговара када знате шта ће модел радити.

Тим који углавном припрема одговоре корисничкој подршци нема исти распоред приоритета као тим који тражи исправке кода. Модел може имати висок збирни резултат захваљујући областима које су првом тиму споредне, а другом пресудне. Поред тога, српски није наведен међу језицима засебног вишејезичког индекса. Из доброг резултата на главном, претежно енглеском скупу зато не следи да ће модел доследно писати српском ћирилицом или поштовати локалне језичке захтеве.

Како мали број гласова може да промени прво место

Истраживање осетљивости ранга показало је да уклањање само 0,003% пажљиво одабраних људских преференција може променити првопласирани модел на Chatbot Arena. Истраживачи су тражили најутицајније изборе; тај резултат не значи да би насумично брисање истог удела гласова имало исти ефекат. Он показује колико врх поретка може бити осетљив на састав података из којих је израчунат.

Промена победника у таквој анализи не говори да је један модел преко ноћи изгубио способности. Ранг сабира много појединачних избора, а блиски модели могу заменити места када се промени мали, утицајан део тих избора. Зато скок на врх може бити релевантан податак о људској преференцији, али није самосталан доказ да ће нови лидер боље решити одређени задатак.

Исти кандидати, различита мерила

Поређење постаје смислено када се кроз сва мерила прате исти кандидати: иста верзија модела, исти режим рада и, за цену и брзину, исти пружалац API услуге. Условно их назовимо А, Б и В. За сваки од њих може се попунити исти образац, без претварања различитих скала у један произвољан збир:

• Људска преференција: место у релевантној Arena категорији и распон могућих места.
• Агентски задаци: учинак у послу који захтева више корака и употребу алата.
• Кодирање: исход на задацима чије решење може да се изврши и провери.
• Научно резоновање: учинак на питањима са проверљивим одговором.
• Језичка ограничења: поштовање српског језика, ћирилице и траженог формата у вашим примерима.
• Цена: трошак типичног завршеног задатка, укључујући улазни текст и излаз модела.
• Брзина: чекање на почетак употребљивог одговора и време до његовог завршетка.

Ове колоне могу дати различите победнике без стварне противречности. Одговор који гласачи радије читају може бити скупљи за масовну обраду, а модел јак у програмирању може бити непотребан за кратку корисничку поруку. Пресудно је да ли се мерило поклапа са послом због ког модел бирате, а не само које име стоји на врху опште листе.

Зашто цена и брзина могу да промене избор

Цена једног токена није исто што и цена готовог задатка. Дефиниције Artificial Analysis одвајају цене улазних и излазних токена од трошка по задатку, који укључује потрошњу токена и пондере задатака из индекса. Дужи одговор или више токена за резоновање могу повећати трошак чак и када је јединична цена нижа. Та мера је корисна за поређење у оквиру њиховог скупа задатака; ваш рачун зависиће од ваших упита и начина коришћења.

И брзина има више значења. Први примљени токен код модела који резонује може бити део резоновања, док први токен одговора стиже касније. Време до целог одговора обухвата и његово генерисање, па брзо исписивање не мора значити кратко укупно чекање. За кориснички разговор важан је тренутак када одговор постаје употребљив; за обраду великог броја задатака може бити важнији укупан проток.

Кратка провера за посао на српском

Ако бирате модел за стварни рад, мали скуп истих задатака може разјаснити разлике које ранг-листе остављају отвореним. Условни пакет могао би да садржи одговор кориснику на српском, издвајање чињеница из текста са познатим тачним одговорима, исправку кратке функције са тестовима и захтев за строго одређен ћирилички формат. Задржите само врсте посла које су вам заиста потребне и уклоните личне податке из примера.

Сви кандидати треба да добију исти упит и исте услове. Пре поређења одредите шта је успешан исход: тачне чињенице, пролаз тестова, поштовање писма и формата, прихватљив тон, трошак и време до готовог одговора. Слободан текст можете оцењивати без видљивог имена модела, а проверљиве задатке према тачном одговору или тесту. Тако људска преференција остаје једно мерило, технички индекс друго, а одлуку доносите на основу исхода који ваш посао заиста захтева.

Прочитајте и:

• n8n или Make: десет корака може да умножи рачун аутоматизације
• Todoist или TickTick: календар и навике вреде више од чистије листе