Arena Battle Mode: тестирајте два модели без да знаете кои се

Во Arena Battle Mode, упатството на Arena опишува едно барање, два анонимни одговора, гласање за претпочитаниот одговор и откривање на имињата на моделите по гласот. Бидејќи името е скриено додека одлучувате, можете да го оцените добиениот резултат без познатиот бренд однапред да ви го насочи изборот.

Ако избирате модел за сопствена работа, едно гласање е само почетен впечаток. Подгответе различни задачи што навистина ги извршувате, одредете критериуми пред да ги видите одговорите и забележете повеќе обиди. Јавната ранг-листа може да ви предложи кандидати, но не може сама да покаже кој најсигурно ги исполнува вашите конкретни услови.

Како да ја направите слепата споредба

Напишете барање со целта, потребниот контекст, задолжителните ограничувања и посакуваниот формат. Во Battle Mode истото барање се доставува до двата анонимни модели, па разликата што ја оценувате е во нивните одговори. За првиот обид изберете задача за која знаете како изгледа употреблив резултат, наместо општо прашање без јасна цел.

1. Пред гласањето означете ги условите што одговорот мора да ги исполни.
2. Прочитајте ги двата одговора до крај и проверете ги според истите услови.
3. Изберете го покорисниот одговор според содржината, а потоа забележете ги откриените имиња на моделите.
4. Запишете ја причината за изборот и секоја грешка што би барала исправка.

Слепото гласање го отстранува името од моментот на избор, но не ја отстранува пристрасноста кон самоуверен тон, долг одговор или уредно форматирање. Затоа оценете го исполнувањето на задачата пред стилот. Ако двата одговора пропуштаат задолжителен услов, забележете го тоа дури и кога едниот ви се допаѓа повеќе.

Пет вида задачи за сопствен мини-тест

Користете мала збирка што ја претставува вашата работа, наместо да донесете одлука од еден впечатлив пример. Следните задачи се предлог; влезните податоци и бараниот резултат приспособете ги на вашите потреби. Ако внесувате материјал од вистинска работа, претходно отстранете лични и доверливи податоци.

• Одговор на корисник на македонски: дајте измислена политика за враќање производ и побарајте краток одговор на конкретно прашање. Проверете дали моделот ги задржал условите од политиката, дали додал непостоечко правило и дали пишува природно.
• Резиме: приложете текст што смеете да го користите и наведете за кого е резимето. Однапред запишете кои факти мора да останат; потоа проверете што е испуштено или претставено како заклучок без основа.
• Извлекување податоци: дајте примерок со јасно наведени полиња и побарајте одговор во определен формат. Овде можете директно да ги споредите вредностите, пропуштените полиња и усогласеноста со форматот.
• Код: побарајте мала функција со наведени влезови, излези и гранични случаи. Извршете ги истите тестови за секое решение; уредниот изглед на кодот не е замена за исправно однесување.
• План со ограничувања: задајте рок, ресурси и услов што не смее да се прекрши. Оценете дали предложените чекори се изводливи во тие граници, а не само дали планот звучи убедливо.

Овие задачи испитуваат различни слабости. Модел што добро пишува кориснички одговор може да погреши при извлекување поле, додека модел со точен формат може да предложи неизводлив план. Чувајте го истото барање кога оценувате еден тип задача, за промената во формулацијата да не ви ја замагли споредбата.

Критериуми што ги утврдувате пред гласањето

За секоја задача направете кратка рубрика со задолжителни услови и дополнителни квалитети. Кај корисничкиот одговор, верноста кон дадената политика може да биде задолжителна, а јасноста да одлучува меѓу два точни одговора. Кај кодот, прво гледајте ги тестовите и граничните случаи, па потоа читливоста.

Запишете и што го прави одговорот неупотреблив: измислен услов, погрешна вредност, прекршен рок или код што не го дава бараниот резултат. Таквата грешка не треба да се надомести со убав стил. Ако двата одговора се точни, корисен дополнителен критериум е колку исправки ќе ви требаат пред резултатот да може да се употреби.

Човечката процена е особено важна кога има повеќе прифатливи формулации. За проверливите делови, пак, однапред составен список со очекувани факти или тестови го прави судот постојан меѓу обидите. Така нема да ги менувате правилата откако ќе видите кој одговор повеќе ви се допаѓа.

Повторувајте ги обидите и бележете ги двојките

За секој обид зачувајте го барањето, видот задача, критериумите, вашиот избор, причината и имињата откриени по гласањето. Ако го измените барањето, означете нова верзија. Дури и додаден задолжителен формат може да ја промени тежината на задачата, па двата исхода не треба да ги третирате како идентичен тест.

Повторувањето е важно и затоа што следното слепо спарување може да донесе други модели. Не претпоставувајте дека повеќе испраќања на истото барање секогаш ја споредуваат истата двојка; користете ги забележаните имиња за да знаете кој навистина учествувал. Ако некој модел се појавил ретко, исходот за него е почетен сигнал, а не сигурен личен пласман.

Бележете ги и повторените грешки, не само победите. Еден добар одговор може да биде исклучок, додека ист пропуст во повеќе задачи покажува каде би ви требала дополнителна проверка. Оценувајте го секој модел според задачите за кои го разгледувате.

Што значи местото на ранг-листата

Упатството за ранг-листите на Arena објаснува дека оценките се добиваат од собрани гласови во директни споредби и дека приказот може да содржи број на гласови, интервал околу оценката и распон на можни позиции. Затоа мала разлика во рангот не мора да значи јасна разлика меѓу моделите. Изберете ја категоријата најблиска до вашата задача и погледнете ја неизвесноста пред да споредувате соседни места.

Оригиналниот труд за Chatbot Arena ја опишува методологијата како споредување модели во парови според човечки избор и известува за добра согласност меѓу гласовите од поширок круг учесници и оценките на експерти. Тоа ја прави ранг-листата корисен показател за претпочитани одговори. Општа позиција, сепак, не е процент на точни одговори за вашите сопствени задачи.

Кога е потребен тест-сет со точни одговори

Кога исходот може објективно да се провери, додајте посебен тест-сет со однапред подготвени очекувани резултати. За извлекување податоци тоа се точните вредности на полињата; за код, тестови што се извршуваат; за резиме, список на факти што мора да останат и тврдења што не смеат да се измислат. Применете ги истите податоци и истите правила на сите модели што сериозно ги разгледувате.

Слепото гласање одговара кој од два конкретни одговора повеќе ви одговара. Тест-сетот покажува дали кандидатот ги исполнува проверливите услови низ повеќе задачи. Ако изборот на модел зависи од точни полиња, исправен код или почитување строги ограничувања, таа проверка треба да има поголема тежина од привлечниот стил и од местото на општата ранг-листа.

Прочитајте и:

• NotebookLM или ChatGPT Study Mode: изворите и туторот не се иста алатка
• Google My Activity не ја брише историјата во Chrome: потребни се два чекора
• Бришењето на My Activity не го чисти прелистувачот: потребни се два чекора