Model românesc sau bază globală? Ajustarea poate scădea scorul

Un model ajustat pentru română nu îl depășește automat pe cel internațional de bază. În evaluarea GMTW-Ro, Llama-3.1-8B-Instruct a obținut 85,9% pe setul standard, iar varianta adaptată RoLlama3.1-8B-Instruct-DPO, 65,8%; proporția ieșirilor JSON acceptate de evaluare a fost de 95%, respectiv 44%. Pentru o aplicație care execută instrucțiuni și transmite rezultate structurate, diferența contează mai mult decât eticheta „adaptat pentru română”.

Alegerea se poate inversa când sarcina principală este conversația în română sau când rularea locală este obligatorie. Un dezvoltator trebuie să compare variante destinate aceleiași sarcini și să elimine întâi modelele incompatibile cu licența ori cu memoria disponibilă. Un scor conversațional, un plan corect și un JSON utilizabil descriu capacități diferite.

Ce măsoară comparația directă

Testul folosește cereri în română pentru itinerare, calendare, întrebări bazate pe un context dat și meniuri cu restricții. Fiecare răspuns trebuie să conțină o explicație în română și un plan structurat. Condițiile de generare sunt deterministe, iar verificarea urmărește atât respectarea cerințelor, cât și concordanța dintre cele două părți ale răspunsului.

Diferența din familia Llama este relevantă pentru întrebarea despre ajustare fiindcă pune față în față o variantă instruct de bază și una adaptată pentru română. Ea descrie rezultatul acestor versiuni în configurația și sarcinile testate; nu permite concluzia că orice ajustare lingvistică reduce performanța. Nici scorurile modelelor servite prin API nu pot fi transformate direct într-o comparație a costului sau a memoriei necesare rulării locale.

Metoda impune și ordinea explicație–plan. O ieșire reparată automat după o eroare minoră de sintaxă poate fi acceptată cu penalizare, în timp ce un eșec de parsare pierde componenta de format. Prin urmare, procentul pentru JSON din tabel exprimă reușita după regulile acestui benchmark, nu promisiunea că aceeași proporție de răspunsuri va trece nemodificată prin validatorul unei aplicații.

Înțelegerea, limba și fidelitatea răspund la întrebări diferite

Scorul de înțelegere urmărește dacă planul respectă restricțiile cererii, inclusiv limite, elemente obligatorii sau incompatibilități. Calitatea generării privește textul românesc: diacriticele, amestecul cu engleza, lungimea și punctuația. Fidelitatea măsoară dacă entitățile din plan se regăsesc în explicație și dacă explicația introduce entități absente din plan.

Această ultimă măsură cere o interpretare precisă. O explicație poate corespunde perfect planului, deși planul omite o condiție din cerere. Pentru extragerea de informații din documente, fidelitatea față de plan nu înlocuiește verificarea valorilor față de documentul de intrare. De aceea, un asistent care sună firesc în română poate rămâne slab pentru completarea automată a unor câmpuri.

Validitatea structurii este o altă poartă. Un obiect JSON parsabil poate conține o dată greșită sau poate încălca o restricție, iar un răspuns corect în proză poate fi inutilizabil de un program care așteaptă câmpuri fixe. Pentru un calendar ori un flux de documente, evaluarea utilă separă erorile de format, erorile de conținut și nepotrivirile dintre explicație și rezultat.

Când are sens o variantă românească

OpenLLM-Ro publică modele și trimiteri către codul și datele folosite pentru antrenarea și evaluarea sistemelor în română. În aceeași inițiativă există variante de bază, variante instruct și modele ajustate suplimentar; apartenența la colecție nu le dă aceeași funcție. Pentru dialog, candidatul relevant este o variantă pregătită să urmeze instrucțiuni, evaluată cu întrebări asemănătoare celor din aplicație.

Cardul RoMistral-7b-Instruct prezintă o variantă orientată spre cercetare și conversație în română, cu scorul 6,24 la MT-Bench pentru versiunea indicată în card. Acest rezultat justifică includerea ei într-o comparație pentru un asistent conversațional. Varianta cu DPO din testul de planificare este însă diferită, iar rezultatul conversațional nu îi atribuie automat aceleiași versiuni capacitatea de a produce planuri corecte.

Un câștig lingvistic contează când utilizatorul citește răspunsul și poate corecta o formulare. Într-un flux care preia automat răspunsul, prioritatea se mută spre respectarea restricțiilor și stabilitatea formatului. Aceasta este distincția practică dintre alegerea pentru un asistent de conversație și alegerea pentru automatizarea documentelor.

Licența și memoria pot decide înaintea scorului

Același card indică pentru varianta RoMistral licența CC BY-NC 4.0. Condiția NonCommercial din licența Creative Commons nu permite folosirea materialului în scopuri comerciale în baza acestei licențe. Pentru un produs comercial, compatibilitatea juridică a versiunii exacte și a modelului din care provine trebuie stabilită înainte de a investi în integrare.

Cardul RoLlama-3.2-1B descrie un adaptor pentru un model de bază, destinat inferenței în 4 biți cu memorie video limitată; precizează că nu este ajustat pentru conversație sau urmarea directă a instrucțiunilor și indică licența Llama 3.2. Dimensiunea și modul de rulare îl fac relevant pentru cercetarea unei configurații locale compacte, dar nu îl transformă într-un substitut direct pentru un model instruct. Memoria, latența și calitatea trebuie comparate la precizia folosită efectiv în aplicație.

Arbore de decizie după sarcină

Dacă ieșirea intră direct într-un API, calendar sau proces de extragere, alege dintre variantele instruct care respectă schema cerută și constrângerile din cerere. Compară baza și varianta românească pe aceleași intrări, cu același validator; tratează separat răspunsurile care au necesitat repararea JSON-ului.
Dacă utilizatorul citește în primul rând răspunsuri conversaționale, evaluează claritatea, diacriticele, menținerea limbii române și adecvarea răspunsului. Aici o variantă adaptată poate merita aleasă chiar dacă obține un rezultat mai slab la planificare structurată.
Dacă rularea locală este o condiție, filtrează candidații după licența versiunii exacte și după memoria disponibilă. Abia apoi compară timpul de răspuns și erorile la configurația de inferență pe care o vei folosi.
Dacă urmărești să îmbunătățești o singură sarcină, compară mai întâi rezultatul obținut cu instrucțiuni și validare a ieșirii. Alegerea dintre prompturi și ajustare are sens în raport cu eroarea concretă pe care vrei să o reduci.

Citește și: