Bielik czy PLLuM? Licencja przed porównaniem wyników

Przy wyborze lokalnego modelu do firmy lub urzędu najpierw ustal zadanie i sprawdź licencję konkretnego wariantu. Karta modelu SpeakLeash podaje, że Bielik-11B-v3.0-Instruct ma 11 mld parametrów i licencję Apache 2.0. To kandydat do komercyjnego wdrożenia, choć dostęp do plików tego repozytorium wymaga zalogowania i zaakceptowania warunków udostępnienia.

W przypadku PLLuM sama nazwa rodziny nie wystarcza do takiej decyzji. Kolekcje CYFRAGOVPL rozdzielają warianty dopuszczające użycie komercyjne od przeznaczonych wyłącznie do badań. Jeśli planowane użycie jest komercyjne, model z tej drugiej grupy odpada przed porównaniem wyników. Wśród pozostałych wybór zależy już od rodzaju dokumentów, rozmów, dostępnej pamięci i sposobu uruchomienia.

Licencja dotyczy repozytorium, nie całej rodziny

Karta PLLuM-12B-chat-2512 wskazuje 12 mld parametrów i licencję Apache 2.0; w jej zestawieniu warianty Llama-PLLuM mają odrębną licencję Llama 3.1. Dwa modele noszące nazwę PLLuM mogą więc wymagać innej oceny prawnej. Oznaczenie „otwarty” ani informacja, że wagi można pobrać, nie przesądzają o prawie do planowanego wykorzystania.

W dokumentacji wyboru przydaje się pełny identyfikator repozytorium, wersja i planowany sposób użycia: wewnętrzna obsługa pism, usługa dla klientów albo dalsze dostrajanie modelu. Warunki licencji trzeba odnieść do tego konkretnego scenariusza, łącznie z obowiązkami przy rozpowszechnianiu. Osobną kwestią jest dostęp do plików: nawet wariant dopuszczający użycie komercyjne może wymagać wykonania dodatkowego kroku przed pobraniem. Dopiero po takim rozróżnieniu porównanie jakości dotyczy modeli, które organizacja rzeczywiście może wdrożyć.

Dokument, rozmowa i RAG stawiają inne wymagania

Do asystenta prowadzącego rozmowę porównuj warianty dostrojone do odpowiadania użytkownikowi. Model bazowy i wariant chat pełnią inne funkcje, więc ich bezpośredni pojedynek niewiele powie o wyborze asystenta. Próba powinna objąć pytania zadawane kilkoma sposobami, doprecyzowanie po pierwszej odpowiedzi oraz sytuację, w której użytkownik żąda informacji niedostępnej systemowi. Liczy się utrzymanie kontekstu i rzeczowa odpowiedź po polsku, a nie sama płynność wypowiedzi.

Przy streszczaniu pism i wydobywaniu danych najważniejsza jest wierność materiałowi. Oba warianty powinny dostać te same dokumenty i pytania o daty, strony sprawy, wyjątki oraz warunki zapisane w tekście. Ocenę warto rozdzielić: streszczenie może być czytelne, a jednocześnie pomijać zastrzeżenie, które zmienia sens decyzji. W zadaniach urzędowych i firmowych taki błąd waży więcej niż niezgrabna stylistycznie, lecz poprawna odpowiedź.

W RAG model odpowiada na podstawie fragmentów wybranych przez system wyszukiwania. Jeśli celem jest porównanie samych modeli, każdy musi otrzymać tę samą treść fragmentów i to samo pytanie, z uwzględnieniem właściwego dla niego formatu rozmowy. Jeśli celem jest wybór całej usługi, trzeba ocenić również wyszukiwanie: poprawny generator nie przytoczy przepisu, którego system mu nie podał. Właśnie dlatego warto odróżnić brak trafnego fragmentu od błędu odpowiedzi opartej na fragmencie.

Pamięć GPU ogranicza krótką listę kandydatów

Zestawienie allclouds szacuje przy kwantyzacji 4-bitowej około 7 GB dla Bielika 11B, 8 GB dla PLLuM 12B oraz 40 GB dla wariantu PLLuM 70B. Są to wartości orientacyjne, zależne od wersji i sposobu uruchomienia. Pokazują jednak, dlaczego warianty z jednej rodziny nie stanowią jednego wyboru sprzętowego: większy model może wymagać innej infrastruktury niż kandydat o zbliżonej jakości w wybranym zadaniu.

Wagi nie zajmują całej pamięci potrzebnej usłudze. Miejsce zużywają też kontekst dokumentu i rozmowy, równoczesne zapytania oraz oprogramowanie obsługujące generowanie. Kwantyzacja zmniejsza obciążenie pamięci, lecz może zmienić jakość odpowiedzi, więc próba na modelu uruchomionym inaczej niż w docelowej instalacji nie rozstrzyga wyboru. Przy wdrożeniu lokalnym istotne jest ponadto, gdzie działają wyszukiwanie i przechowywanie dokumentów, jeśli cały przepływ danych ma pozostać w infrastrukturze organizacji.

Benchmark ma odpowiadać pracy modelu

Rejestr CodeSOTA pokazuje wersje Bielika i PLLuM w odrębnych polskich testach, między innymi PLCC, CPTU-Bench i Polish MT-Bench. Pierwszy dotyczy kompetencji językowej i kulturowej, drugi rozumienia złożonego tekstu, a trzeci jakości rozmowy prowadzonej przez wiele tur. Ich wyniki mają różne skale i nie składają się na jedną ocenę rodziny modelu.

Dla rozmowy najbardziej użyteczny punkt odniesienia daje test dialogowy; dla analizy trudnych pism ważniejsze są testy rozumienia tekstu. Publiczny wynik trzeba przypisać dokładnej wersji, a pustego miejsca w tabeli nie traktować jak wyniku zerowego. Nawet dwa wpisy w tej samej kolumnie mogą dotyczyć innych wydań niż te wybrane do wdrożenia. Ostateczna próba powinna więc używać tych samych pytań i materiałów organizacji oraz osobno oceniać poprawność, oparcie odpowiedzi w dokumencie i czas jej uzyskania.

Co rozstrzyga wybór w firmie i urzędzie

Gdy potrzebne jest komercyjne użycie, wskazane warianty Bielika i PLLuM z licencją Apache tworzą sensowną parę do próby na tym samym zadaniu. W administracji warto dobrać pisma i procedury podobne do przyszłych danych systemu; przeznaczenie rodziny PLLuM do takich zastosowań samo w sobie nie dowodzi przewagi konkretnego wariantu. Jeśli ważniejsza jest obsługa swobodnej rozmowy, zestaw pytań powinien sprawdzać dialog, a nie tylko streszczanie pojedynczego dokumentu.

Przy ograniczonej pamięci wybór może przesunąć się ku mniejszemu wariantowi, o ile zachowa wymaganą jakość w docelowej konfiguracji. Przy RAG równie istotna jest jakość wyszukanych fragmentów, więc wynik całego systemu należy oddzielić od wyniku generatora. Decyzja ma wtedy jasną podstawę: określony wariant i jego licencję, rzeczywisty sposób uruchomienia oraz odpowiedzi na zadania, które model będzie wykonywał po wdrożeniu.

Przeczytaj także: