PLLuM lokalnie: 24,5 GB wag i wymagania wdrożenia

Aby uruchomić PLLuM we własnej infrastrukturze, wybierz wariant do konkretnego zadania, sprawdź jego licencję, zapewnij GPU i załaduj model w Transformers. Potem ustaw granice generacji i przetestuj odpowiedzi na dokumentach, z których ma korzystać aplikacja. Pięć plików wag wariantu PLLuM-12B-instruct-2512 zajmuje łącznie około 24,5 GB, a repozytorium wskazuje licencję Apache 2.0.

Rozmiar plików nie określa pamięci potrzebnej całemu systemowi. Oficjalna instrukcja PLLuM zaleca określenie zastosowania, przygotowanie danych, zapewnienie GPU i uruchomienie przez zespół IT; dla opisywanego tam systemu RAG podaje orientacyjnie około 48 GB pamięci GPU dla generatora 12B oraz 24–48 GB dla wyszukiwania i ponownej oceny wyników. Są to wymagania tej konfiguracji, a nie uniwersalny próg dla każdej metody uruchomienia modelu.

Wybierz wariant i przypisz mu licencję

Do poleceń o określonym wyniku, takich jak streszczenie pisma według ustalonego schematu, wybierz Instruct jako punkt wyjścia. Chat jest przeznaczony do zastosowań dialogowych, a Base stanowi podstawę do dalszego dostrajania. Przed wyborem ustal, czy system ma wykonywać pojedyncze zadania, prowadzić rozmowę czy odpowiadać na podstawie wewnętrznych dokumentów; od tego zależy również sposób oceny odpowiedzi.

Zapisz pełny identyfikator wybranego repozytorium i identyfikator jego wersji. Nie przenoś warunków Apache 2.0 z PLLuM-12B-instruct-2512 na wszystkie modele PLLuM: w rodzinie występują także warianty z ograniczeniem do użytku niekomercyjnego oraz z innymi licencjami. Przed użyciem w firmie lub urzędzie sprawdź warunki konkretnego wariantu i zachowaj tę informację razem z konfiguracją wdrożenia.

Przygotuj GPU, pliki i środowisko

Sprawdź pamięć GPU, sterowniki, dostępną pamięć operacyjną i miejsce na dysku przed rozpoczęciem pobierania. Pięć części wag musi trafić do tego samego katalogu co pliki konfiguracji i tokenizera. Podczas generacji pamięć zajmują również dane wejściowe, generowane tokeny i pamięć podręczna modelu, dlatego sam rozmiar pobranych wag nie rozstrzyga, ile równoczesnych zapytań obsłuży serwer.

Utwórz odizolowane środowisko Pythona z pakietami torch, transformers i accelerate, dobierając wydanie PyTorch do sterowników oraz akceleratora. Sprawdź, czy PyTorch wykrywa GPU, zanim zaczniesz ładować model. Przy pierwszym uruchomieniu możesz wskazać identyfikator repozytorium w from_pretrained; w sieci odciętej od internetu przygotuj wcześniej kompletny lokalny katalog i wskaż jego ścieżkę. Zapisz wersje bibliotek oraz identyfikator wersji modelu, aby porównywać późniejsze próby na tej samej konfiguracji.

Uruchom generację z jawnymi parametrami

Pierwszą odpowiedź wygeneruj z krótkiego, niesensytywnego polecenia, bez dokumentów organizacji. Dokumentacja generowania w Transformers opisuje max_new_tokens jako limit nowo tworzonych tokenów, do_sample jako wybór próbkowania oraz parametry zatrzymania. Ustaw je jawnie: ograniczenie długości odpowiedzi nie skraca automatycznie polecenia ani fragmentów dokumentów przekazanych na wejściu.

Załaduj tokenizer przez AutoTokenizer.from_pretrained, a model przez AutoModelForCausalLM.from_pretrained, wskazując ten sam wariant lub lokalny katalog. Przenieś model i dane wejściowe na właściwe urządzenie; samo zainstalowanie bibliotek nie kieruje obliczeń na GPU.
Utwórz wiadomość z rolą użytkownika i sformatuj ją przez apply_chat_template wybranego tokenizera. Pozwala to zachować format rozmowy przewidziany dla wariantu zamiast ręcznie dopisywać znaczniki ról.
Przekaż identyfikatory tokenów do generate i ustaw max_new_tokens. Przy próbie porównawczej zacznij od do_sample=False; jeśli zadanie wymaga próbkowania, zapisz również jego parametry, aby odtworzyć ustawienia.
Przy dekodowaniu oddziel nowo wygenerowane tokeny od tokenów wejścia. Sprawdź, czy odpowiedź zakończyła się poprawnie, mieści się w limicie i odpowiada na polecenie. Udane załadowanie modelu jest kontrolą środowiska, lecz nie oceną jakości odpowiedzi.

Przygotuj dokumenty do wyszukiwania

Model działający lokalnie nie otrzymuje automatycznie dostępu do aktualnych procedur instytucji. W systemie RAG dokumenty trzeba zebrać, zamienić na tekst, oczyścić między innymi z błędów OCR i podzielić na fragmenty, które da się odnaleźć dla pytania. Dla każdego fragmentu zachowaj identyfikator dokumentu, jego wersję i informację o uprawnieniach; filtr dostępu powinien zadziałać przed przekazaniem treści do modelu.

W teście odpowiedzi przekaż pytanie wraz z odnalezionymi fragmentami i poleć modelowi korzystać wyłącznie z nich. Poproś o wskazanie fragmentów stanowiących podstawę odpowiedzi, a potem sprawdź te wskazania w oryginalnym dokumencie. Do próby dodaj pytanie, na które zbiór nie zawiera odpowiedzi: pożądanym zachowaniem jest wtedy odmowa podania nieudokumentowanego rozstrzygnięcia, a nie uzupełnienie luki z wiedzy modelu.

Oceń odpowiedzi i ustal warunek wycofania

Przygotuj zestaw pytań ocenionych przez właścicieli dokumentów. Powinien obejmować przypadki proste, niejednoznaczne, oparte na nieaktualnym dokumencie oraz pytania bez odpowiedzi w dostępnych zasobach. Oceniaj osobno trafność wyszukanych fragmentów, zgodność odpowiedzi z ich treścią, poprawność wskazań i zachowanie przy braku danych. Taki podział pozwala ustalić, czy poprawy wymaga wyszukiwanie, przygotowanie dokumentów czy generacja.

Zapisuj wersję modelu, parametry generacji, identyfikatory użytych fragmentów, czas odpowiedzi i wynik oceny. Treść pytań oraz dokumentów rejestruj zgodnie z obowiązującymi w organizacji zasadami dostępu i retencji. Przed udostępnieniem systemu ustal próg akceptacji dla pytań krytycznych oraz warunek wycofania nowej konfiguracji. Jeśli zacznie podawać odpowiedzi bez podstawy w dokumentach albo ujawni treść poza uprawnieniami użytkownika, wstrzymaj jej udostępnianie i wróć do wcześniej ocenionej wersji.

Przeczytaj także: