BgGPT 3.0 локално: 27B моделът иска около 17 GB, 4B е резервният вход

За да стартирате BgGPT 3.0 локално с Ollama, изпълнете ollama run hf.co/INSAIT-Institute/BgGPT-Gemma-3-27B-IT-GGUF:Q4_K_M. Официалната GGUF карта на 27B посочва тази команда и размер 16,5 GB за файла Q4_K_M — приблизително 17 GB за теглата. Ако този вариант е твърде голям за машината ви, официалната GGUF карта на 4B дава командата ollama run hf.co/INSAIT-Institute/BgGPT-Gemma-3-4B-IT-GGUF:Q4_K_M и размер 2,49 GB за съответния файл.

За същите GGUF варианти можете да използвате и llama.cpp. В представянето на INSAIT BgGPT 3.0 е описан като семейство от модели, базирани на Gemma 3, в размери 4B, 12B и 27B. Изборът на размер и квантизация определя какъв файл ще изтеглите; наличното място на диска само по себе си не гарантира, че моделът ще се побере в паметта при работа.

Кой вариант да изберете

Започнете с Q4_K_M, ако искате да ограничите размера на изтеглянето, без първо да сравнявате всички налични квантизации. Тя е препоръчаният баланс между размер и качество в GGUF картите. По-големите варианти на квантизацията заемат повече място, но самото им име не показва колко полезна ще е разликата за конкретните ви задачи на български.

27B е избор за машина с достатъчно свободна памет, а 4B е разумен първи опит при ограничени ресурси. 12B стои между тях по брой параметри и дава междинна възможност, ако малкият вариант работи, но искате да пробвате по-голям модел. Това е ориентир за избор на файл, а не обещание, че по-големият вариант непременно ще даде по-добър отговор на всяко запитване.

Планирайте отделно дисково пространство за GGUF файла и памет за зареждането му. По време на работа програмата използва ресурси и за контекста на разговора, а отворените приложения също заемат памет. Затова размерът на файла не бива да се приема за точен минимум на необходимата RAM или видеопамет. Ако машината е близо до границата, започнете с по-малкия вариант, вместо да разчитате, че големият файл ще се побере само защото изтеглянето е завършило.

Стартиране с Ollama

1. Инсталирайте Ollama за операционната си система. В терминала изпълнете ollama --version, за да проверите дали командата е достъпна.
2. Изпълнете командата за избрания вариант от началото на материала. При първото стартиране изчакайте изтеглянето да завърши; пълното име след hf.co/ определя хранилището, а :Q4_K_M избира квантизацията.
3. След зареждането задайте кратък въпрос на български, например „Обясни накратко разликата между договор и фактура“. Полученият отговор показва дали локалният разговор работи; съдържанието му все пак трябва да се проверява според задачата.

Ако предпочитате изтеглянето да приключи преди разговора, използвайте ollama pull със същото пълно име на модела, след което изпълнете ollama run. С ollama list можете да видите кои варианти вече са налични локално. Запазвайте наставката за квантизацията и при двете команди: така изборът остава еднозначен, вместо да зависи от вариант по подразбиране.

Има и път за GGUF файл, който вече сте изтеглили ръчно. Поставете файла и Modelfile в една папка, а в Modelfile запишете FROM ./BgGPT-Gemma-3-27B-IT-Q4_K_M.gguf. От същата папка изпълнете ollama create bggpt-gemma3-27b -f Modelfile, после ollama run bggpt-gemma3-27b. Името след FROM трябва да съвпада с действителното име на изтегления файл.

Стартиране с llama.cpp

При инсталация на llama.cpp, която предоставя командата llama, стартирайте 27B директно с llama cli -hf INSAIT-Institute/BgGPT-Gemma-3-27B-IT-GGUF:Q4_K_M. Наставката след двоеточието отново посочва конкретния GGUF вариант. Ако вашата инсталация предоставя изпълним файл llama-cli, използвайте него със същия аргумент -hf. Този път избира модела от хранилището, без да търсите и въвеждате ръчно име на файл.

За ръчно изтегляне на един файл картата на модела дава huggingface-cli download INSAIT-Institute/BgGPT-Gemma-3-27B-IT-GGUF --include "BgGPT-Gemma-3-27B-IT-Q4_K_M.gguf" --local-dir . Параметърът --include ограничава изтеглянето до избраната квантизация. Без него бихте могли да изтеглите и останалите GGUF файлове в хранилището, които не са нужни за този опит.

След като файлът е в текущата папка, подайте кратка заявка с llama-cli -m BgGPT-Gemma-3-27B-IT-Q4_K_M.gguf -p "Напиши кратко резюме на български" -n 512. При инсталация с друга структура добавете правилния път до изпълнимия файл. Същото правило важи и за аргумента -m: той трябва да сочи към реалното местоположение на GGUF файла, а не само към името му, ако терминалът е отворен в друга папка.

Проверка след зареждането

Първо проверете техническия резултат: изтеглянето приключва, моделът се зарежда и връща отговор на български. След това опитайте няколко кратки задачи, които действително смятате да му възлагате — например резюме, пренаписване на текст или въпрос по предоставен откъс. Проверявайте дали отговорът следва указанието и дали не добавя факти, които липсват във входния текст.

Ако зареждането спира заради недостиг на памет, преминете към по-малък размер на модела. Ако 4B работи, но отговорите не са достатъчни за вашите задачи, пробвайте 12B, а после 27B, когато ресурсите позволяват. Използвайте едни и същи въпроси при сравнението: така ще видите дали допълнителният разход на памет има смисъл за вашата работа, без да приписвате непубликувана производителност на който и да е вариант.

Прочетете също:

• Един облак не е архив: настройте резервно копие по правилото 3-2-1
• Резервните 2FA кодове спасяват достъпа — ако не стоят до паролата
• DNS през HTTPS във Firefox: максималната защита може да счупи локални адреси