Локален модел от Hugging Face: Safetensors не прави чуждия код безопасен

За да стартирате модел от Hugging Face локално, изберете checkpoint за конкретната задача, фиксирайте ревизията му до commit и го заредете чрез from_pretrained с use_safetensors=True и trust_remote_code=False. Първата настройка изисква тегла във формат Safetensors; втората не разрешава зареждането на потребителски класове от хранилището. Политиката за сигурност на Transformers разглежда формата на теглата и изпълнението на чужд код като отделни рискове.

За примера е избран checkpoint за генериране на английски текст. Ревизията на openai-community/gpt2 с commit 11c5a3d5811f50298f278a704980280950aedb10 съдържа model.safetensors, конфигурация и файлове за токенизатора. Тя позволява да се покаже работещо зареждане, но не е избор на модел за генериране на български текст. Преди изтегляне преценете и дали теглата и допълнителният разход при работа се побират в наличната RAM или VRAM.

Изберете задача и проверете файловете

Името на архитектурата само по себе си не казва дали checkpoint е подходящ за класификация, извличане на информация или генериране. За класификация потърсете checkpoint, обучен за съответната задача; за генериране използвайте модел с подходяща глава, например AutoModelForCausalLM. Ако ще обработвате български текст, прочетете картата на избрания модел за езиците, предназначението и ограниченията му. Работещо зареждане не означава, че резултатите ще бъдат полезни за вашия език и задача.

В списъка с файлове на точната ревизия проверете за model.safetensors или за разделени .safetensors файлове с индекс. Нужни са още конфигурация и файловете на токенизатора, който ще зареждате. Наличието само на PyTorch .bin файл не изпълнява условието за Safetensors. Копирайте пълния hash на commit вместо името main: така посочвате конкретно състояние на хранилището и при следващо зареждане няма неусетно да преминете към нови файлове.

Заредете модела на собствената машина

Създайте отделна Python среда и инсталирайте нужните пакети с python -m pip install torch transformers safetensors. Командата по-долу използва CPU и не изисква видеокарта. При първото пускане са нужни интернет връзка и дисково пространство за изтеглените файлове. Изпълнете целия ред в терминал:

python -c 'from transformers import AutoTokenizer, AutoModelForCausalLM; model_id="openai-community/gpt2"; revision="11c5a3d5811f50298f278a704980280950aedb10"; tokenizer=AutoTokenizer.from_pretrained(model_id, revision=revision, trust_remote_code=False); model=AutoModelForCausalLM.from_pretrained(model_id, revision=revision, use_safetensors=True, trust_remote_code=False); inputs=tokenizer("Hello, my name is", return_tensors="pt"); output=model.generate(**inputs, max_new_tokens=20, pad_token_id=tokenizer.eos_token_id); print(tokenizer.decode(output[0], skip_special_tokens=True))'

Токенизаторът и моделът получават една и съща ревизия. Ако в избрания checkpoint няма подходящи .safetensors тегла, use_safetensors=True спира зареждането вместо да премине към друг формат. trust_remote_code=False запазва отказа от потребителски класове, за които е нужно изрично доверие. Отпечатаният текст показва, че примерът е достигнал до локално генериране; той не е оценка на качеството на модела.

Сметнете паметта преди изтегляне

Броят параметри и точността дават ориентир за паметта, заета само от теглата. Описанието на паметта в Transformers посочва по 4 байта на параметър за FP32 и 2 байта за FP16 и отделя теглата от временните тензори и другия разход при изчисление. Следващите стойности са приблизителна аритметика за теглата; GB означава десетични гигабайти:

• 100 милиона параметъра: около 0,4 GB при FP32 или 0,2 GB при FP16.
• 1 милиард параметъра: около 4 GB при FP32 или 2 GB при FP16.
• 7 милиарда параметъра: около 28 GB при FP32 или 14 GB при FP16.

При зареждане на CPU основният разход е в системната RAM; при поставяне на теглата върху видеокарта той засяга VRAM. Оставете запас за междинни резултати, кеша при генериране и временните пикове при зареждане. По-дългият вход и генерирането на повече текст също могат да увеличат използваната памет. Затова видеокарта с капацитет, равен точно на числото в списъка, не дава надеждна гаранция, че изпълнението ще се побере.

Safetensors определя начина на съхранение на теглата, а не сам по себе си точността им при изчисление. Преди да разчитате на стойност от колоната FP16, проверете действителния тип на теглата и настройките за зареждане на избрания checkpoint. Примерната команда не задава изрично FP16; таблицата не е измерване на паметта, която тя ще използва.

Повторете зареждането без мрежа

Локалното изпълнение и офлайн зареждането са различни условия. След успешно изтегляне добавете local_files_only=True и към двете извиквания на from_pretrained, за да използвате наличните местни файлове без опит за ново изтегляне. Можете също да подадете път към предварително подготвена директория вместо идентификатор на модел, ако в нея са всички необходими файлове.

Запазете същия commit, когато използвате кеша. Ако липсва тегло, конфигурация или файл за токенизатора, офлайн зареждането ще спре; частично изтеглен checkpoint не е достатъчен. За машина без мрежов достъп подгответе предварително и Python пакетите, от които зависи командата. Офлайн режимът ограничава изтеглянето, но не променя поведението на Python код, чието изпълнение сте разрешили.

Преди да разрешите trust_remote_code

Някои checkpoint-и изискват потребителска реализация на модела извън вградените класове на Transformers. При тях trust_remote_code=True разрешава изпълнението на код от хранилището в местната Python среда. Safetensors ограничава риска, свързан със сериализираните тегла, но не прави този код безопасен. Преди да включите настройката:

1. Отворете точно ревизията, която възнамерявате да заредите, и проверете конфигурацията за препратки към потребителски класове.
2. Прочетете файловете с реализацията и зависимостите, които те извикват. Преценете дали действията им са необходими за работата на модела.
3. Фиксирайте пълния commit и подайте една и съща ревизия при зареждането на токенизатора и модела.
4. Разрешете trust_remote_code=True само ако приемате изпълнението на прегледания код в тази среда.

Ако не можете да оцените реализацията, изберете checkpoint с архитектура, която инсталираната версия на Transformers поддържа без потребителски код. Това запазва основния път за локално зареждане: конкретна задача, проверени файлове, фиксирана ревизия и реалистичен запас от памет.

Прочетете също:

• „Безопасен“ резултат не оправдава подозрителен линк — проверете без кликване
• FTC разследва OpenAI и Anthropic — безопасността влиза в досието
• Сканирайте SBOM, но не приемайте празния резултат за чист код