DeepL или Google Translate за български: покритието не доказва точност

При избор между DeepL и Google Translate за български няма обоснован общ победител само въз основа на езиковото покритие. За документи или интеграция по-полезен е резултатът от проба със собствените ви текстове: дали преводът запазва смисъла и термините, а готовият файл остава годен за работа.

Преведете едни и същи представителни откъси с двете услуги и дайте резултатите за сляпа човешка оценка. Ако ще превеждате файлове през API, включете и този процес в пробата. Добър превод на откъс, поставен в уеб поле, не показва какво ще стане с таблица, сканиран PDF или повтарящ се специализиран термин.

Какво установява езиковото покритие

Спецификацията на DeepL API посочва български като изходен и целеви език и включва DOCX, PPTX и PDF сред форматите за превод на документи. Това позволява да подложите услугата на проба с тези входове, но не предсказва точността на конкретен договор или описанието на ваш продукт.

Езиковият списък на Google Cloud Translation включва български за моделите NMT и Translation LLM, както и двойката български–английски сред поддържаните за персонализирани модели чрез AutoML Translation. При интеграция определете кой API и кой модел ще използвате. Проба в потребителския Google Translate не е измерване на резултата от конкретна конфигурация в Google Cloud.

Посоката също има значение: превод към български и превод от български са различни задачи. Ако работата ви включва и двете, оценявайте ги отделно. За всяка посока запазете еднакви входни текстове и настройки при сравнението.

Защо публикуван тест не избира вместо вас

В изследване, публикувано в Ibérica, авторките отчитат 56 грешки за Google Translate и 23 за DeepL при превода на един от използваните специализирани текстове от испански на немски. Сравнението показва разлика при този текст и тази езикова посока; то не измерва превод на български.

Класирането може да се промени с езика, жанра и входния материал. В правен текст пропуснато отрицание или условие може да промени задължение. В каталог неправилен продуктов термин може да се повтори в много описания. Затова резултат от чужда езикова двойка е повод да проверите собствените си задачи, а не основание да приемете същия победител.

Съставете корпус, който прилича на работата ви

Подберете кратки откъси от правни, маркетингови и разговорни текстове, ако и трите жанра присъстват в действителния ви поток. За малка начална проба може да вземете например по десетина откъса от всеки жанр. Това е практически размер за вътрешно сравнение, а не представителна статистика за качеството на услугите изобщо.

• В правните откъси включете определения, условия, изключения и препратки между клаузи. Отбележете предварително местата, където отрицание, срок или модалност променят смисъла.
• В маркетинговите откъси включете заглавия, продуктови описания и кратки призиви за действие. Търсете естествен български, но проверявайте и дали преводът не добавя обещания, които липсват в оригинала.
• В разговорните откъси включете клиентски въпроси и отговори с непълен контекст, учтиви форми и названия на услуги. Следете дали остава ясно кой говори, какво иска и към какво се отнася отговорът.

Запазете оригинала, посоката на превод и предпочитаните термини за всеки откъс. Ако ще използвате терминологични настройки, приложете сравнимо подготвени списъци и опишете настройките за всяка услуга. Иначе ще смесите качеството на суровия превод с ефекта от различна подготовка.

Използвайте само текстове, които можете да подавате на услугите при условията на вашата работа. За проба с чувствително съдържание подгответе разрешени откъси или версии без лични и поверителни данни, като запазите езиковите особености, които искате да оцените.

Оценявайте сляпо и отделяйте видовете грешки

Дайте на двама компетентни оценители оригиналите и преводите с неутрални обозначения, без имената на услугите. Разменяйте реда на вариантите между откъсите, за да не се оказва единият винаги пръв. Оценителите трябва да виждат достатъчно контекст за смислова преценка, особено при местоимения, препратки и кратки клиентски съобщения.

Уговорете предварително как ще отбелязвате пропуски и добавки, смислови грешки, терминология и езикова естественост. Записвайте точния проблемен откъс, вместо само обща оценка за целия превод. Отделете и случаи, в които двата варианта са приемливи: предпочитание към стил не винаги означава разлика в точността.

Не събирайте всичко в един резултат, преди да видите разпределението на грешките. При правните файлове пропусната клауза може да тежи повече от няколко тромави изречения; при маркетингов текст неточен термин или добавено обещание може да наложи редакция на множество места. Ако оценителите не са съгласни, прегледайте конкретното разминаване и решете дали причината е смисъл, стил или липсващ контекст.

Файловият формат и API променят сметката

Проверявайте крайния файл, а не само извлечения текст. Указанията за Document Translation в Google Cloud посочват, че текстът в текстови полета на DOC и DOCX остава на оригиналния език, а сканирани или сложно оформени PDF файлове могат да загубят част от оформлението. При PDF със смесено сканирано и цифрово съдържание сканираната част не се превежда. Затова пробата трябва да включва реалните типове файлове, таблици и оформления, които ще подавате.

За API интеграция измерете и времето за обработка, поведението при неуспешна заявка и обема човешки поправки след превода. Използвайте едни и същи входове и записвайте дали всеки файл е завършен успешно. Така разграничавате езиков проблем от прекъснат процес или повредено оформление.

Описанието на API плановете на DeepL посочва до 500 000 знака месечно за съществуващия API Free, който вече не се предлага за нов абонамент, и общ лимит от 1 000 000 знака за API Developer, който не се подновява. За нова интеграция не планирайте разхода по стария месечен лимит. Съпоставете приложимия план с вашия обем и с труда за редакция и поправка на файлове.

Кой резултат е достатъчен за избор

Сравнете услугите поотделно за всеки важен поток: например правни DOCX файлове, кратки продуктови описания и автоматизирани клиентски отговори. Възможно е предпочитаният вариант да е различен за отделните задачи. Решението трябва да се опира на грешките с най-голямо значение за вашата работа и на усилието, необходимо за получаване на използваем краен резултат.

Запазете корпуса, настройките и бележките на оценителите. При промяна на модел, план или файлов формат ще можете да повторите същата проба и да сравните резултатите при ясни условия.

Прочетете също:

• DeepL или Google Translate: терминологията е по-важна от броя езици
• Matomo или Google Analytics: безплатното измерване има цена в контрола
• Имейлът ви е в пробив: проверката не доказва изтичане на парола