GPT‑6 Astra подняла результат COBOL с 10,9% до 72,1%

OpenAI в публикации от 19 октября 2026 года сообщила, что в MultiLangBench GPT‑6 Astra прошла 72,1% проверок на COBOL против 10,9% у GPT‑5.6 Sol; средняя доля пройденных тестов по 20 языкам выросла с 26,8% до 87,4%. Модель с нуля создавала совместимый с SQLite движок на заданном языке. Такой результат показывает прогресс в длительном программном задании, но не измеряет успешность переноса действующей банковской системы.

Одновременно опубликовано отдельное испытание миграции: в нём нужно переписать существующие программы на COBOL с сохранением их поведения. Его лучшие показатели относятся к GPT‑6.1 Sol, а не к GPT‑6 Astra. Различие важно для владельцев унаследованного кода: написать новый движок на редком языке и воспроизвести все правила старой системы — разные инженерные задачи.

Результаты по языкам: COBOL отстаёт от среднего

В MultiLangBench сравнивали модели при максимальном уровне вычислительных усилий. На всех приведённых языках новая модель прошла заметно больше проверок, но разрыв между языками остаётся. Даже после роста COBOL оказался самым трудным для Astra: его результат ниже показателей Fortran и Visual Basic.

• COBOL: GPT‑5.6 Sol — 10,9%; GPT‑6 Astra — 72,1%.
• Fortran: GPT‑5.6 Sol — 21,4%; GPT‑6 Astra — 83,5%.
• Visual Basic: GPT‑5.6 Sol — 27,5%; GPT‑6 Astra — 89,4%.
• Среднее по 20 языкам: 26,8% и 87,4% соответственно.

Процент здесь означает долю проверок, которые выдержала созданная моделью программа, а не долю завершённых проектов или корректно перенесённых приложений. У Astra показатель превысил 83% на 19 языках из 20, поэтому усреднение сглаживает отставание COBOL. Для системы, написанной преимущественно на нём, строка конкретного языка содержательнее общего результата.

Как устроено задание MultiLangBench

В описании набора MultiLangBench указано, что модель получает документацию SQLite 3.40.1 и должна реализовать совместимый движок; из примерно 51 тысячи исходных тестов удалось преобразовать около 24 тысяч, а для обычной оценки рекомендована выборка из 272. Это объёмная задача: нужно организовать программу, сохранять состояние базы, обрабатывать ошибки и расширять возможности, не нарушая работу уже реализованного.

На вход созданной программе подают файл базы и запрос SQL. Затем эталонная SQLite открывает изменённый файл, выполняет проверочный запрос и сопоставляет ответ с ожидаемой строкой. Общий формат позволяет проверять реализации на разных языках одинаковым способом: засчитывается наблюдаемая работа с данными, а не убедительность описания кода.

Проверка считается проваленной, если ответ неверен, программа аварийно завершилась или превысила отведённое время. Решение должно быть написано на требуемом языке; использование другого языка или их смеси нарушает условие испытания. В среде выполнения также удаляют готовые реализации SQLite и закрывают доступ к интернету, чтобы модель не могла просто вызвать существующий движок.

Открытость набора помогает понять границы испытания. Набор включает тесты функций SQLite, но не содержит историю изменений конкретного банковского приложения, его внешние интерфейсы и внутренние правила учёта. При сопоставлении чужих прогонов важно знать, взята ли рекомендованная выборка или весь преобразованный массив; для опубликованного результата OpenAI не уточняет в тексте анонса, какой именно набор проверок использовался.

Миграцию COBOL измеряли иначе

Разбор XenoSpectrum приводит отдельные показатели переноса программ с COBOL: GPT‑6.1 Sol при низком уровне вычислительных усилий успешно выполнила 86,6% заданий против 5,4% у GPT‑5.6 Sol в том же режиме; при более высоком уровне результат новой модели достиг 97,9%. Эти числа относятся к переписыванию существующих программ на C++, Java, Kotlin, Python или Rust. Они не характеризуют точность миграции GPT‑6 Astra.

Условие зачёта в испытании переноса строже на уровне отдельной программы: выход новой версии должен побайтно совпасть с выходом исходной на всех скрытых проверках. У MultiLangBench, напротив, подсчитывают долю пройденных тестов созданного движка. Поэтому высокую долю проверок SQLite нельзя переводить в вероятность безошибочной миграции рабочей системы.

Характерный риск связан с арифметикой COBOL с фиксированной точкой. Если в исходном коде лишние десятичные разряды отбрасываются, а новая версия округляет их, обе программы могут успешно исполняться и всё же выдавать разные суммы. Столь же значимы правила обработки отсутствующих записей: поведение старого приложения может определяться самим кодом, если документация неполна.

Цена вызовов API и предел результата

Для MultiLangBench опубликована оценочная стоимость одного образца: GPT‑6 Luna получила средний результат 40,3% при затратах 0,77 доллара против 3,48 доллара у GPT‑5.6 Sol. Это сравнение показывает более дешёвый вариант с улучшенной точностью, но не определяет стоимость прогона Astra. В испытании миграции GPT‑6.1 Sol при низком уровне вычислительных усилий стоила по оценке на 39% меньше GPT‑5.6 Sol; соответствующий выигрыш относится только к вызовам API в этом тесте.

Подготовка данных, восстановление правил приложения, рецензирование и проверка зависимостей в эти суммы не входят. Положительный результат скрытых тестов переноса означает совпадение поведения на предъявленных случаях, тогда как в производственной системе могут встречаться иные входные данные и связи с другими программами. Для владельца системы последствие анонса конкретно: модели стали сильнее в проверяемых заданиях на редких языках, но решение о замене рабочего кода зависит от сопоставления новой и старой версий на правилах самой системы.

Читайте также:

• GPT-5.5 Pro улучшила открытую оценку — результат проверили математики
• Хороший обучающий контент ведёт к результату — объём этого не заменит
• Гарантия результата: почему обещания вернуть деньги недостаточно