Яндекс открыл MTGBench и показал слабое место режима рассуждений

27 октября 2026 года инженеры Яндекса и студенты Школы анализа данных открыли MTGBench — набор многоходовых текстовых игр для оценки языковых моделей. Его результаты показывают слабое место режима рассуждений: заметный выигрыш в работе с буквами не означает такого же выигрыша в задачах на знания и понимание смысла.

В обзоре Comss.ru уточняется, что проверка охватила 16 моделей семейств Qwen, DeepSeek, GPT и Gemini; моделей Яндекса среди участников нет. Игры доступны на русском и английском языках. Их результаты различаются настолько, что общий балл не позволяет без оговорок выбрать лучшую модель для конкретного диалога.

Семь игр разделяют разные умения

MTGBench проверяет не один ответ на готовый вопрос, а последовательность ходов. Модель получает подсказку, отвечает, затем должна учитывать новую информацию вместе с правилами и прежними ответами. В играх на поиск решения оценка зависит и от числа затраченных ходов; в заданиях на соблюдение правил важна способность не ошибаться по мере продолжения партии.

Wordle и «Поле чудес» проверяют работу с буквами: в первом случае нужно отсеивать слова по обратной связи, во втором — открывать скрытое слово, выбирая буквы. В «Городах» модель продолжает цепочку названий по последней букве и не должна повторять уже названное. Поэтому ошибка здесь может означать как незнание подходящего города, так и потерю правила или истории ходов.

Другие игры сильнее зависят от смысла и выбора вопроса. В «Данетках» нужно выяснить скрытое объяснение ситуации; в «Элиасе» — определить известного человека с помощью вопросов о его биографии. «20 признаков» постепенно раскрывают свойства предмета. В «20 вопросах» задача устроена иначе: модель отвечает о заданном ей объекте и должна сохранять согласованность ответов.

Так возникает полезное для выбора модели разделение: буквенные ограничения, знания о мире, понимание неоднозначной подсказки, планирование следующего вопроса и удержание контекста дают разные причины успеха или ошибки. Четыре игры оцениваются алгоритмами. В остальных трёх правила применяет ИИ-судья; исследователи отдельно сравнивали его решения с человеческой разметкой.

Где рассуждение меняет результат

Наиболее сильный эффект виден в буквенных заданиях. В таблице результатов исследования нормированный балл GPT 5.4 в русской версии Wordle вырос с 0,343 при прямом ответе до 0,940 со встроенным рассуждением. Для GPT 4.1 в русском «Элиасе» баллы прямого ответа и пошагового рассуждения по инструкции составили 0,449 и 0,436. Небольшую разницу в последней паре не следует превращать в общий вывод, что рассуждение ухудшает ответы.

Wordle требует после каждой подсказки заново сузить множество допустимых слов, не возвращаясь к уже исключённым вариантам. Последовательная проверка ограничений хорошо соответствует такому устройству задачи — это объясняет, почему рассуждение может помогать здесь особенно сильно. Биографические сведения или смысл загадочной ситуации устроены иначе: дополнительные шаги сами по себе не дают модели недостающего знания.

Сравнение режимов имеет техническую границу. Исследователи сопоставляли прямой ответ с рассуждением, но реализовывали последнее двумя способами: включали встроенный режим там, где он доступен, либо задавали пошаговое рассуждение инструкцией. Поэтому разницу в баллах нужно относить к конкретной модели и способу её запуска, а не к единой настройке, одинаковой у всех участников.

Рейтинг тоже меняется от игры к игре. Модель, которая успешно исключает неподходящие буквы, может хуже выбирать вопросы или удерживать накопленные сведения. При анализе неудачных партий авторы работы отмечали слишком узкие вопросы в начале поиска и обращения к уже выясненным сведениям. Это объясняет, почему единый средний балл скрывает важные для многоходовой задачи различия.

Что показала русская часть

Русские задания созданы отдельно, а не переведены из английских партий. Для Wordle это существенно: меняются словарь допустимых ответов, сочетания и частоты букв. Исследование выявило самый устойчивый разрыв между языками именно в буквенных играх, особенно у более слабых конфигураций. При этом относительный порядок моделей на двух языках оставался близким.

Причину языкового разрыва авторы не считают установленной. Одно из возможных объяснений — особенности разбиения кириллического текста на токены: для исследованных открытых траекторий русские слова в среднем требовали больше токенов. Но это наблюдение не отделяет влияние токенизации от словаря игры и других различий между заданиями.

Человеческий ориентир составили 476 сохранённых игровых сессий русскоязычных участников. Люди опередили все конфигурации с прямым ответом в Wordle и «Городах», тогда как сильнейшие модели с рассуждением достигли или превысили собранный человеческий результат по каждой игре. Выборка была небольшой и набрана внутри одной организации, поэтому сравнение относится к этим заданиям и участникам, а не к людям вообще.

Какой результат относится к задаче пользователя

Для работы с формальными ограничениями ближайший игровой аналог — Wordle: важны исключение неподходящих вариантов и учёт каждой новой подсказки. «Поле чудес» добавляет выбор следующей буквы. Именно для таких буквенных действий результаты дают наиболее сильное основание ожидать пользу от рассуждения, хотя они не измеряют качество любой задачи с ограничениями.

Запрос, в котором нужно восстановить факт о человеке или понять неоднозначную ситуацию, ближе к «Элиасу» и «Данеткам». Здесь выигрыш от рассуждения оказался менее ровным и зависит от модели. Если главная трудность — решить, какой вопрос задать дальше, важен путь к ответу, а не только успешное завершение партии: слишком узкий ранний вопрос расходует ходы, почти не сокращая число возможных решений.

Когда в диалоге накапливаются условия, показательны «20 вопросов» и «Города». Первая игра выявляет противоречия в ответах о заданном объекте, вторая — нарушение правила цепочки или повтор прежнего хода. Это разные виды потери контекста. Результат одной игры нельзя автоматически переносить на другую, даже если в обоих случаях разговор длится много шагов.

Открытый MTGBench позволяет сопоставлять модели на одинаковых игровых правилах и изучать их ходы. Для пользователя главный практический смысл результатов уже виден: наличие режима рассуждений не гарантирует лучшего ответа на любой запрос. При выборе модели для русскоязычного многошагового диалога существенны язык, тип действий и результат именно той конфигурации, в которой модель будет отвечать.

Читайте также:

• Яндекс вернул 96% данных на Диске, но часть файлов ещё недоступна
• Корпоративная почта Яндекс 360: 20 сотрудников обойдутся в ₽6380 в месяц
• Яндекс Диск быстрее, Облако Mail принимает файл вдвое крупнее