Какой ИИ лучше работает с таблицами: что измеряет SpreadsheetBench 2 и почему рейтинг не г
Универсально лучшего ИИ для работы с таблицами опубликованный рейтинг не определяет. SpreadsheetBench 2 оценивает конкретную связку языковой модели, инструментов и агентной оболочки при создании книг, поиске ошибок и подготовке визуализаций. Результат такой конфигурации нельзя автоматически переносить на обычный чат-бот, другую офисную программу или собственные файлы.
Для составления отдельных формул может быть достаточно чата, в котором удобно проверять объяснения и ссылки на ячейки. Для изменения готовой книги нужен агент с доступом к листам и формулам, а для регулярных отчётов дополнительно важны журнал действий, повторяемость и восстановление исходного файла. Поэтому рейтинг стоит использовать для отбора кандидатов, а окончательный выбор делать после одинаковой проверки на обезличенных копиях своих таблиц.
Что именно измеряет SpreadsheetBench 2
Описание SpreadsheetBench 2, опубликованное на arXiv 29 июня 2026 года, включает 321 экспертно подготовленную задачу трёх типов — создание, исправление ошибок и визуализацию; одна книга в среднем содержит 11,8 листа и требует изменения 593,5 ячейки, восемь моделей оценивались в общей многошаговой оболочке, лучший результат полного выполнения составил 34,89%, а лучший показатель в категории исправления — 12%. В заданиях на исправление тип проблемы и целевая ячейка заранее не указываются: агент должен самостоятельно локализовать сбой.
Категория создания охватывает построение финансовых моделей и завершение шаблонов. Здесь требуется не просто вывести правильную формулу, а обследовать структуру книги, восстановить зависимости и согласованно изменить связанные диапазоны. Визуализация предполагает создание внутри таблицы диаграммы или сводного представления, опирающегося на данные книги.
Для расчётных задач применяются две разные меры. Метрика изменений отражает долю целевых ячеек, в которых вычисленные значения совпали с эталоном. Точность полного выполнения строже: успешной считается только книга, где совпадают все ячейки, включая те, которые агент не должен был менять.
Визуализации оцениваются по экспертным критериям правильности данных и оформления с помощью модели-судьи. Этот показатель нельзя напрямую приравнивать к точному совпадению значений и формул. При чтении общей таблицы результатов сначала выясняйте, какая метрика используется для интересующей категории.
Почему первую и вторую версии теста нельзя смешивать
Первая работа SpreadsheetBench, поданная на arXiv 21 июня 2024 года и обновлённая 17 октября того же года, содержит 912 реальных вопросов с форумов Excel; для каждой инструкции создавались несколько файлов с разными значениями, чтобы проверять устойчивость решения. Это другой набор заданий и другой протокол оценки.
Первая версия сосредоточена на выполнении пользовательских инструкций по изменению электронных таблиц. Во второй используются незавершённые деловые книги и проверяется более продолжительный процесс: агент обследует структуру, определяет зависимости, выполняет серию действий и формирует итоговый файл. Отдельными направлениями стали диагностика ошибок и визуализация.
Разница процентов между версиями не показывает, что одна модель стала во столько-то раз лучше другой. Не совпадают файлы, постановки задач, среды выполнения и критерии успеха. Перед сравнением двух результатов зафиксируйте версию теста, категорию, метрику, размер проверенной выборки и способ доступа системы к книге.
Как оценивать создание и дополнение книг
В категории создания проверяется не умение написать одну синтаксически правильную формулу, а способность сохранить логику связанной книги. Агент должен понять назначение листов, продолжить существующие зависимости и получить результат, который правильно пересчитывается после изменения исходных данных. Внешне аккуратная таблица может не пройти такую проверку из-за вставленных констант, неверных диапазонов или нарушенных межлистовых ссылок.
Для собственной проверки возьмите обезличенный шаблон, похожий на рабочий. В качестве условного примера можно использовать бюджет с листами «Исходные данные», «Расчёт» и «Отчёт»: удалите часть формул и попросите сервис восстановить их, не меняя структуру и исходные значения.
До запуска зафиксируйте контрольные итоги, правила округления, формат дат и валюты, обязательные формулы и диапазоны, которые запрещено редактировать. После получения файла замените несколько исходных значений. Если итоговые показатели не пересчитались или формулы были подменены готовыми числами, автоматизация не выполняет свою задачу.
Проверьте сохранность скрытых листов, именованных диапазонов, проверок ввода, объединённых ячеек и внешних связей. Не каждый сервис поддерживает все элементы книги. Критичную возможность нужно включить в тестовое задание, а не выводить её наличие из общего описания продукта.
Почему исправление ошибок требует особого контроля
Исправление сложнее генерации локальной формулы, потому что видимый сбой часто является следствием проблемы в другой части книги. Агенту приходится обследовать зависимости, отличать причину от последствия и выбирать минимально необходимое изменение. Правка может убрать предупреждение в одной ячейке, но одновременно исказить последующие расчёты.
Работайте только с копией и запретите перезапись оригинала. Сначала попросите систему перечислить подозрительные ячейки, зависимости и предполагаемые причины, затем предложить изменения. После выполнения сравните версии и заново проверьте затронутые диапазоны вместе с зависимыми итогами.
В тестовый пакет стоит включить разные классы сбоев: неверную ссылку, пропущенную формулу, неправильный диапазон, ошибочный знак, двойной учёт и несогласованные единицы измерения. Успех на одном типе ошибки не подтверждает качество на остальных. Для бухгалтерской, финансовой или управленческой книги окончательное решение должен подтверждать специалист, понимающий предметную логику расчёта.
Предпочтительнее продукт, который показывает выполненные действия и позволяет отменять их по отдельности. Если доступен только готовый файл без списка правок, проверка становится дороже: пользователю приходится самостоятельно искать все различия и определять, были ли они необходимы.
Что проверять в диаграммах и отчётах
Задача визуализации не сводится к созданию привлекательной картинки. Сервис должен выбрать правильный диапазон, сопоставить категории и значения, корректно обработать периоды и сохранить результат в формате, связанном с данными книги. Диаграмма может выглядеть убедительно и при этом показывать не те строки, перепутанные ряды или неполный период.
Сформулируйте проверяемый управленческий вопрос. Например, можно попросить показать помесячное изменение выручки и отклонение от плана. Затем сопоставьте диаграмму с исходным диапазоном, проверьте подписи осей, единицы, сортировку дат, легенду, пустые значения и поведение после изменения данных.
Полезно, если агент указывает ячейки, использованные для построения, и объясняет выбор типа диаграммы. Объяснение не гарантирует точность, но сокращает время проверки. Если результат представляет собой отдельный рисунок без связи с исходными данными, это инструмент оформления, а не полноценная автоматизация отчёта.
Почему результат относится ко всей конфигурации
Языковая модель отвечает только за часть процесса. Агентная оболочка определяет, как система читает листы, видит ли формулы и рассчитанные значения, какие команды может выполнять, сколько шагов ей доступно и перечитывает ли она изменённые диапазоны перед завершением работы.
Даже одна и та же модель может получить разные результаты при смене оболочки. Причина в доступных инструментах, системной инструкции, лимите действий, порядке обследования книги и процедуре итоговой проверки. Следовательно, строка рейтинга описывает протестированную конфигурацию, а не модель вне этой среды.
Название модели в чат-боте также не равнозначно той же модели внутри Excel, Google Sheets или специализированного агента. Чат может предложить формулу текстом, но не иметь доступа к скрытым листам, именованным диапазонам и результатам пересчёта. Встроенный помощник получает больше контекста, однако его права и операции зависят от конкретного продукта.
В пригодной для сравнения карточке результата должны быть указаны модель, оболочка, инструменты, версия набора, категория, метрика, размер выборки и дата запуска. Если опубликованы только бренд модели и общий процент, сведений недостаточно, чтобы прогнозировать поведение пользовательского сервиса.
Как трактовать результат Gemini in Sheets
Сообщение Google от 10 марта 2026 года заявляет для Gemini in Sheets результат 70,48% на полном наборе первой версии SpreadsheetBench и называет соответствующие возможности продукта бета-функциями. Это результат, заявленный разработчиком для интеграции Gemini внутри Sheets, а не независимое измерение Quasa и не показатель обычного чата Gemini.
Сопоставлять этот процент с результатами SpreadsheetBench 2 как позиции в одной турнирной таблице некорректно. Отличаются версия набора, задания, среда выполнения и способ оценки. Более высокое число не доказывает превосходство во всех сценариях создания, исправления и визуализации книг.
Показатель полезен в более узком смысле: он описывает работу конкретной продуктовой связки на первой версии теста по заявленной компанией методике. Перед выбором нужно отдельно проверить доступность функций для своего тарифа, аккаунта, региона и языка, правила обработки данных и качество на собственных шаблонах.
Воспроизводимый чек-лист выбора сервиса
Соберите небольшой пакет задач без конфиденциальной информации и используйте для всех кандидатов одинаковые инструкции, файлы и ограничения. Каждый запуск начинайте со свежей копии. Такой порядок помогает отделить повторяемую работу системы от случайно удачного диалога.
- Разделите сценарии. Подготовьте отдельные задания на создание, исправление и визуализацию либо оставьте только категории, которые действительно используете.
- Зафиксируйте эталон. Запишите контрольные значения, допустимые формулы, обязательные листы и запрещённые изменения.
- Уравняйте условия. Дайте сервисам одну инструкцию и одинаковое число уточнений; не улучшайте запрос только для одного кандидата.
- Сохраните следы работы. Оставьте исходный и итоговый файлы, список изменений, время выполнения и объём ручного вмешательства.
- Проверьте пересчёт. Измените несколько входных значений и убедитесь, что формулы, итоги и диаграммы обновились правильно.
- Повторите запуск. Несколько повторов покажут, стабильно ли система выбирает диапазоны, формулы и целевые ячейки.
Оценивайте точность, сохранность файла, проверяемость, скорость и полную стоимость процесса раздельно. Для финансового отчёта точность и возможность проследить изменения важнее оформления. Для черновой визуализации допустим иной баланс, если результат всё равно проверяет человек.
Как принять практическое решение
Если задача ограничена составлением и объяснением формул, начните с удобного чата и проверяйте ответы на граничных значениях. Для редактирования книг выбирайте агента, который действительно читает файл, сохраняет формулы и показывает внесённые изменения. Регулярная автоматизация дополнительно требует разграничения доступа, версионирования и понятного восстановления.
Установите порог до проверки: какие ошибки допустимы, какие требуют ручного подтверждения, а какие исключают автоматическое выполнение. SpreadsheetBench 2 помогает оценить сложность сквозной работы и составить короткий список кандидатов. Подходящий сервис определяется тем, насколько его конкретная конфигурация справляется с вашими файлами и процедурой контроля.
Читайте также:
Подпишитесь на рассылку
Получайте свежие новости Web3, AI и криптовалют прямо на вашу почту.