Haiku обошла Sonnet в проверке кода — большая модель нужна не всегда
Короткий ответ: Sonnet подходит как универсальная отправная точка для письма, программирования и анализа, Haiku — для быстрых и массовых операций, Opus — для задач, на которых Sonnet не справляется, а Fable — для длительной автономной работы. Но эта иерархия не гарантирует результат: в одном воспроизводимом сравнении рецензирования кода Haiku 4.5 обошла Sonnet 4.6.
Поэтому большая модель нужна не всегда. На узком процессе с измеримым результатом разумнее выбирать не старший уровень, а самую дешёвую и быструю модель, которая достигает нужного качества; вывод из проверки кода нельзя автоматически переносить на написание программ, исследования или другие версии Claude.
Четыре уровня предназначены для разных нагрузок
Практическое сравнение Anthropic называет Haiku самым лёгким уровнем для быстрых ответов, извлечения данных и простых сводок. Sonnet позиционируется как универсальный вариант для программирования, письма, анализа и многошаговых процессов; Opus — для глубоких исследований и сложных рассуждений; Fable — для крупных проектов с длинной последовательностью связанных действий.
Для большинства новых задач логично начинать с Sonnet: это не обещание максимального качества, а способ получить исходный результат без немедленного перехода к самому дорогому уровню. Haiku стоит проверять там, где запросы однотипны, задержка важна, а результат можно быстро сопоставить с эталоном: при классификации, извлечении полей, кратком пересказе или первичном просмотре небольших изменений кода.
Opus имеет смысл подключать после обнаруженного предела Sonnet — например, если модель теряет связи между документами или не удерживает сложную архитектуру. Fable рассчитана на ещё более длинные автономные проекты, а не просто на короткий ответ повышенной сложности. В Claude.ai Haiku расходует пользовательский лимит легче Sonnet, тогда как Opus и Fable требуют больше лимита; доступность уровней также зависит от тарифа аккаунта.
Цена меняет оптимальный выбор
В API отдельно оплачиваются входные и выходные токены. Официальная таблица тарифов Claude указывает за миллион входных и выходных токенов соответственно: $1 и $5 для Haiku 4.5, $2 и $10 для Sonnet 5, $5 и $25 для Opus 5, $10 и $50 для Fable 5. Использованная в исследовании Sonnet 4.6 стоит $3 и $15 за тот же объём.
Эти ставки нельзя напрямую переводить в число сообщений в Claude.ai: подписка и API используют разные механизмы расчёта. В API итог зависит не только от выбранной модели, но и от длины контекста, объёма ответа, кэширования и дополнительных инструментов. Поэтому сравнивать следует полную стоимость рабочего прогона, а не только цену входного токена.
Для регулярной нагрузки полезен простой порог: сначала определить минимально приемлемое качество, а затем выбрать самый дешёвый уровень, который устойчиво его достигает. Переход к старшей модели оправдан, только если прирост качества дороже не обходится в итоге дешевле — например, за счёт сокращения ручной проверки или числа повторных запросов.
Где именно Haiku обошла Sonnet
Препринт об автоматическом рецензировании кода сравнивает пять моделей на 150 примерах: 100 синтетических ошибках и 50 реальных запросах на включение исправлений из восьми открытых репозиториев. Haiku 4.5 получила F1 0,365 против 0,343 у Sonnet 4.6, полноту 0,293 против 0,248 и стоила около $0,003 за проверку против $0,010 — в 3,2 раза меньше.
Заголовочная победа относится к F1, то есть к балансу точности и полноты, а не ко всем показателям. Sonnet показала более высокую точность — 0,558 против 0,486 — и лучший F1 с учётом серьёзности дефектов: она оставляла меньше замечаний, но большая их доля совпадала с эталоном. Haiku нашла больше подтверждённых проблем ценой большего количества ложных срабатываний.
Отсюда следуют разные решения. Если каждое замечание быстро просматривает разработчик, более высокая полнота Haiku может оказаться полезнее. Если ложное предупреждение автоматически блокирует выпуск или запускает дорогую процедуру, консервативность Sonnet способна перевесить преимущество Haiku по обычному F1.
У исследования есть существенные ограничения. Неоднозначные совпадения оценивала Claude Opus 4.6, разметка реальных изменений была извлечена автоматически, использовалась одна общая инструкция без настройки под провайдера, а 50 реальных примеров недостаточно для обнаружения небольших различий. Это препринт, поэтому его результат следует считать сильным сигналом для собственной проверки, но не универсальным рейтингом моделей.
Реальный код оказался труднее синтетических ошибок
На реальных запросах на включение изменений лучший F1 среди проверенных моделей составил лишь 0,066, тогда как на синтетической части Haiku достигла 0,847. Авторы связывают разрыв с более крупными изменениями, форматированием, несколькими файлами и переплетением исправлений с рефакторингом. Следовательно, даже лидер сравнения не готов заменить обязательную проверку человеком.
Размер изменения оказался важнее места модели в линейке: качество резко снижалось на больших различиях между версиями файлов. Для производственного процесса это означает, что разбиение крупного изменения на содержательные фрагменты и применение статического анализа могут дать больший эффект, чем простая замена Haiku на Sonnet или Opus.
Сравнивать нужно конкретные версии
Документация по моделям Claude поясняет, что каждый идентификатор модели закреплён за конкретным снимком. Начиная с поколения 4.6 идентификаторы могут не содержать дату, но всё равно не переключаются автоматически на следующую версию.
Результат Haiku 4.5 против Sonnet 4.6 поэтому ничего не доказывает о сравнении Haiku с Sonnet 5, Opus 5 или Fable 5. Для воспроизводимой оценки нужно сохранять точный идентификатор, инструкцию, параметры рассуждения, набор примеров и полученные ответы. После выхода новой версии тест следует повторять, а не считать прежнюю позицию в линейке неизменной.
Дерево выбора: задача, задержка, лимит и цена
- Haiku — когда важны скорость и большой поток, результат легко проверить, а лишнее предупреждение недорого обработать.
- Sonnet — когда нужен универсальный вариант для повседневного письма, анализа, написания и отладки кода.
- Opus — когда собственная оценка показывает, что Sonnet систематически не справляется со сложным рассуждением или большим числом зависимостей.
- Fable — когда задача представляет собой длительный автономный проект, а не одиночный сложный запрос.
Для API можно построить каскад: основной поток направлять в Haiku, неоднозначные случаи — в Sonnet, а редкие сложные задачи — в Opus или Fable. Экономия возникает только при проверяемом правиле передачи: например, по размеру изменения, типу задачи или несоответствию результата формальному эталону.
Перед регистрацией и оплатой важна и география. В официальном перечне доступных стран указаны, среди прочих стран СНГ, Армения, Азербайджан, Грузия, Казахстан, Киргизия, Молдавия, Таджикистан, Туркменистан и Узбекистан; России и Беларуси в списке нет. Наличие приложения или зарубежной карты само по себе не означает официальную поддержку региона.
Итоговое правило не требует заранее объявлять победителя: начните с Sonnet, проверьте Haiku на том же наборе примеров и переходите к Opus либо Fable только после измеримого провала более дешёвого уровня. Сравнение рецензирования кода показывает, что движение вниз по линейке иногда даёт одновременно лучший результат и меньшие расходы.
Читайте также:
Подпишитесь на рассылку
Получайте свежие новости Web3, AI и криптовалют прямо на вашу почту.