Индустрия вложила огромные деньги в первое направление. Второму почти никто не уделяет внимания.
Почему самоулучшение имеет жёсткие пределы
В играх (AlphaZero, Go, chess) ИИ может развиваться самостоятельно благодаря стабильной среде и чёткому сигналу вознаграждения: победа или поражение. Правила фиксированы и никогда не меняются.
В реальной профессиональной работе всё иначе:
Правила постоянно меняются (новые законы, финансовые инструменты, судебная практика).
Результат часто становится известен через годы (правильность медицинского диагноза, эффективность юридической стратегии).
Нет однозначного «выиграл/проиграл».
Без стабильной среды и чёткого сигнала ИИ не может закрыть цикл обучения. Ему нужны люди.
Проблема формирования экспертов («The Formation Problem»)
Сегодняшние модели обучались на знаниях людей, которые прошли долгий путь: entry-level работа → накопление опыта → глубокая экспертиза.
Сейчас именно эти entry-level задачи (первый просмотр документов, базовое исследование, очистка данных, code review) автоматизируются в первую очередь. Новое поколение специалистов не получает того самого опыта, который делает их ценными оценщиками для ИИ.
Это совершенно новый механизм потери знаний. В истории знания исчезали из-за войн, чумы или краха институтов. Сейчас они могут атрофироваться просто из-за тысячи рациональных экономических решений.
Когда целые области становятся тихими
Представьте продвинутую математику, теоретическую информатику, сложное системное проектирование или глубокое юридическое мышление.
Если компании перестанут нуждаться в математиках для повседневной работы — исчезнет экономический стимул становиться математиком. Количество людей, способных к frontier-рассуждениям, сократится. Поле перестанет генерировать новые прорывы.
То же самое с программированием: если ИИ будет писать весь production-код, кто будет развивать глубокую архитектурную интуицию, которая позволяет создавать принципиально новые системы?
Автоматизация ≠ понимание. Когда последний настоящий эксперт уйдёт на пенсию, а молодых не будет, знание может исчезнуть навсегда. Модели ещё долго будут показывать хорошие результаты на бенчмарках — но под поверхностью останется пустота.
Почему рубрики не решают проблему
Сейчас используют Constitutional AI, RLAIF и рубрики оценки. Это серьёзные инструменты, но у них есть фундаментальное ограничение: рубрика может описать только то, что человек уже умеет явно формулировать.
Глубокое чутьё, инстинкт «здесь что-то не так», tacit knowledge (неявное знание) — всё это невозможно полностью записать в чек-лист. Его можно только накопить через годы практики.
Что это значит на практике
Мы не просто автоматизируем рутину. Мы одновременно демонтируем человеческую инфраструктуру, которая сейчас компенсирует слабости ИИ. И делаем это неосознанно — как побочный эффект тысячи «рациональных» решений по сокращению затрат.
Это не призыв тормозить развитие ИИ. Это призыв относиться к проблеме человеческой оценки с такой же серьёзностью и инвестициями, как мы относимся к росту параметров моделей.
То, что ИИ больше всего нужно от людей — это именно то, что мы сейчас меньше всего стараемся сохранить.
