Когда 16 профессоров права из ведущих американских университетов в слепом тесте оценивали ответы на студенческие вопросы по договорному праву, большинство из них неожиданно отдали предпочтение искусственному интеллекту.
В эксперименте приняли участие преподаватели из Стэнфорда, Йеля, Нью-Йоркского университета, Чикагского университета и других топовых вузов. Учёные подготовили 40 реалистичных вопросов, которые студенты обычно задают после лекций или на консультациях. Профессора написали собственные ответы, а затем в слепом режиме сравнили почти 3000 анонимизированных вариантов — не зная, где ИИ, а где человек.
Мы были искренне удивлены масштабом результатов, — признался Джулиан Ньярко. — Это были не простые вопросы с очевидным ответом. Многие требовали синтеза сложного материала, применения его к новым ситуациям и объяснения юридических концепций так, чтобы студент развивал аналитическое мышление.
Почему это важно именно для права
Авторы специально выбрали юриспруденцию, потому что здесь нет чётких «правильных» и «неправильных» ответов. Нужно уметь работать с неоднозначностью, взвешивать аргументы и предлагать обоснованные выводы.
Соавтор исследования, профессор Йельской школы права Сарат Санга, отметил:
В праве два противоположных аргумента могут быть оба хороши. Мы хотели проверить, может ли ИИ соответствовать тому профессиональному стандарту, которым юристы оценивают работу друг друга. В этом исследовании ответ оказался положительным.
Исследователи тщательно калибровали ответы ИИ по длине и структуре, чтобы они были сопоставимы с человеческими. В тесте использовались как коммерческие tutoring-системы, так и Google NotebookLM. Даже когда у ИИ были ограничения контекста, профессора всё равно часто предпочитали его ответы.
Что это меняет в юридическом образовании
Результаты появляются в то время, когда юридические вузы по всей стране решают, как правильно интегрировать ИИ. Одни опасаются снижения критического мышления и риска галлюцинаций, другие видят возможность сделать качественную юридическую помощь более доступной.
Авторы исследования подчёркивают важность осторожного подхода.
Мы не призываем к полному переходу на ИИ-тьюторов, — говорит Ньярко. — Но наши данные показывают, что тотальный скептицизм тоже не обоснован. Разговор должен сместиться от “может ли ИИ давать качественные ответы” к вопросу “как responsibly использовать его в интересах студентов”.
Первый автор работы Алехандро Салинас добавил, что ИИ может стать ценным дополнением к традиционному обучению, особенно для студентов, которым нужна дополнительная поддержка вне аудитории.
