Сбербанк: домашние задания стали хуже отражать знания студентов из-за использования ИИ

CNews AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Аналитики Сбербанка и МГУ зафиксировали снижение корреляции между оценками за домашние работы и очные экзамены на треть после появления общедоступных LLM. Исследователи утверждают, что генеративный ИИ размывает связь между домашними заданиями и реальными знаниями студентов, но отказываться от этого формата обучения нецелесообразно.

Материал демонстрирует конкретное влияние генеративного ИИ на академическую оценку знаний, что критически важно для вузов при пересмотре методик контроля успеваемости.

Центр макроэкономических исследований Сбербанка совместно с экономическим факультетом МГУ провели анализ влияния общедоступных больших языковых моделей на качество образовательного процесса. Исследователи изучили ведомости 755 студентов шести потоков курса «Поведенческая и экспериментальная экономика». Ключевой вывод состоит в том, что после появления таких инструментов, как ChatGPT, домашние задания перестали быть надежным индикатором реальных знаний обучающихся.

Статистические данные подтверждают эту тенденцию. Корреляция между оценками за домашние работы и очные экзамены снизилась с 0,63 в период 2019–2022 годов до 0,43 в 2023–2025 годах. Это падение на треть совпало с выходом ChatGPT в конце 2022 года, когда студенты потока 2023 года впервые весь семестр могли использовать чат-боты для выполнения заданий. Уже в 2023 году, до перехода части заданий на работу с данными, корреляция упала до 0,46.

Анализ показывает, что преимущество студентов с высокими баллами за домашние работы на очных экзаменах сократилось более чем на треть: с 2,6 до 1,6 балла из 10. При этом связь между результатами контрольных и экзаменов осталась стабильной (0,65 и 0,67), так как обе эти работы выполняются в аудитории без доступа к ИИ. Это свидетельствует о том, что именно домашние задания перестали отражать уровень подготовки.

Ситуация осложняется тем, что генеративным ИИ пользуются студенты с любыми оценками, а не только отстающие. Вероятность того, что студент из четверти с худшими очными результатами получит более низкий балл за домашнее задание, чем случайный студент из остальных групп, снизилась с 0,85 до 0,72. Это означает, что по оценкам за домашние работы стало труднее выявлять как самых слабых, так и самых сильных учащихся.

Вместе с тем итоговые оценки по-прежнему опираются преимущественно на очные работы. По данным исследования, без учета домашних заданий итоговая оценка изменилась бы у 22% студентов до 2023 года и у 19% после. За шесть потоков «отлично» получили 182 студента, и лишь один из них написал очные работы хуже половины своего потока.

Александр Исаков, старший управляющий директор и руководитель Центра макроэкономических исследований Сбербанка, подчеркивает, что отказываться от домашних заданий было бы ошибкой. Он отмечает, что самостоятельная работа формирует учебную дисциплину и мотивирует к глубокому погружению в материал, так как лекция сама по себе не гарантирует усвоения знаний. Кроме того, именно процесс решения задач и поиска ошибок формирует настоящее понимание предмета.

По словам представителя Сбербанка, домашние задания позволяют организовать практическую работу и отслеживать прогресс большого количества студентов без перегрузки преподавателей очными проверками. Даже если сегодня такие задания не дают полной картины знаний, они остаются важным инструментом обучения. Задача университетов, по мнению экспертов, заключается не в отказе от этого формата, а в его дополнении другими методами оценки.