Семь ловушек метрик: как разработчик ИИ-проверки ЕГЭ обманывал себя цифрами
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Разработчик бота для проверки ответов на ЕГЭ по обществознанию описывает семь системных ошибок в оценке точности ИИ. За полгода доля совпадений с экспертами выросла с 50% до 71,5%, однако путь к этому результату был испорчен техническими артефактами и неверной интерпретацией данных.
Материал демонстрирует практические сложности валидации LLM-систем: даже при наличии эталонных данных метрики могут искажать реальное качество из-за несоответствия тестовой и боевой сред, скрытых ошибок кода или статистических артефактов. Это критически важно для всех, кто внедряет ИИ в образовательные или экспертные процессы.
В апреле 2026 года бот для проверки второй части ЕГЭ по обществознанию совпадал с экспертами лишь в 50% случаев и завышал балл каждому третьему ученику. К ноябрю точность выросла до 71,5%, а доля завышений упала до 9,4%. Однако автор проекта, описывая этот прогресс, признаёт, что за полгода совершил семь ошибок в измерении качества, которые не имели отношения к предмету, но характерны для любого проекта с оценкой текстов языковыми моделями.
Первая и самая частая проблема — рассинхронизация тестовой и боевой сред. Скрипты замеров часто использовали модель по умолчанию из кода, а не ту, что работала в проде. В одном случае это привело к тому, что «claude»-прогоны шли на Sonnet 5, тогда как боевой была Sonnet 4.6. Разница в точности составила от 5 до 19 процентных пунктов в зависимости от задания. Ещё один пример: на машине для замеров отсутствовал файл с ключами ФИПИ, что создавало ложные завышения. Автор подчёркивает: замер должен идти тем же путём, что и ответ пользователя, и сам доказывать это.
Вторая ловушка — «тихие нули». При сбое разбора ответа код молча подставлял ноль баллов. В задании 25 таких случаев было 16 из 110. Восемь из них совпали с нулевыми баллами эксперта и засчитались как точное совпадение, скрывая реальную проблему. После исправления статус проверки стал храниться отдельно от балла, а сбойные кейсы исключаются из метрик.
Третья ошибка — метрики, которые ничего не измеряют. Задание 17 показывало 96,7% точности, но в 29 из 30 эталонов эксперт ставил максимум. Заглушка, всегда ставящая «2», набрала бы тот же результат. Автор начал сравнивать точность бота не с нулём, а с лучшей константой — заглушкой, которая ставит самый частый балл из эталонов.
Четвёртая проблема — игнорирование направления ошибки. Бот систематически завышал баллы: две трети ошибок были в сторону льстивости. Чаще всего он не замечал фактических ошибок или принимал пересказ условия за аргумент. Автор предположил, что промпт с правилом «снижай балл только при явной ошибке» модель читала как презумпцию в пользу балла.
Пятая ловушка — борьба с завышениями через занижения. Добавление перепроверок, которые могли только понизить балл, снижало долю завышений, но увеличивало занижения. В одном случае точность на чистых кейсах не выросла, а в другом бот стал снимать баллы с образцовых ответов. Автор заключает: правка успешна только если завышений стало меньше, а занижений — не больше.
Шестая ошибка — доверие к согласию двух прогонов. В задании 24 два прогона модели дружно находили несуществующую ошибку в эталонных планах. Согласие отсеивает случайный шум, но воспроизводит устойчивое заблуждение. Помог отдельный верификационный прогон с другим вопросом: «есть ли названный вид в школьном курсе».
Седьмая проблема — сравнения, где менялось всё сразу. Сравнение Claude и YandexGPT было сделано на разных версиях системы: между прогонами изменились промпты и подключены ключи ФИПИ. Чистое сравнение на одном коммите так и не было проведено.
В ноябре 2026 года бот работает на Sonnet 5.5 с включёнными перепроверками. Сильнее всего задание 22 (97,0% точности), слабее всего — задание 23 (50% совпадений и более четверти завышений). Автор подчёркивает: каждая цифра в отчёте — результат одного прогона, и её интерпретация требует учёта шума и контекста.