Почему LLM не способны генерировать достоверные оценки уверенности

В последние годы разработчики активно внедряют LLM-агентов для выполнения разнообразных задач: от написания кода до планирования поездок. При этом многие дизайнеры систем полагаются на способность моделей генерировать числовые оценки уверенности в своем ответе. Однако, как утверждает автор материала, нет никаких оснований доверять этим цифрам. Проблема кроется в фундаментальном непонимании того, что такое уверенность и почему нейросети не способны ее корректно измерить.

Чтобы понять суть проблемы, стоит обратиться к аналогии с метеорологом. Уверенность прогнозиста в том, что завтра пойдет дождь, базируется на конкретных данных: давлении, влажности и исторических записях. Если два прогнозиста обладают одинаковой информацией и правильно применяют алгоритмы, их оценки должны совпадать. Различия возникают только из-за разного набора данных или ошибок в расчетах. Уверенность — это не мнение, а результат вычислений на основе имеющихся фактов.

Точность таких оценок проверяется через калибровку. Если метеоролог сто раз сказал «70% вероятность дождя», и дождь пошел примерно в 70 случаях из ста, его оценки точны. Однако одна лишь калибровка недостаточна: прогнозист, который всегда говорит «30%» (средняя сезонная норма), тоже будет калиброван, но его прогнозы бесполезны, так как они не учитывают текущие условия. Для полезной оценки нужны два условия: она должна отражать объем доступной информации и быть проверенной на фактических результатах.

Языковые модели работают иначе. LLM генерируют текст по одному токену за раз, выбирая наиболее вероятное продолжение. Когда модель выдает число «0.85», она не читает значение с внутреннего датчика точности. Она просто пишет это число как логичное продолжение диалога. Это число не отражает количество информации, которой располагала модель, и оно никогда не калибровалось на соответствие реальной частоте правильных ответов. Модель обучалась предсказывать следующий токен текста, а не оценивать свою собственную компетентность.

Это приводит к парадоксальным последствиям. Если задать один и тот же вопрос дважды, модель может выдать разные значения уверенности (например, 0.85 и 0.7), хотя информация не изменилась. Изменение формулировки вопроса также влияет на результат, так как для модели это новый контекст, а не новая информация. Более того, если в тексте перед числом уже написано «это правильный ответ», модель с высокой вероятностью выдаст высокое значение уверенности просто потому, что это стилистически уместно.

Таким образом, LLM всегда даст вам точное на вид число, которое выглядит как измерение, но является лишь текстовой генерацией. Неправильное число выглядит так же, как и правильное, и отличить их можно только путем проверки множества ответов по ключу. Большинство пользователей этого не делают, что делает такие оценки ненадежными.

Альтернативный подход заключается в создании внешних правил для оценки уверенности. Модель может продолжать выполнять задачу (например, отвечать на вопросы клиентов), но оценка уверенности должна исходить из наблюдаемых метрик. Например, можно отслеживать, найдена ли релевантная статья в базе знаний, согласуются ли ответы при повторном запросе и какова историческая частота ошибок для подобных вопросов.

Начинать следует с базовой статистики: если 75% прошлых ответов были верными, это становится стартовой оценкой. Затем необходимо вести журнал всех ответов, сохраняя контекст, выданную оценку и факт их правильности. На основе этих данных правила корректируются: если ответы с найденной статьёй были верны в 95% случаев, оценка для таких ситуаций повышается. Этот подход обеспечивает стабильность: одна и та же информация всегда дает одну и ту же оценку, которая зависит от фактов, а не от формулировок. Главное условие успеха — регулярная проверка и обновление правил на основе реальных результатов, иначе мы вернемся к ситуации, где никто не измеряет точность системы.