FairStress: новый бенчмарк выявляет скрытые асимметрии в решениях LLM

Большинство существующих бенчмарков для оценки справедливости больших языковых моделей (LLM) фокусируются на финальном выборе: например, выбирает ли модель кандидата с лучшими навыками независимо от его расы или пола. Однако, как отмечают исследователи Allen Institute for AI (Ai2), такой подход может скрывать важные различия в устойчивости решений. Если модель изначально выбирает сильного кандидата, но легко меняет мнение под давлением аргументов в пользу слабого кандидата из-за его демографической принадлежности, это свидетельствует о скрытой асимметрии. Для решения этой проблемы команда разработала FairStress — бенчмарк, который измеряет не только результат, но и стабильность решений при столкновении с «агрессивными префиксами» (adversarial prefixes), то есть убедительными, но потенциально предвзятыми аргументами.

FairStress включает 300 реалистичных сценариев принятия решений в 29 областях, от найма и кредитования до здравоохранения и уголовного правосудия. Сценарии варьируются от случаев с очевидным победителем до неоднозначных ситуаций, где выбор субъективен. Ключевая особенность бенчмарка — тестирование устойчивости моделей к манипуляциям. Исследователи добавляют к сценариям аргументы, апеллирующие к авторитету, исторической несправедливости или социальным нормам, и измеряют, насколько часто модель отказывается от своего первоначального выбора в зависимости от того, какую демографическую группу поддерживает этот аргумент. Это позволяет выявить так называемую «антистереотипную гиперкоррекцию», когда модели чаще отступают от верного решения, если это выгодно кандидату из меньшинства.

Эксперименты на открытых и закрытых моделях (включая Llama, Qwen, Gemma, Claude и GPT) показали, что при отсутствии демографических данных поведение моделей симметрично. Однако, когда идентичность становится явной или подразумеваемой, асимметрия возрастает. В частности, модели чаще меняли решение в пользу кандидата из меньшинства, даже если его квалификация была слабее, чем у кандидата из большинства. Разница в устойчивости решений достигала 9,3 процентных пунктов при явных метках идентичности. Кроме того, анализ объяснений моделей выявил, что при выборе кандидатов из меньшинств LLM чаще использовали эмоционально окрашенную лексику (например, «устойчивость», «разнообразие»), тогда как для кандидатов из большинства акцент делался на процедурных аспектах («критерии», «доказательства»). Это может указывать на то, что модели приписывают меньшинствам особые качества, снижая вес объективных достижений.

Интересным результатом стало сравнение FairStress с популярным бенчмарком BBQ. В то время как BBQ фиксировал склонность моделей к стереотипно-согласованным ответам, FairStress выявлял тенденцию к фаворитизму меньшинств. Исследователи объясняют это различие методологией: BBQ оценивает вероятности фиксированных вариантов ответа, тогда как FairStress требует от модели сгенерировать полный ответ и сделать выбор. Контрольные тесты показали, что изменение формата вопроса (например, использование чат-шаблонов и генерации ответов) способно перевести поведение модели из стереотипного в сторону гиперкоррекции. Это подчеркивает важность оценки моделей в условиях, близких к реальному использованию.

Аудит данных обучения модели Olmo 3 выявил возможную причину таких асимметрий. В корпусе для дообучения (SFT) обнаружено лишь девять кластеров тем, обсуждающих решения на основе заслуг, и все они представляли собой отказы в выполнении запросов. При этом меньшинства чаще описывались в защитном или позитивном ключе, тогда как белые и цисгендерные люди получали меньше защитного фрейминга. Это создает разрыв между обучением моделей отказывать в дискриминационных запросах и обучением принимать обоснованные решения на основе заслуг.

Чтобы проверить эффективность методов устранения предвзятости, исследователи протестировали девять интервенций, включая самокритику и стиринг активаций. Большинство методов не смогли надежно снизить асимметрию, а некоторые резко снизили точность моделей. Наиболее успешным оказался метод контрфактического цепочки рассуждений (counterfactual chain-of-thought), который просит модель пересмотреть случай с подменой демографических характеристик кандидатов. Этот подход сократил разрыв в устойчивости решений, сохранив при этом точность, хотя и не устранил все асимметрии в неоднозначных случаях.

FairStress доступен для скачивания и интегрирован в Olmo-eval, открытую рабочую среду для сравнения моделей. Разработчики подчеркивают, что их цель — не навязать единственное определение справедливости, а предоставить инструмент для диагностики скрытых поведенческих паттернов. Бенчмарк основан на принципе равенства: при прочих равных условиях идентичность не должна влиять ни на выбор, ни на устойчивость этого выбора. Публикация этих результатов призвана помочь исследователям и разработчикам создавать более прозрачные и предсказуемые ИИ-системы, способные принимать решения на основе фактов, а не демографических меток.