Аудит LLM для ответов на отзывы: почему дешёвая модель оказалась точнее дорогой
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Разработчик сервиса автоматизации ответов на маркетплейсах протестировал 13 языковых моделей на наборе из 346 сложных кейсов. В результате самой точной и экономичной для основных задач стала Alice AI LLM Flash, а GigaChat 3.5 Ultra показала лучшие результаты в классификации, но провалилась в работе с вопросами покупателей.
Статья демонстрирует практический подход к выбору LLM для бизнес-задач: важность синтетических тестовых наборов, статистической значимости результатов и анализа конкретных типов ошибок моделей, а не только общих метрик качества.
Разработчик сервиса, автоматизирующего ответы на отзывы покупателей Wildberries, Ozon и Яндекс Маркета, столкнулся с необходимостью выбрать оптимальную языковую модель. Задача заключалась не просто в генерации вежливых фраз, а в строгом соблюдении бизнес-правил: корректная классификация тональности, отказ от выдуманных обещаний (например, «проверим партию») и возврат служебного маркера при отсутствии данных. Для объективного сравнения 13 моделей автор создал набор из 346 синтетических примеров, намеренно перегруженных сложными сценариями: браком, попытками инъекций промптов и спорными ситуациями с доставкой.
Тестирование проводилось в пять этапов с октября по ноябрь, что позволило учесть изменения в API и доступности моделей. Ключевым инструментом оценки стал парный бутстрап, который учитывал разную сложность примеров и исключал ложные различия из-за шума. Результаты показали, что Alice AI LLM Flash стала лидером по соотношению цены и качества: она надёжно проходила проверку фактов и генерировала ответы, не нарушая запретов на сбор данных покупателя или обещание действий, которые продавец не может выполнить.
GigaChat 3 Pro, несмотря на более высокую стоимость, систематически выдумывал действия по «проверке партий», что было связано с формулировками в промпте. После корректировки инструкций доля ошибок снизилась, но модель всё равно уступала Flash в стабильности. GigaChat 3.5 Ultra продемонстрировала сильные стороны в классификации отзывов, обойдя конкурентов по точности и скорости, однако показала худший результат в работе с вопросами: вместо возврата маркера «недостаточно данных» она часто выдумывала ответы или предлагала уточнить информацию у продавца, что критично для автоматизации.
Отдельного внимания заслуживает роль модели-судьи. GigaChat 3.5 Ultra оказалась эффективнее GigaChat 3 Pro в оценке качества ответов других моделей, хотя как самостоятельный генератор текста имела свои недостатки. DeepSeek V4.1 Flash показал результаты на уровне лидера, но из-за зависимости от того же провайдера не мог служить резервом. Автор подчёркивает, что выбор модели должен базироваться не на маркетинговых обещаниях, а на анализе конкретных типов ошибок и статистической значимости различий.
Выводы исследования подтверждают, что для массовых операций с отзывами важна не максимальная «интеллигентность» модели, а её дисциплинированность в рамках заданных правил. Дешёвая и быстрая модель, которая строго следует инструкциям и не выдумывает факты, оказывается полезнее дорогой, но склонной к галлюцинациям. Источник: web:Habr AI — https://habr.com/ru/articles/1107856/