Как Атом измеряет качество ИИ-отчетов: 45% оценок ниже тройки и путь к улучшению
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда AI LAB в компании Атом провела глубокий анализ качества автоматических отчетов по рабочим встречам, выявив, что почти половина из них получает низкие оценки. Разбор ошибок показал, что основная причина проблем — несовершенство промптов и некорректная классификация типов встреч, а не ошибки распознавания речи.
Статья демонстрирует практический подход к оценке качества LLM-приложений в корпоративной среде. Она важна для специалистов по продукту и разработчиков ИИ-инструментов, так как показывает, как перейти от простых метрик использования к измерению реальной ценности и качеству генерируемого контента, избегая типичных ловушек при настройке систем автоматической оценки.
Команда AI LAB в компании Атом столкнулась с вызовом: после расширения аудитории пользователей своего ИИ-сервиса «Транскрибатор» стало очевидно, что стандартные метрики посещаемости не отражают реальную пользу продукта. Внутренний анализ показал, что 45% автоматических отчетов по рабочим встречам получают оценку три балла и ниже по пятибалльной шкале. Чтобы понять причины, команда провела детальный разбор 56 отчетов с низкими оценками, сопоставив их с эталонными версиями, сгенерированными более мощной моделью.
Анализ выявил, что почти половина проблем (45%) связана с качеством промпта суммаризации. Еще 36% случаев объясняются тем, что формат встречи не соответствовал шаблону «рабочей» встречи: сервис пытался структурировать демо-презентации или тест-драйвы как совещания с решениями и задачами. Лишь 12% ошибок были вызваны качеством исходных данных, например, плохим распознаванием речи или отсутствием имен спикеров. Ошибки самого оценщика составили 7%.
Среди конкретных дефектов отчетов чаще всего встречалась потеря главного вывода встречи (в 28 случаях из 56), а также включение в раздел задач бытовых мелочей и чужих поручений. Команда Атом признает, что попытка запретить модели выдумывать задачи привела к противоположному эффекту: ИИ начал удалять и реальные договоренности, предпочитая написать «нет активных задач», чем рискнуть ошибкой.
Для решения этих проблем команда переписала промпт рабочей встречи, введя строгие критерии определения задач и решений. Также были созданы отдельные типы отчетов для лекций и технических заездов, а логика оценщика была скорректирована: теперь он сначала проверяет наличие материала для анализа, и только затем оценивает качество. Тестирование новых версий на проблемных случаях показало рост средней оценки с 2,53 до 3,35, а в случаях, где причиной был промпт, — с 2,62 до 3,50.
Этот кейс подчеркивает важность не только автоматических метрик, но и ручного анализа ошибок. Как отмечают авторы, единого определения «активного пользователя» или «полезного действия» не существует, и эти параметры нужно настраивать под каждый конкретный продукт. Опыт Атом показывает, что качество ИИ-отчетов — это итеративный процесс, требующий постоянного баланса между строгостью правил и полнотой изложения фактов.