UAEF: Универсальная система оценки ИИ-агентов независимо от используемого фреймворка
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания AWS представила Universal Agent Evaluation Framework (UAEF) — открытую систему для стандартизированного тестирования ИИ-агентов. Инструмент позволяет сравнивать версии моделей и промптов, используя единый набор метрик, независимо от того, на каком фреймворке построен агент.
Разнообразие инструментов разработки ИИ-агентов создает проблему несовместимости при их оценке. UAEF решает эту задачу, обеспечивая единый стандарт метрик и хранения результатов, что упрощает процесс итеративного улучшения моделей в корпоративной среде.
Команды, разрабатывающие ИИ-агентов на платформе AWS, часто сталкиваются с проблемой фрагментации инструментов оценки. Поскольку такие фреймворки, как LangGraph, LangChain и Strands Agents, фиксируют выполнение задач по-разному, метрики и логику скоринга приходится перестраивать при каждом смене стека технологий. Это усложняет базовую задачу разработки: определить, привели ли изменения в промптах, моделях или инструментах к улучшению качества работы агента. Для ответа на этот вопрос необходимы согласованные метрики и общая история результатов, что особенно важно, учитывая многомерность качества ИИ-агентов, включающую не только точность, но и безопасность, производительность и координацию в мультиагентных системах.
В ответ на эти вызовы AWS представила Universal Agent Evaluation Framework (UAEF). По данным компании, клиенты из 12 организаций в сферах телекоммуникаций, здравоохранения и финансовых услуг уже использовали UAEF для оценки своих агентов. Система является независимой от фреймворков: она использует адаптеры для преобразования трассировок выполнения из различных форматов в единый канонический формат AgentTrace. На основе этого стандартизированного представления UAEF оценивает агентов по 36 встроенным метрикам, сгруппированным в семь ключевых измерений качества.
Архитектура UAEF построена на принципе разделения нормализации и оценки. Адаптеры читают нативные записи выполнения агента — сообщения, вызовы инструментов и передачи управления между агентами — и конвертируют их в единый формат. Это позволяет системе работать с агентами, запущенными локально, через HTTP-эндпоинты или на управляемых рантаймах, таких как Amazon Bedrock AgentCore. Поскольку все метрики оперируют именно AgentTrace, а не нативным форматом фреймворка, результаты оценки остаются идентичными независимо от источника данных. Такой подход позволяет сравнивать агентов, построенных на разных технологиях, по единой шкале.
Движок оценки UAEF анализирует семь измерений: вызов инструментов, качество ответа, ответственное ИИ (безопасность и предвзятость), производительность, многоходовые диалоги, мультиагентную координацию и логическое рассуждение. Метрики делятся на два типа: детерминированные, которые вычисляют оценку напрямую из трассировки, и метрики «LLM-as-a-judge», использующие модели Amazon Bedrock для оценки качеств, не имеющих строгого формального определения. Для обеспечения безопасности при использовании LLM-судей контент агента обрабатывается как недоверенный ввод, а рубрика оценивания передается отдельно, что предотвращает возможность манипуляции оценками со стороны самого агента.
Результаты каждой оценки сохраняются как эксперимент в Amazon DynamoDB и Amazon S3. DynamoDB хранит метаданные для сравнения, а S3 — полные результаты с обоснованием решений судей. Система позволяет сравнивать различные версии агентов, выявляя регрессии и улучшения. Регрессии классифицируются по степени тяжести: незначительные (5–10%), умеренные (10–20%) и серьезные (более 20%). Это помогает разработчикам быстро определить, какие именно изменения в промптах или инструментах негативно повлияли на конкретные аспекты работы агента.
UAEF предоставляет два способа взаимодействия: Python-библиотеку для интеграции в CI/CD-пайплайны и low-code веб-интерфейс. Оба пути используют идентичный движок оценки, что гарантирует согласованность результатов. Инструмент является open source под лицензией Apache 2.0 и доступен в репозитории awslabs/uaef на GitHub. Он включает адаптеры для основных фреймворков, встроенные метрики и инфраструктуру для развертывания как сервиса.
Для практического применения AWS предлагает методологию выбора метрик, основанную на сценарии использования агента. Разработчикам рекомендуется начинать с метрик, соответствующих их специфическим задачам, а не оценивать все возможные аспекты, чтобы оптимизировать затраты на вызовы LLM. Система автоматически пропускает метрики, требующие эталонных ответов, если они отсутствуют в наборе данных, что позволяет оценивать как размеченные тестовые наборы, так и неразмеченный производственный трафик. Перед сохранением данных система сканирует их на наличие персональной информации (PII) и может выполнять ее маскировку.