Многошаговое обучение с подкреплением на Amazon SageMaker ИИ: практический подход к агентным задачам
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Amazon Web Services представила методологию Multi-Turn Reinforcement Learning (MTRL) в Amazon SageMaker AI, позволяющую обучать модели на последовательности действий, а не на единичных ответах. В качестве демонстрации используется игра Wordle, где модель gpt-oss-20b повышает точность решения задач с 61% до 84% при затратах на обучение около 339 долларов.
Традиционные методы дообучения плохо подходят для агентных систем, где результат зависит от цепочки решений. MTRL решает проблему распределения вознаграждения по шагам, позволяя обучать компактные модели на специфических бизнес-процессах без необходимости размечать идеальные траектории.
Большинство современных подходов к дообучению языковых моделей сосредоточены на улучшении ответа на один конкретный запрос. Однако агентные задачи, такие как обработка служебных записок или классификация обращений поддержки, требуют последовательности действий, где каждый шаг зависит от предыдущего. В таких сценариях отсутствует единая «правильная» траектория для имитации, а единственный надежный сигнал успеха — результат всей последовательности. Обычное обучение с учителем не имеет меток для этого процесса, а одношаговое обучение с подкреплением не может корректно оценить решение, принятое несколько шагов назад. Именно эту проблему решает Multi-Turn Reinforcement Learning (MTRL) в Amazon SageMaker AI, обучая модели на сигнале, полученном от завершения всего эпизода.
В рамках демонстрации AWS использует игру Wordle, где игрок должен угадать пятибуквенное слово за шесть попыток. Эта задача идеально подходит для MTRL благодаря простым правилам и объективной оценке результата. Хотя передовые модели уже хорошо играют в Wordle, на практике MTRL предназначен для обучения небольших и дешевых моделей сложным многошаговым задачам, специфичным для конкретного бизнеса, например, внутренним рабочим процессам, на которых публичные модели не обучались. В ходе эксперимента модель gpt-oss-20b повысила процент успешных решений на тестовом наборе с 61% до 84% при стандартном уровне рассуждений и с 15% до 69% при низком уровне, затратив около 339 долларов на токены обучения.
Архитектура решения разделена на две части: SageMaker AI управляет процессом обучения и моделью политики, а Amazon Bedrock AgentCore размещает агента, окружение игры и функцию вознаграждения. Для каждого прогона MTRL вызывает рантайм AgentCore с одной строкой данных, содержащей секретное слово. Агент вызывает модель политики через OpenAI-совместимый эндпоинт, делает до шести попыток и получает обратную связь по каждой букве. По завершении игры агент возвращает одно вознаграждение. Алгоритм Group Relative Policy Optimization (GRPO) использует разброс вознаграждений для обновления адаптера LoRA.
Важным аспектом является дизайн функции вознаграждения. Успешное решение приносит от 1.05 до 1.55 баллов в зависимости от скорости, проигрыш — минус 0.5, а отсутствие валидных попыток — минус 1.5. Небольшой корректирующий термин поощряет хорошую стратегию внутри каждого уровня. Это позволяет модели учиться не только на финальном результате, но и на качестве промежуточных решений. При этом данные пользователя, агент и обученная модель остаются в его аккаунте AWS и не используются для обучения базовых моделей.
Процесс настройки требует создания двух ролей IAM: одна для рантайма агента, другая для задачи обучения. Ошибка в доверии роли (trust policy) часто приводит к сбоям при запуске. Агент разворачивается через CLI, который автоматически настраивает зависимости и политики. Перед началом дорогостоящего обучения рекомендуется проверить работоспособность всей цепочки с помощью тестового запроса, чтобы убедиться в корректности аутентификации и обработки ошибок.
Датасет для MTRL не содержит целевых ответов или транскриптов; каждая строка представляет собой задачу для агента. В примере используется JSON-объект с инструкцией, секретным словом и идентификатором строки. Обучение запускается через SDK sagemaker-train, где настраиваются гиперпараметры, такие как максимальное количество токенов и эпох. Мониторинг ведется в MLflow, где отслеживается метрика val/reward/pass_at_1 — доля решенных тестовых слов.
Оценка обученной модели проводится при настройках, соответствующих условиям эксплуатации (serving settings). В отличие от валидации во время обучения, здесь можно задавать температуру. Результаты показывают, что адаптер добавляет от 14 до 54 процентных пунктов к точности в различных конфигурациях. Важно отметить, что кривая обучения в MLflow может показывать более низкие результаты (например, 37%), чем оценка при реальных условиях обслуживания (84%), из-за различий в температуре и уровне рассуждений. Это подчеркивает необходимость оценки модели именно в тех режимах, в которых она будет использоваться.