AWS расширяет SageMaker ИИ: серверные сессии обучения для кастомизации моделей без управления GPU

Компании, внедряющие искусственный интеллект, все чаще отходят от использования готовых фундаментальных моделей в пользу их кастомизации. Как отмечает Amazon Web Services, обучение моделей на специфических данных бизнеса, таких как каталоги товаров или клиническая терминология, повышает точность и снижает операционные расходы. Однако процесс пост-обучения, особенно с использованием методов reinforcement learning (RL), остается технически сложным из-за необходимости управления GPU-инфраструктурой и настройки распределенных вычислений.

Для решения этой проблемы AWS расширила возможности SageMaker AI, запустив в общем доступе функцию training sessions. Этот инструмент позволяет разработчикам писать собственный код для цикла обучения, включая кастомные функции потерь и сигналы вознаграждения, при этом платформа автоматически обрабатывает распределение GPU, восстановление после сбоев и хранение контрольных точек. Разработчики получают прямой контроль над логикой пост-обучения без необходимости выбора типов инстансов или настройки кластеров.

AWS подчеркивает важность поддержки многошагового reinforcement learning (multi-turn RL), который критичен для создания ИИ-агентов, выполняющих сложные задачи, такие как бронирование поездок или обработка обращений в поддержку. В таких сценариях модель должна взаимодействовать с окружением несколько раз перед принятием финального решения. Training sessions упрощают этот процесс, объединяя этапы генерации ответов, их оценки и обновления весов модели в едином управляемом цикле.

Практический опыт клиентов подтверждает эффективность подхода. Роб Гонтарек, старший вице-президент по науке о данных в ImagineSoftware, отметил, что использование платформы для создания модели триажа медицинских страховых случаев предоставило ученым необходимый тонкий контроль над процессами forward и backward passes. Нитин Вагх, CEO компании Karini AI, добавил, что при дообучении модели gpt-oss-20b для работы с графом знаний Amazon Neptune платформа обеспечила надежность возобновления обучения с точного шага, сняв с разработчиков операционную нагрузку.

Технически реализация работает следующим образом: код пользователя управляет циклом обучения и функцией вознаграждения в своем окружении. Сессия обучения выполняет ресурсоемкие операции: генератор (sampler) создает ответы, а тренер (trainer) вычисляет градиенты и обновляет веса. Например, при использовании алгоритма Group Relative Policy Optimization (GRPO) система генерирует несколько ответов на один запрос, оценивает их с помощью верификатора или модели вознаграждения, а затем применяет обновления к весам модели на основе относительной эффективности ответов.

Вопросы безопасности и управления данными остаются под полным контролем клиента. Каждая сессия использует роль IAM, созданную пользователем, а данные хранятся в собственных баках S3 в выбранном регионе AWS. Компания заявляет, что не использует данные клиентов или их кастомизированные веса для обучения других моделей. Перед развертыванием модели можно проводить оценку точности, предвзятости и безопасности, а после — применять защитные механизмы и мониторинг через Amazon CloudWatch.

Функция training sessions доступна сегодня и поддерживает такие модели, как gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B и Qwen3.8-27B. Разработчики могут начать работу через IDE с использованием SageMaker Python SDK или непосредственно в SageMaker Studio, где запуск готовой среды разработки занимает менее 20 секунд. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/announcing-new-ways-to-customize-models-with-sagemaker-ai-without-managing-gpus/