AWS расширяет SageMaker инструментами ИИ для автоматизации подготовки данных

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Amazon Web Services представила новые функции в Amazon SageMaker, позволяющие генерировать синтетические данные и автоматически размечать датасеты с помощью ИИ. Это решение направлено на сокращение времени, затрачиваемого на подготовку качественных данных для обучения моделей.

Подготовка данных часто является самым долгим этапом разработки ИИ-моделей. Новые инструменты AWS позволяют автоматизировать рутинные задачи разметки и генерации примеров, что ускоряет создание специализированных моделей и снижает затраты на вычислительные ресурсы.

Команда, внедряющая генеративный ИИ в продакшн, хорошо знает: качество модели напрямую зависит от качества данных. Тонкая настройка открытых моделей или обучение с подкреплением требуют точных, правильно размеченных и репрезентативных датасетов. Однако на практике подготовка данных часто становится узким местом проекта. Разметчики дефицитны, правила конфиденциальности ограничивают доступ к информации, а ошибки вроде дубликатов или утечки ответов обнаруживаются лишь после неудачного запуска обучения. В результате специалисты по данным тратят недели на «приручение» данных вместо разработки самих моделей.

Amazon Web Services объявила о расширении функциональности Amazon SageMaker AI новыми возможностями подготовки данных с помощью ИИ. Теперь разработчики могут генерировать синтетические примеры, оценивать и улучшать существующие датасеты, а также интегрировать экспертную обратную связь в процесс. Эти функции доступны через Python SDK и навык AWS AI-ML agent skill, что позволяет работать в привычных средах — ноутбуках или IDE, сохраняя полный контроль над кодом и спецификациями.

Ключевым преимуществом является отказ от необходимости собирать пайплайны из разрозненных инструментов. Каждая функция работает как самостоятельный блок: автоматическая разметка, человеческий ревью, генерация синтетических данных, оценка качества и трансформация. Например, при автоматической разметке система использует «присяжных» — несколько моделей, которые размечают каждую строку, а уровень их согласия становится индикатором уверенности. Строки с низкой уверенностью отправляются на ручную проверку в Amazon SageMaker Studio, где используется открытая платформа Label Studio Community Edition.

Генерация синтетических данных позволяет создавать тренировочные и тестовые наборы на основе спецификации, опираясь на собственные исходные данные и документы. Сервис генерирует код пайплайна, который можно просматривать, модифицировать и масштабировать. Оценка качества данных проверяет датасеты на соответствие бизнес-правилам, встроенным метрикам и критериям LLM-as-a-judge, выявляя дубликаты, шум в разметке и другие скрытые проблемы.

Splunk, компания Cisco, уже использует эти возможности для создания моделей оценки для своего продукта Agent Observability. Яш Шетх, директор по инженерии Splunk Agent Observability, отмечает, что генерация синтетических данных помогает масштабировать возможности и создавать статистически репрезентативные датасеты быстро, сохраняя паттерны, на которых зависят модели. Это позволяет специалистам тратить меньше времени на подготовку данных и больше — на создание моделей, приносящих реальную ценность.

Пользователи могут комбинировать функции для создания сложных рабочих процессов: от генерации данных до их трансформации в формат, ожидаемый конкретной техникой обучения (SFT, DPO или RL), и последующей валидации перед запуском обучения. Весь процесс управляется через IAM-роли, а данные остаются в собственных S3-бакетах клиента в выбранном регионе AWS.

Новые функции уже доступны в регионах US East (N. Virginia) и US West (Oregon). Разработчики могут начать работу, настроив навыки подготовки данных в поддерживаемых ноутбуках или IDE, либо используя Python SDK напрямую для вызова отдельных функций из собственного кода.