Amazon SageMaker ИИ внедряет автоматический мониторинг дрейфа задержек и неэффективного использования GPU

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

AWS представила новую функцию в Amazon SageMaker AI, которая автоматически отслеживает деградацию производительности и простаивающие вычислительные ресурсы на инференс-эндпоинтах. Система анализирует операционные метрики, а не содержимое запросов, и предлагает оптимизации через агентный интерфейс в SageMaker Studio.

Функция решает проблему «тихого» деградирования производительности генеративных моделей, позволяя компаниям снижать затраты на облачную инфраструктуру и поддерживать стабильность пользовательского опыта без ручного аудита конфигураций.

Внедрение генеративных моделей в продакшн часто сопровождается иллюзией стабильности: конфигурация, идеально подобранная на момент запуска, со временем перестает быть оптимальной. Трафик меняется, промпты становятся длиннее, а новые версии движков инференса, таких как vLLM, предлагают улучшенные алгоритмы. В результате задержки растут, а выделенные GPU простаивают, что приводит к увеличению счетов и ухудшению пользовательского опыта. Поскольку эти изменения не вызывают сбоев, традиционные системы алертинга их не фиксируют. Amazon Web Services (AWS) представила новую функцию в Amazon SageMaker AI, которая автоматически выявляет такие проблемы, анализируя операционные сигналы эндпоинтов.

Мониторинг активируется по умолчанию для инференс-эндпоинтов, использующих контейнеры vLLM и GPU-инстансы. Система отслеживает три ключевых аспекта: дрейф задержек (рост медианного времени до первого токена или общей задержки неделя к неделе), неиспользуемую вычислительную мощность (GPU с низкой загрузкой) и пробелы в конфигурации (отсутствие включенных оптимизаций, таких как спекулятивное декодирование, или устаревшие версии контейнеров). Важно отметить, что AWS подчеркивает: мониторинг не читает содержимое запросов или ответов пользователей, а работает исключительно с агрегированными телеметрическими данными о задержках и использовании ресурсов.

Когда система обнаруживает отклонения, уведомление отправляется через AWS Health. Каждое сообщение структурировано для быстрого анализа: оно указывает на конкретный эндпоинт, описывает наблюдаемую проблему, объясняет ее влияние на стоимость или производительность и предлагает рекомендуемое действие. Например, если команда добавила механизм поиска (retrieval) в чат-ассистента, что увеличило длину промптов, SageMaker AI зафиксирует рост времени отклика по сравнению с предыдущей неделей. Поскольку сравнение происходит с собственной историей эндпоинта, пользователям не нужно заранее настраивать пороги срабатывания.

Для принятия решений AWS предлагает агентный опыт в Amazon SageMaker Studio. Одно нажатие кнопки открывает сессию, где система предлагает провести бенчмаркинг альтернативных конфигураций на отдельном вычислительном ресурсе. Это позволяет сравнить текущую настройку с другими вариантами по трем метрикам: время отклика, пропускная способность и стоимость за миллион токенов. Такой подход превращает субъективные догадки в решения, основанные на данных. Бенчмаркинг не затрагивает продакшн-эндпоинт до тех пор, пока пользователь явно не применит изменения.

В сценарии с неиспользуемой мощностью система может выявить, что GPU загружены менее чем на 12% в течение недели. В этом случае агент предложит протестировать более дешевые типы инстансов. Однако AWS подчеркивает, что отказ от оптимизации — нормальный исход процесса: если команда планирует рост трафика, она может сохранить текущую конфигурацию, чтобы иметь запас производительности. Все уведомления сохраняются в истории событий AWS Health, позволяя отслеживать принятые решения.

Для тех, кто хочет исключить свой эндпоинт из мониторинга, AWS предусмотрела механизм опционального выхода. Установка переменной окружения OPT_OUT_TRACKING в контейнере модели отключает сбор телеметрии для данного ресурса. Мониторинг сам по себе не требует дополнительных затрат на GPU, тогда как бенчмаркинг тарифицируется по стандартным ставкам SageMaker AI. Эта функция переводит оптимизацию инференса из разового действия в непрерывный процесс, обеспечивая контроль над затратами и производительностью без ручного вмешательства.