AWS представила встроенный кросс-региональный роутинг для Amazon SageMaker ИИ

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Amazon Web Services анонсировала функцию cross-Region inference routing в Amazon SageMaker AI, которая автоматизирует перенаправление запросов при нехватке GPU-мощностей в одном регионе. Новый механизм позволяет приложениям использовать единую точку входа для обслуживания моделей, размещенных в разных регионах и учетных записях AWS.

Решение устраняет необходимость разработки собственных сложных механизмов отказоустойчивости для ML-инференса, снижая риски простоя сервисов из-за локальных дефицитов ресурсов и упрощая управление глобальным масштабированием моделей.

Обеспечение высокой доступности машинного обучения при помощи распределения нагрузки между регионами AWS — задача, которая долгое время требовала от разработчиков создания собственных сложных решений. До недавнего времени, если вы использовали управляемые эндпоинты Amazon SageMaker AI, кросс-региональный роутинг приходилось реализовывать вручную. Это означало, что каждая команда самостоятельно писала код для обнаружения проблем с эндпоинтом, переключения на резервный регион, обработки ошибок повторных попыток и управления доступом к ресурсам в других учетных записях. Такой подход создавал значительную нагрузку на критический путь выполнения запросов и приводил к дублированию усилий в разных организациях.

Компания AWS представила встроенный механизм cross-Region inference routing, который решает эту проблему через новый ресурс — inference router. Этот компонент предоставляет приложению единый путь вызова для всех зарегистрированных эндпоинтов и компонентов инференса, независимо от того, в каких регионах или учетных записях они находятся. Разработчики регистрируют целевые точки обслуживания модели, а приложение обращается к роутеру вместо конкретного эндпоинта. Роутер автоматически удерживает трафик в локальном регионе, пока местный ресурс работает исправно, и перенаправляет новые запросы на другие зарегистрированные цели при возникновении сбоев.

Логика работы системы основана на нескольких ключевых принципах. Пользователь определяет, где может выполняться модель, выбирая конкретные эндпоинты для роутера. Сам SageMaker AI принимает решение о том, какая цель обработает каждый запрос, отдавая приоритет локальному региону. При этом существующие деплойменты остаются неизменными: модели, конфигурации и автоскейлинг работают как прежде, а прямые вызовы InvokeEndpoint продолжают функционировать. Важным аспектом является прозрачность процесса: каждый ответ в реальном времени содержит информацию о том, какая именно цель обработала запрос и почему было принято такое решение.

Определение состояния здоровья целей происходит на основе анализа последних запросов. Ошибки сервера (5xx), троттлинг и тайм-ауты снижают «оценку здоровья» ресурса, тогда как ошибки, вызванные некорректным входом данных, на нее не влияют. Система классифицирует состояние целей в три категории: healthy (здоровый), overloaded (перегруженный) и degraded (деградировавший). Если локальная цель становится перегруженной, роутер начинает перенаправлять часть трафика на удаленные здоровые цели. После восстановления локального ресурса трафик постепенно возвращается обратно, что предотвращает нестабильность системы.

Для защиты принимающих эндпоинтов от чрезмерного потока из других регионов AWS ввела механизм ограничения кросс-регионального трафика. Владелец эндпоинта может установить лимит на долю пропускной способности, доступную для внешних запросов. Это позволяет гарантировать, что локальные пользователи всегда будут иметь приоритетный доступ к ресурсам, даже если соседний регион испытывает дефицит мощностей. Лимит динамически адаптируется к изменениям в автоскейлинге, увеличиваясь или уменьшаясь пропорционально числу активных инстансов.

Мониторинг и наблюдаемость также были улучшены. Роутер публикует метрики OpenTelemetry в Amazon CloudWatch, позволяя отслеживать количество запросов, время обработки на каждой цели и накладные расходы самого роутера. Кроме того, каждый ответ содержит ARN обработавшей цели и причину маршрутизации, что упрощает логирование и отладку. Для асинхронных запросов метрики показывают, куда были направлены задачи. AWS также подчеркивает, что роутер не создает новые вычислительные мощности и не копирует артефакты моделей; он лишь управляет направлением трафика между уже существующими ресурсами.

Эта функция особенно полезна для сценариев, когда в одном регионе заканчиваются GPU-инстансы нужного типа, а в другом есть свободные мощности. Также она упрощает архитектуру, где центральная учетная запись управляет роутером, а эндпоинты принадлежат разным подразделениям или компаниям. По словам AWS, это позволяет организациям, таким как Salesforce, масштабировать обслуживание моделей глобально, сохраняя при этом контроль над доступом и производительностью.