Salesforce внедряет межрегиональный роутинг инференса в Amazon SageMaker ИИ для глобального масштабирования

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Agentforce Foundation в Salesforce столкнулась с проблемой фрагментации вычислительных мощностей при обслуживании моделей в более чем 30 регионах. Для решения этой задачи компания интегрировала механизм межрегионального маршрутизации инференса в Amazon SageMaker AI, что позволило автоматически перенаправлять трафик на здоровые узлы в других регионах при сохранении требований к резидентности данных.

Данное решение демонстрирует новый подход к обеспечению отказоустойчивости глобальных ИИ-сервисов. Вместо ручного управления нагрузкой и разработки собственных механизмов переключения между регионами, компании теперь могут использовать управляемый сервис AWS, который учитывает состояние здоровья эндпоинтов и автоматически балансирует нагрузку. Это критически важно для крупных корпораций, где пиковые нагрузки часто совпадают в разных географических зонах, а требования к безопасности данных не позволяют свободно перемещать трафик.

Команда Agentforce Foundation в Salesforce отвечает за обслуживание широкого спектра моделей, включая решения на базе Agentforce и слой доверия Salesforce Trust Layer. Эти сервисы функционируют более чем в 30 глобальных регионах AWS, обслуживая сотни аккаунтов клиентов. Основной вызов, с которым столкнулась команда, заключался в фрагментации ресурсов: при размещении моделей отдельно в каждом регионе вычислительные мощности дробились, что делало систему уязвимой к пиковым нагрузкам. Поскольку окна пиковой активности разных клиентов часто пересекались, резервирование достаточного количества мощностей для каждого региона индивидуально было экономически нецелесообразным. Кроме того, быстрое подключение новых бизнес-единиц требовало мгновенного масштабирования, чего локальные ресурсы не всегда могли обеспечить.

До внедрения нового решения Salesforce использовала собственный Internal Gateway для перенаправления трафика в другие регионы, когда локальные эндпоинты не справлялись с нагрузкой. Однако этот подход имел существенные недостатки: шлюз не получал сигналов о загрузке удаленных узлов и не мог точно определить наличие свободных мощностей на стороне назначения. Также межрегиональный трафик проходил через публичную сеть AWS, что создавало риски каскадных сбоев при инцидентах. Команде требовался управляемый механизм маршрутизации, способный учитывать состояние здоровья эндпоинтов и безопасно перенаправлять запросы.

Amazon SageMaker AI предлагает решение в виде inference router — регионального ресурса, который принимает на себя логику маршрутизации. Приложение обращается к роутеру вместо конкретного эндпоинта, передавая имя целевой модели. Роутер содержит список доступных эндпоинтов и компонентов инференса, идентифицированных по их ARN (Amazon Resource Name). Это позволяет включать в маршрут узлы из разных регионов и даже разных аккаунтов AWS. Доступ к удаленным эндпоинтам предоставляется через ресурсные политики, что обеспечивает строгий контроль доступа.

Логика работы роутера основана на мониторинге результатов недавних запросов. Ошибки 5xx, тайм-ауты и троттлинг снижают оценку здоровья конкретного узла. При устойчивых сбоях роутер начинает перенаправлять растущую долю новых запросов на здоровые цели, обычно начиная этот процесс в течение минуты. Важно отметить, что высокая латентность сама по себе не является триггером для переключения, так как она может быть следствием сложного запроса, а не проблемы с инфраструктурой. После восстановления работоспособности локального узла трафик возвращается к нему постепенно, что предотвращает эффект «маятника».

Интеграция в архитектуру Salesforce была минимальной. Вызов роутера заменил прямое обращение к InvokeEndpoint в пути исходящего трафика Internal Gateway. При этом проверка резидентности данных осталась на стороне шлюза: запросы с требованием локального хранения данных закрепляются за локальным маршрутом и никогда не покидают регион. Для остальных запросов роутер берет на себя оценку нагрузки и переключение. Salesforce использует поля InvokedRoutedResourceArn и RoutingReason из ответов как первичные телеметрические данные, логируя их вместе с ID запроса для полной прослеживаемости.

В ходе тестирования команда Salesforce проверила два сценария: локальную маршрутизацию и межаккаунтовую межрегиональную. При насыщении локального эндпоинта в us-west-2 латентность выросла, но трафик оставался локальным до тех пор, пока не начались ошибки тайм-аута. После этого роутер начал перенаправлять запросы в us-east-2. Первые удаленные ответы пришли примерно через две минуты после начала сбоев, а через минуту около 78% трафика обслуживалось удаленным узлом. При этом добавленная межрегиональная задержка составила менее 100 миллисекунд на медиане (p50). После восстановления локального узла трафик вернулся в течение 10 минут без ошибок.

Richard Chang, архитектор ПО в Salesforce, отмечает, что новое решение позволяет безопасно расширять мощности, соблюдая обязательства по резидентности данных. «Рабочие нагрузки, которые должны оставаться в регионе, остаются там, а только допустимый трафик может обслуживаться из другого региона», — говорит он. Он подчеркивает, что SageMaker AI берет на себя маршрутизацию и детекцию сбоев, тогда как Salesforce сохраняет контроль над политиками доступа и наблюдением через CloudWatch и CloudTrail. В планах компании — дальнейшее тестирование при длительных насыщениях и расширение использования роутера в дополнительных регионах.