Самосервисный LLM-шлюз: как Amazon Bedrock и LiteLLM решают проблему управления ИИ-ассистентами
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

AWS представила архитектурный паттерн для создания централизованного шлюза к языковым моделям, объединяющего Amazon Bedrock и open-source прокси LiteLLM. Это решение позволяет разработчикам использовать единый OpenAI-совместимый API, а компаниям — контролировать расходы, мониторинг и безопасность доступа к ИИ-инструментам.
Массовое внедрение ИИ-ассистентов в разработку кода создает риски неконтролируемых затрат и сложностей с безопасностью. Предложенный паттерн обеспечивает прозрачность использования моделей, изоляцию квот и автоматизацию выдачи API-ключей, что критично для корпоративных сред.
Команда Amazon Web Services опубликовала техническое руководство по построению самосервисного шлюза для больших языковых моделей (LLM). Архитектура базируется на использовании Amazon Bedrock в связке с LiteLLM, работающим в контейнерах AWS Fargate. Ключевая идея заключается в абстрагировании доступа к базовым моделям за единым OpenAI-совместимым API. Это позволяет разработчикам использовать такие инструменты, как Claude Code, Continue или Cursor, не взаимодействуя напрямую с инфраструктурой AWS, а просто указывая базовый URL и персональный API-ключ.
В основе решения лежит LiteLLM, который выступает в роли прокси-сервера. Он обеспечивает маршрутизацию запросов к конкретным профилям вывода (Inference Profiles) в Amazon Bedrock. Для управления состоянием, такими как метаданные ключей и отслеживание расходов, используется база данных PostgreSQL (Amazon RDS), а для кэширования и координации ограничений скорости — Amazon ElastiCache for Valkey. Секреты хранятся в AWS Secrets Manager, что исключает необходимость хардкода учетных данных в конфигурационных файлах.
Важным аспектом является внедрение механизмов контроля затрат. LiteLLM позволяет устанавливать лимиты бюджета для каждого API-ключа. Например, можно задать максимальный расход в 250 долларов за семидневный период. При превышении лимита система возвращает код ошибки HTTP 429, предотвращая непредвиденные счета. Финансовые отделы получают доступ к детальной аналитике через API-эндпоинты или административную панель, что позволяет атрибутировать расходы на конкретные команды и проекты без создания собственной инфраструктуры биллинга.
Для обеспечения наблюдаемости используется связка Amazon CloudWatch и Langfuse. CloudWatch отслеживает инфраструктурные метрики, такие как количество запросов в минуту (RPM) и токенов в минуту (TPM), позволяя настраивать алерты при достижении 60–70% квоты. Langfuse предоставляет уровень детализации на уровне промптов, помогая отлаживать неожиданные ответы моделей. Авторы подчеркивают, что традиционные метрики латентности могут быть вводящими в заблуждение при работе с моделями, использующими расширенное мышление (extended thinking), где один запрос может занимать несколько минут.
В процессе масштабирования решения на сотни разработчиков команда AWS выделила несколько важных уроков. Во-первых, необходимо увеличивать тайм-ауты балансировки нагрузки до 900 секунд, чтобы избежать молчаливых сбоев при длительных вычислениях. Во-вторых, при возникновении троттлинга рекомендуется повторять запрос к той же модели с экспоненциальной задержкой, а не переключаться на другую модель, так как смена модели нарушает консистентность поведения ИИ-ассистента. В-третьих, автоматизированный трафик из CI/CD пайплайнов следует изолировать от интерактивного трафика разработчиков, чтобы избежать непредсказуемых задержек и искажений в статистике затрат.
Также авторы рекомендуют использовать глобальную кросс-региональную инференс-сервис (Global CRIS) с первого дня, если политика компании позволяет. Это обеспечивает доступ к более широкому пулу вычислительных мощностей и помогает избежать ограничений региональных квот. Однако для сред с жесткими требованиями к резидентности данных следует выбирать географическую изоляцию. Итоговая архитектура предоставляет платформенным командам полный контроль над доступом, безопасностью и экономикой использования ИИ-моделей.