Octave построила безопасную многопользовательскую ИИ-инфраструктуру на Amazon Bedrock
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания Octave Reliance разработала горизонтальную платформу для интеграции ИИ в управление качеством, решив проблему строгой изоляции данных между более чем 14 000 клиентов. Архитектура на базе Amazon Bedrock и Cohere Embed v4 позволяет обрабатывать 2 миллиарда документов с сохранением конфиденциальности и снижением времени развертывания новых функций на 50%.
Проект демонстрирует, как можно внедрять генеративный ИИ в регулируемых отраслях (фармацевтика, медтехника), где утечка данных недопустима. Решение показывает практический подход к балансировке между производительностью, безопасностью и мультиязычностью, что критично для корпоративных SaaS-платформ.
В регулируемых отраслях, таких как производство медицинских устройств и фармацевтика, ключевая проблема заключается в том, что институциональная память — история дефектов, корректирующие действия (CAPA) и результаты аудитов — часто разбросана по миллиардам документов. Эти данные невозможно эффективно искать по смысловому сходству вручную, особенно когда они представлены на разных языках и в различных форматах. Octave Reliance, обслуживающая более 14 000 клиентов в 180 странах, включая более 60% компаний из списка Fortune 500, увидела в этом главную возможность для ускорения работы пользователей. Однако основная сложность состояла в том, что записи жалоб и аудитов имеют самые строгие требования к изоляции: случайное раскрытие данных одного клиента другому повлекло бы серьезные регуляторные последствия.
Вместо того чтобы разрабатывать единичную функцию ИИ, команда Octave приняла решение сначала создать горизонтальную фундаментальную платформу. Этот подход позволил сократить время развертывания каждого нового сценария использования на 50%. Архитектура построена вокруг четырех ключевых противоречий: обеспечение доступности данных без риска утечки, изоляция исполнения агентов, обработка недоверенного контента и быстрое встраивание огромных объемов документов. Для решения этих задач была выбрана платформа Amazon Bedrock, которая обеспечивает многомоделный доступ через единый API, управление доступом через IAM и встроенные механизмы защиты.
Фундамент системы состоит из трех слоев. Первый слой — подготовка данных: документы встраиваются с помощью модели Cohere Embed v4 и записываются в векторное хранилище Amazon OpenSearch Service, изолированное для каждого арендатора (tenant). Второй слой — безопасное исполнение: запросы пользователя проходят через AgentCore Gateway, который применяет аутентификацию и политики перед передачей в изолированную сессию microVM, вызывающую модель Anthropic Claude. Третий слой — защита контента: Amazon Bedrock Guardrails применяется дважды, фильтруя входные данные и выходной результат.
Выбор модели Cohere Embed v4 был обусловлен ее способностью работать с мультимодальными данными (текст и изображения) в едином векторном пространстве и нативной поддержкой мультиязычности. Это устранило необходимость в отдельных конвейерах для разных типов данных и предобработки перевода. Кроме того, модель поддерживает инференс внутри региона (in-Region inference), что критично для соблюдения требований к резидентности данных. Тестирование показало, что использование 512 измерений вместо стандартных 1536 сохраняет точность, сокращая объем хранилища примерно на 66%.
Изоляция арендаторов обеспечивается на уровне рантайма с помощью AgentCore runtime. Каждая сессия пользователя выполняется в выделенном microVM с собственными CPU, памятью и файловой системой, которые останавливаются и очищаются после завершения сессии. Это аппаратный уровень разделения, который не зависит от поведения агента. AgentCore Gateway авторизует доступ на уровне инструментов, операций и параметров, а автоматическое рассуждение обеспечивает формальную верификацию правил.
Обработка недоверенного контента, такого как вложения в жалобах, решается через многоуровневую защиту. Amazon Bedrock Guardrails применяется в трех точках рабочего процесса: до встраивания текста из вложений, перед попаданием извлеченных документов в контекст агента и перед показом синтезированного резюме обработчику. Контент из вложений помечается как данные, а не инструкции, что позволяет обнаруживать инъекции промптов. Личная информация (PII) маскируется на входе, а ограниченная агентность гарантирует, что агент может вызывать только разрешенные инструменты.
Конвейер обработки 2 миллиардов документов использует Amazon SNS, SQS и Step Functions для оркестрации параллельных задач в AWS Lambda. Благодаря пакетированию многих чанков по 4K токенов в один запрос к контекстному окну в 128K токенов, количество вызовов API сократилось примерно на порядок. Внутренние тесты показали производительность 28 миллионов токенов в минуту, что позволило обрабатывать 1,4 миллиона документов за 24 часа на одного арендатора, обеспечивая обещание о подключении крупнейшего клиента за один рабочий день.
Итоговый продукт — Complaint Triage Assistant — использует Strands Agents SDK для построения агентных рабочих процессов. Он извлекает данные из PDF, изображений и писем, суммирует их с помощью Claude, находит похожие исторические случаи через OpenSearch и синтезирует итоговое резюме с рекомендацией по приоритету. Наблюдаемость обеспечивается через OpenTelemetry-совместимые трассы, что позволяет аудиторам проверять логику принятия решений. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/how-octave-built-a-secure-multi-tenant-ai-foundation-on-amazon-bedrock/