AWS внедряет оплату по фактическому использованию для потокового вывода в SageMaker ИИ
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Amazon Web Services представила механизм учета потребления для двунаправленного стриминга в Amazon SageMaker AI, позволяющий провайдерам моделей выставлять счета за реальное время обработки данных. Партнером запуска стала Deepgram, что упрощает биллинг для клиентов, использующих голосовые ИИ-агенты и транскрипцию.
Новая модель ценообразования устраняет неопределенность в оплате за длительные сессии реального времени, выравнивая стоимость софтверной лицензии с фактическим объемом обработанного аудио или текста.
Amazon Web Services анонсировала внедрение учета потребления (usage-based metering) для двунаправленного стриминга вывода в Amazon SageMaker AI. Это решение закрывает пробел в биллинге для моделей реального времени, где объем данных накапливается в течение долгой сессии, а не фиксируется в момент ответа на запрос. Ранее провайдеры моделей, размещенные на AWS Marketplace, могли только выставлять счета за инфраструктуру конечных точек или использовать почасовую оплату, что не отражало фактическую нагрузку. Теперь поставщики могут передавать данные об использовании напрямую в систему биллинга AWS Marketplace.
Техническая реализация основана на введении второго WebSocket-соединения, параллельного основному потоку данных. Когда клиент начинает стриминговую сессию, SageMaker AI устанавливает два канала связи с сервером модели: основной для передачи аудио и результатов инференса, и вспомогательный для метаданных учета. Сервер модели активирует этот режим, отправив специальный заголовок X-Amzn-SageMaker-Metadata-Stream-Supported: true в ответе на апгрейд WebSocket. После этого SageMaker AI открывает соединение с путем /invocations-bidirectional-stream-metadata, по которому передаются JSON-записи об использованных единицах.
Ключевым аспектом является корреляция записей учета с активной сессией через общий заголовок X-Amzn-SageMaker-Request-Id. Провайдеры рекомендуют отправлять метрики инкрементально по мере накопления потребления, а не только в конце сессии. Это снижает риск потери данных о потреблении при неожиданном завершении соединения. Каждая запись содержит поле ConsumedUnits, которое определяет количество биллируемых единиц. Например, если продукт тарифицируется за секунду аудио, то 12 минут обработки будут представлены как 720 единиц. Система поддерживает идемпотентность через поле ClientToken, автоматически отбрасывая дубликаты сообщений.
Для клиентов, разворачивающих решения для транскрипции, контакт-центров или голосовых агентов, это означает более прозрачное и предсказуемое ценообразование. Стоимость софтверной лицензии теперь напрямую зависит от объема обработанных данных, а не от времени простоя конечной точки. Инфраструктурные сборы за выделенные ресурсы SageMaker AI остаются отдельной статью расходов. Клиенты получают консолидированный счет от AWS и возможность согласовывать тарифы через частные предложения (private offers) без необходимости управлять отдельными биллинговыми отношениями с провайдером модели.
Партнером по запуску этой функции стала компания Deepgram, специализирующаяся на речевых ИИ-технологиях. Deepgram интегрировала свои модели Speech-to-Text и Text-to-Speech с новым механизмом учета, предлагая их через AWS Marketplace. Это продолжение серии инноваций, включающих поддержку двунаправленного стриминга и упрощение аутентификации через временные делегирования AWS IAM. Для провайдеров моделей AWS предлагает агент настраивания (Onboarding Agent Skill), который ускоряет интеграцию за счет предоставления шаблонов кода для корректной отправки метрик.
Важно отметить, что наличие открытого соединения само по себе не определяет биллируемый объем. Правила подсчета единиц устанавливаются провайдером модели и отображаются в листинге AWS Marketplace. Провайдеры могут предложить фиксированные цены или договорные ставки за единицу. Перед публикацией продукта рекомендуется провести тестирование с ограниченным доступом, сверив отчеты об использовании с фактическими счетами покупателя для различных сценариев, включая прерванные сессии и ошибки передачи метаданных.