AssemblyAI снижает затраты на GPU-инференс на 70% с помощью Spot-инстансов AWS
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания AssemblyAI внедрила архитектуру на базе Amazon EC2 Spot Instances для оптимизации расходов на распознавание речи. Использование гибридной стратегии с On-Demand инстансами и распределение нагрузки по нескольким семействам GPU позволило сократить издержки на 70% при сохранении требований к доступности.
Решение демонстрирует, как можно эффективно управлять затратами на вычислительно интенсивные AI-нагрузки, сохраняя строгие требования к задержкам и географическому размещению данных для регулируемых отраслей.
Распознавание речи представляет собой вычислительно сложную задачу: каждый аудиофайл запускает цепочку глубоких нейросетевых моделей, работающих на графических процессорах NVIDIA. Для обеспечения низких задержек компаниям приходится поддерживать тысячи постоянно активных GPU-инстансов. AssemblyAI столкнулась с необходимостью снизить стоимость таких нагрузок без ущерба для гарантий доступности и скорости обработки, на которые полагаются их клиенты. Полностью переход на стандартные On-Demand инстансы оказался бы экономически нецелесообразным, а использование Spot-инстансов требовало решения проблемы их возможного отзыва со стороны AWS с двухминутным предупреждением.
Архитектура решения построена на четырех ключевых компонентах. Во-первых, используется Amazon ECS (Elastic Container Service) с провайдерами емкости, которые комбинируют Spot и On-Demand инстансы. Во-вторых, нагрузка распределяется между несколькими семействами GPU: g4dn (NVIDIA T4), g5 (NVIDIA A10G) и g6 (NVIDIA L4). Это позволяет черпать ресурсы из разных пулов доступной мощности, снижая риск перебоев. В-третьих, для обработки прерываний применяется очередь Amazon SQS, которая возвращает незавершенные задачи в общий пул для выполнения другими рабочими узлами. Наконец, система развернута в нескольких регионах, включая европейские, чтобы соответствовать требованиям к хранению данных.
Механизм отказоустойчивости работает следующим образом: когда Spot-инстанс получает уведомление о прекращении работы, задачи, которые могут завершиться за оставшиеся две минуты, доделываются. Остальные возвращаются в очередь SQS, откуда их подхватывает другой здоровый инстанс, возможно, другого типа или из другой зоны доступности. Для ускорения запуска новых узлов AssemblyAI использует кастомные образы AMI с предварительно загруженными моделями, что позволяет подготовить окружение примерно за две минуты. Для конечных пользователей это проявляется лишь в незначительном увеличении времени обработки, но результативность и сроки доставки данных сохраняются.
Важным аспектом является соблюдение требований к резидентности данных. Клиенты из регулируемых отраслей, таких как здравоохранение, финансы и юридические услуги, обязаны хранить аудиофайлы в определенных географических границах. AssemblyAI реализует это путем развертывания полностью независимых копий инфраструктуры в европейских регионах AWS, где также доступны различные типы GPU с конкурентоспособными ценами на Spot-инстансы.
По данным компании, внедрение данной архитектуры позволило достичь 70-процентной экономии на вычислительных ресурсах по сравнению со стандартными тарифами. При этом спрос на вычисления вырос почти в четыре раза за год, и Spot-архитектура позволила сохранить устойчивую экономику. Эксперты AssemblyAI отмечают, что диверсификация по семействам инстансов является наиболее эффективным инструментом для минимизации частоты прерываний, так как независимые пулы мощности компенсируют друг друга в периоды дефицита.
Этот подход применим для команд, работающих с пакетными или близкими к реальному времени AI-нагрузками, состоящими из коротких, независимо повторяемых задач на GPU. Ключевыми факторами успеха стали гибкость выбора типов инстансов и построение отказоустойчивости через очереди с самого начала проектирования системы. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/cost-optimizing-assemblyai-speech-to-text-inference-on-aws-with-amazon-ec2-spot/