Exa увеличила пропускную способность эмбеддингов на 50% за счет оптимизации под чипы AWS
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания Exa оптимизировала инфраструктуру векторных баз данных для работы на ускорителях AWS Neuron, добившись снижения стоимости обработки документов. Ключевым фактором успеха стала разработка кастомизированных ядер и использование агентного подхода к разработке.
Оптимизация инфраструктуры для семантического поиска критически важна для компаний, работающих с большими объемами данных. Опыт Exa демонстрирует, как специфическая настройка под конкретное железо и автоматизация разработки позволяют существенно снизить операционные расходы при индексации миллиардов документов.
Exa, компания, создающая один из немногих настоящих веб-индексов для семантического поиска, столкнулась с фундаментальной проблемой: экономика процесса эмбеддинга (векторизации) данных определяет всю эффективность их бизнеса. При работе с десятками и сотнями миллиардов документов даже незначительное снижение стоимости обработки каждого документа приводит к значительной экономии. Именно поэтому команда Exa сосредоточилась на оптимизации своей инфраструктуры под аппаратные ускорители AWS Neuron, в частности Inferentia2 и Trainium2, чтобы обеспечить максимальную производительность за доллар.
Триггером для глубокой переработки системы стала необходимость миграции на новую модель документов. Это потребовало повторной векторизации 30 миллиардов приоритетных документов, что временно удвоило нагрузку на систему. Такая ситуация стала идеальным моментом для переоценки выбора оборудования и методов оптимизации. Инженеры начали с базовой реализации модели в формате FP16 на чипах Inferentia2, используя стандартный подход к параллелизму данных.
Первые улучшения были получены за счет оптимизации раскладки весов модели и включения автоматического приведения типов (autocast). Это позволило компилятору снижать точность матричных умножений там, где это безопасно для качества результата. Проверки показали, что косинусная сходимость с эталонной моделью составила 0.999, что соответствовало внутренним стандартам качества Exa. Далее в дело вступила библиотека Neuron Kernel Interface (NKI), предоставившая готовые оптимизированные ядра для общих операций, что дало следующий прирост производительности.
Однако профилирование выявило узкое место: значительное количество времени тратилось на обмен данными с высокопроизводительной памятью (HBM), из-за чего тензорный движок не был загружен полностью. Чтобы решить эту проблему, инженеры написали кастомное ядро для функции активации SwiGLU. Они использовали высокоуровневый язык NKI для управления памятью и циклами, опускаясь до низкоуровневого ISA только для специфических тензорных операций. Такой подход позволил устранить задержки, связанные с памятью, сохранив при этом читаемость кода.
Следующим этапом стало снижение общего количества арифметических операций (FLOPS). Профилирование показало, что стандартные универсальные ядра тратили ресурсы на обработку «пустых» данных из-за выравнивания форм тензоров. Exa переписала ядро внимания под точные размеры их модели, исключив лишние вычисления. Также они объединили несколько операций внимания в одно матричное умножение, что сократило количество обращений к памяти. В итоге общая производительность выросла на 47% по сравнению с исходной базовой линией.
Особого внимания заслуживает методология разработки, которую Exa называет «агентным подходом». Все оптимизации были разработаны с помощью ИИ-агентов в рамках автоматизированного конвейера на базе Flyte. Этот конвейер автоматически проверял корректность результатов, измерял производительность и профилировал нагрузку. Разные типы агентов выполняли разные задачи: легкие модели занимались подбором параметров компилятора, а более мощные — генерацией сложных кастомных ядер. Это позволило ускорить процесс разработки и снизить затраты на вычислительные ресурсы.
Наконец, Exa подчеркнула важность гибкости вычислительных ресурсов. Оптимизация под один тип чипа в одном регионе имеет ограничения из-за колебаний доступности инстансов. Компания использует единый Kubernetes-контроллер для планирования задач по нескольким регионам AWS, выбирая наиболее дешевые узлы в реальном времени. Оптимизация под Inferentia2 легко переносится на Trainium2, что позволяет Exa использовать глобальный пул ресурсов и избегать дефицита вычислений. По словам представителей компании, добавление Neuron-железа в пул и его глубокая оптимизация стали источником долгосрочной экономии.