Orion soft внедрила автоматическое управление GPU в платформе Nova ИИ
CNews AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Российский разработчик Orion soft представил обновление платформы Nova AI, ключевым элементом которого стал автоматический планировщик ресурсов Volcano. Это позволяет распределять вычислительные мощности между продуктивными сервисами и исследовательскими задачами без ручного вмешательства.
Ценность: Автоматизация распределения GPU снижает операционные издержки и повышает эффективность использования дорогостоящего оборудования в условиях роста числа ИИ-проектов.
Российский разработчик инфраструктурного программного обеспечения Orion soft анонсировал значимое обновление своей платформы Nova AI, предназначенной для разработки и промышленной эксплуатации сервисов на базе искусственного интеллекта. Согласно сообщению компании, представленному CNews, новая версия решения фокусируется на оптимизации управления вычислительными ресурсами, что является критически важным аспектом для организаций, масштабирующих свои ИИ-нагрузки.
Центральным элементом обновления стал внедрение нового механизма управления графическими процессорами. Платформа теперь использует планировщик Volcano, который автоматически выстраивает очередь задач с учетом их приоритетности и текущей доступности ресурсов. Это решение позволяет продуктивным сервисам, процессам обучения моделей и экспериментальным работам функционировать в едином кластере без необходимости постоянного ручного перераспределения мощностей. Планировщик учитывает не только вычислительную производительность, но и объем видеопамяти GPU, что способствует более плотному использованию доступного оборудования.
Никита Векессер, руководитель продуктов Nova AI и StarGuard AI в Orion soft, пояснил логику обновления. По его словам, по мере роста числа ИИ-проектов команды неизбежно начинают конкурировать за ограниченные GPU-ресурсы. В такой ситуации задача инфраструктурной платформы заключается не просто в предоставлении «железа», а в интеллектуальном распределении мощностей в соответствии с бизнес-приоритетами. Автоматизация этого процесса гарантирует, что критичные сервисы получают необходимые ресурсы, а свободные мощности могут быть задействованы для разработки и тестирования, что повышает общую эффективность эксплуатации без необходимости постоянного расширения инфраструктуры.
Помимо управления ресурсами, в Nova AI были обновлены средства запуска моделей. В частности, актуализирован inference backend KServe для популярных фреймворков TensorFlow, PyTorch и Triton, а также добавлена поддержка vLLM и SGLang. Представители Orion soft отмечают, что обновление компонентов сокращает объем самостоятельной интеграции со стороны заказчика и упрощает подготовку моделей к промышленному запуску.
Nova AI позиционируется как Kubernetes-платформа, которая объединяет GPU в кластер, распределяет ресурсы между командами и предоставляет специализированные рабочие среды для ML-инженеров. Ключевным принципом разработки решения является концепция «эффективного ИИ», который должен быть управляемым. Расширение возможностей мониторинга инфраструктуры и инструментов для ML-специалистов дополняет пакет обновлений, делая платформу более комплексным решением для управления жизненным циклом ИИ-сервисов.
Таким образом, обновление Nova AI направлено на решение практических проблем эксплуатации ИИ-инфраструктуры: снижение нагрузки на DevOps-команды за счет автоматизации и повышение утилизации дорогостоящего GPU-оборудования. Это особенно актуально для российских компаний, стремящихся развивать собственные ИИ-решения в условиях ограниченных ресурсов.