Magnitude: открытый движок инференса, ускоряющий работу ИИ-агентов на локальном оборудовании
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Команда Magnitude представила open-source движок для запуска открытых моделей, который автоматически оптимизирует вычисления под конкретное железо пользователя. Разработчики утверждают, что их решение обеспечивает до двукратного ускорения по сравнению с llama.cpp и позволяет интегрировать локальные модели в популярные агентные фреймворки одним кликом.
Проект предлагает альтернативу облачным API, снижая затраты на токены и повышая приватность за счет локального выполнения. Автоматическая тюнинг ядра под конкретное устройство решает проблему неоптимальной производительности универсальных движков инференса.
На платформе Hacker News стартовал запуск Magnitude, проекта от команды YC S25, представляющего собой открытый движок инференса для ИИ-агентов. Основная особенность решения заключается в его способности самостоятельно оптимизировать работу под конкретное аппаратное обеспечение пользователя. В отличие от универсальных библиотек, Magnitude компилирует и настраивает свои вычислительные ядра непосредственно на устройстве перед запуском модели. Разработчики заявляют, что такой подход позволяет достичь скорости декодирования на 92% выше при работе на Metal (Apple Silicon) и на 19% быстрее на CUDA по сравнению с популярным llama.cpp.
Продукт поставляется в виде десктопного приложения, которое включает в себя командную строку magnitude CLI. Пользователям не требуется устанавливать дополнительные компоненты: достаточно скачать приложение, выбрать рекомендуемую модель из раздела Discover и установить соединение с агентом через интерфейс Connections. Magnitude поддерживает широкий спектр оборудования, включая графические процессоры Apple Silicon, NVIDIA и AMD, а также системы, работающие исключительно на CPU. Разработчики отмечают, что жестких минимальных требований к железу нет: объем доступной оперативной памяти определяет размер моделей, которые можно запустить локально.
Ключевым преимуществом Magnitude является гибкое управление памятью. Движок способен освободить до 27% памяти после завершения работы агентов, что позволяет более эффективно использовать ресурсы устройства. Кроме того, система поддерживает быстрые конкурентные сессии за счет общего кэша префиксов, что предотвращает замедление при параллельном выполнении задач. Команда разработчиков подчеркивает, что они пишут вручную оптимизированные ядра для самых популярных семейств открытых моделей, что и обеспечивает превосходство над общими движками инференса.
Интеграция с существующими инструментами осуществляется в один клик. Magnitude совместим с такими популярными агентными фреймворками, как Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi и Cline. Для остальных инструментов предусмотрена поддержка через OpenAI-совместимый API. Это позволяет разработчикам легко встраивать локальные модели в свои рабочие процессы без необходимости переписывать код или менять архитектуру приложений.
Вопросы приватности и стоимости также решены в пользу пользователя. Все промпты, файлы и модели остаются на локальной машине, а после первоначальной загрузки модели интернет-соединение не требуется. Это исключает расходы на токены и обеспечивает полную конфиденциальность данных. Проект распространяется под лицензией Apache 2.0, что делает его полностью бесплатным и открытым для модификаций.
Команда Magnitude призывает сообщество поддержать проект, отметив репозиторий звездой, чтобы помочь в развитии экосистемы локального ИИ. Движок доступен для macOS, Linux и Windows, а полный список поддерживаемых моделей можно найти на официальном сайте magnitude.dev. Такой подход к локальному инференсу может стать важным шагом к децентрализации ИИ-инфраструктуры, давая разработчикам контроль над производительностью и приватностью без зависимости от облачных провайдеров.