Ollama выпустила версию 0.40.17 с улучшенной поддержкой Vulkan и MLX

github:ollama/ollama · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Ollama представила релиз v0.40.17, в котором оптимизирована работа с интегрированной графикой через Vulkan и добавлена поддержка параллельной генерации в MLX. Обновление также включает повышение стабильности инструментов командной строки и обновление базовых библиотек.

Релиз расширяет возможности локального запуска LLM на разном оборудовании, улучшая производительность на устройствах с интегрированной графикой и Apple Silicon.

Команда разработчиков Ollama опубликовала версию 0.40.17, которая приносит ряд технических улучшений, направленных на повышение эффективности работы с языковыми моделями на локальных машинах. Одним из ключевых изменений стала оптимизация взаимодействия с графическими процессорами: согласно данным релиза, теперь для интегрированных GPU на базе Vulkan используется механизм mmap (memory-mapped files). Это изменение, предложенное разработчиком dhiltgen, призвано улучшить управление памятью и общую производительность на системах, где дискретная видеокарта отсутствует или не используется для инференса.

Отдельного внимания заслуживает развитие поддержки фреймворка MLX, который активно применяется для работы с моделями на устройствах Apple Silicon. В новой версии реализована поддержка параллельной генерации (concurrent generation), что позволяет системе обрабатывать несколько запросов одновременно. Эта функция также была добавлена усилиями dhiltgen и может существенно повысить пропускную способность локальных инференс-серверов, работающих на Mac.

Разработчики также уделили внимание инструментам командной строки. В частности, улучшен механизм восстановления и корректного перезапуска ChatGPT CLI, что должно сделать работу с интерфейсом более стабильной при сбоях или прерываниях процесса. Кроме того, в модуле cmd/launch теперь используется метаданные «thinking» для настройки параметров OpenCode, что позволяет более гибко конфигурировать поведение модели в зависимости от контекста задачи.

Под капотом произошли обновления базовых библиотек, на которых строится работа Ollama. Версия llama.cpp была повышена до b12257, а пакеты MLX и MLX-C также получили актуальные обновления. Эти изменения обычно включают исправления ошибок, улучшения производительности и поддержку новых архитектур моделей, хотя конкретные детали перечислены в соответствующих changelogs зависимостей.

Среди прочих изменений отмечено участие нового контрибьютора rpreslar4765, который внёс свой первый вклад в проект. Это свидетельствует о продолжающемся росте сообщества вокруг Ollama и расширении круга разработчиков, участвующих в улучшении платформы. Полные детали изменений доступны в сравнении версий на GitHub.

Таким образом, версия 0.40.17 представляет собой значимый шаг в развитии экосистемы локального запуска LLM, делая акцент на совместимости с широким спектром аппаратных платформ и повышении стабильности пользовательских инструментов. Источник: github:ollama/ollama — https://github.com/ollama/ollama/releases/tag/v0.40.17-rc0