Как проверить, использует ли Ollama GPU или CPU
Практическое руководство по проверке использования GPU в Ollama. Разъясняется разница между установленными и загруженными моделями, интерпретация вывода команды ollama ps и ограничения локального API. Материал помогает избежать ошибок при диагностике производительности без изменения системных настроек.
Различие между установленными и загруженными моделями
Важно понимать разницу между моделями, которые скачаны на диск, и теми, что активно используются в памяти. Команда ollama list отображает все модели, установленные в системе. Однако наличие модели в этом списке не означает, что она сейчас работает. Для проверки активного состояния используется команда ollama ps. Если список в ollama ps пуст, это свидетельствует об отсутствии загруженных в память моделей, а не об их отсутствии на диске. Перед диагностикой необходимо выполнить запрос к модели, чтобы она была загружена в оперативную или видеопамять.
Интерпретация поля PROCESSOR
После выполнения запроса к модели команда ollama ps показывает поле PROCESSOR. Это значение указывает на размещение модели в памяти. Если указано 100% GPU, модель полностью находится в видеопамяти. Если указано 100% CPU, модель работает в системной оперативной памяти. Смешанное значение означает, что часть модели размещена в видеопамяти, а часть в системной. Это не показатель текущей загрузки видеокарты в процентах, а информация о том, где хранятся веса модели во время инференса.
Проверка работы локального сервера
Ollama по умолчанию слушает адрес 127.0.0.1 на порту 11434. Для проверки работы API можно использовать curl или другие HTTP-клиенты. Если процесс Ollama не запущен, соединение будет невозможно. Перед отправкой запроса убедитесь, что сервер активен. Базовый URL для локального использования не требует настройки внешнего доступа. Не следует открывать сервер для интернета без необходимости, так как это создает риски безопасности. Для начала достаточно убедиться, что локальный порт отвечает на запросы.
Ограничения диагностики через nvidia-smi
На системах Linux с видеокартами NVIDIA команда nvidia-smi позволяет проверить наличие драйвера и общие сведения о GPU. Однако вывод этой команды не подтверждает, что конкретная модель Ollama размещена именно на видеокарте. nvidia-smi показывает состояние железа, а не логику распределения памяти внутри Ollama. Для точного определения размещения модели следует опираться исключительно на данные из ollama ps. Изменение драйверов или системных настроек без понимания причин не рекомендуется, так как это может нарушить стабильность работы.
Параметры запроса к API
При работе с API через endpoint /api/generate важно правильно формировать JSON-запрос. Поле model должно содержать имя установленной модели, совпадающее с тегом из ollama list. Параметр stream, установленный в false, возвращает один JSON-ответ вместо потока данных. По умолчанию поток включен. Ответ содержит текст и флаг done, указывающий на завершение генерации. Не следует путать этот интерфейс с форматами других провайдеров, так как структура полей может отличаться. Убедитесь, что имя модели указано корректно, иначе запрос вернет ошибку.
Источники и проверка
Инструкция сверена с официальной документацией. Возможности и команды зависят от установленной версии.