Запуск LLM на 26B на мини-ПК: настройка Shared GPU Memory Override и сравнение моделей

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Автор демонстрирует, как на мини-компьютере GEEKOM GT1 Mega с 32 ГБ ОЗУ можно запустить крупные языковые модели, перенастроив выделение памяти для встроенной графики Intel Arc. Тестирование Gemma 4, GPT-OSS и других моделей показало, что использование iGPU ускоряет генерацию и снижает энергопотребление, но качество результата сильно зависит от наличия шаблонов.

Материал раскрывает неочевидный способ использования ресурсов современных мини-ПК для локального инференса LLM без покупки дискретных видеокарт. Это актуально для разработчиков и инженеров, ищущих бюджетные решения для работы с CAD-моделями и кодом.

Локальный запуск крупных языковых моделей (LLM) традиционно ассоциируется с дорогими дискретными видеокартами. Однако в материале, опубликованном на Habr, автор демонстрирует альтернативный подход: использование встроенной графики Intel Arc в мини-компьютере GEEKOM GT1 Mega. Ключевым моментом является настройка параметра Shared GPU Memory Override в Intel Graphics Software. По умолчанию Windows выделяет интегрированной графике лишь часть оперативной памяти, что ограничивает размер загружаемых моделей. Перенастроив этот параметр, автор выделил более 80% из имеющихся 32 ГБ ОЗУ (около 26 ГБ) под iGPU, что позволило запускать модели с объемом параметров 26–35 миллиардов без ошибок нехватки памяти.

В тестировании приняли участие четыре модели: Gemma 4 26B-A4B от Google DeepMind, Tiel-Coder 35B-A3B (сборка на базе Qwen), GPT-OSS 20B от OpenAI и Qwen3-Coder 30B-A3B от Alibaba. Все они были запущены через Ollama с использованием Vulkan-бэкенда. Автор ставил перед моделями задачи по генерации CAD-моделей (шестерни, ручки, корпуса) в OpenSCAD, FreeCAD и Blender, а также написание кода для микроконтроллеров. Для оценки эффективности использовались метрики скорости генерации токенов, времени выполнения задач и энергопотребления процессорного пакета.

Результаты показали, что при наличии шаблонов (референсов) все четыре модели успешно справились с задачами с первой попытки. Однако без подсказок успехом завершились лишь отдельные попытки Gemma 4. Автор отмечает, что скорость генерации у всех моделей примерно одинаковая — около 15 токенов в секунду, так как узким местом становятся ресурсы мини-ПК. При этом большие модели пишут более длинные ответы с комментариями, что увеличивает общее время и расход токенов.

Энергоэффективность стала одним из ключевых преимуществ использования встроенной графики. По данным счетчиков Intel RAPL, при работе на CPU мощность процессорного пакета достигала 45 Вт (долговременный лимит), тогда как при использовании iGPU средняя мощность снижалась до 32–33 Вт. Это привело к снижению энергозатрат на генерацию 1000 токенов на 28–42%. В задачах с длинным контекстом, таких как работа через MCP-агент SolidCraft, выигрыш по времени был скромным (5–7%), но экономия энергии сохранилась на уровне около 40%.

Автор делает вывод, что для мини-ПК с процессорами Intel Core Ultra и 32 ГБ ОЗУ настройка Shared GPU Memory Override до 24–26 ГБ является необходимым шагом для работы с моделями уровня 26B. Gemma 4 26B-A4B выделяется как самая универсальная: она понимает изображения, поддерживает MCP и способна решать часть задач без шаблонов. GPT-OSS 20B оказалась наиболее эффективной в задачах по шаблону и доводке кода. Qwen3-Coder показала лучшую экономию ресурсов, но не справилась с задачами без примеров. Tiel-Coder не продемонстрировала преимуществ ни в одной категории.

Важно отметить, что качество сгенерированных деталей не зависит от выбора между CPU и GPU; ошибки моделей одинаковы в обоих случаях. Их исправление требует точных формулировок в промптах и использования референсов. Для простых задач с коротким контекстом компактные 8B-модели могут оказаться более выгодными по соотношению цена/качество. Тем не менее, для сложных CAD-задач и работы с изображениями на домашнем мини-ПК модель Gemma 4 26B-A4B выглядит оптимальным выбором.