Локальный ИИ-стек: архитектура автономной работы с LLM и генерацией изображений
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Материал описывает сборку полностью офлайн-работоспособного стека для больших языковых моделей и генерации картинок на базе CPU. Система использует mmap для оптимизации памяти и обеспечивает безопасный доступ через локальную сеть с аутентификацией.
Решение позволяет развернуть мощный AI-инструментарий без зависимости от облачных сервисов и дорогостоящего GPU, что критично для приватности данных и работы в изолированных сетях.
Современные подходы к локальному развёртыванию искусственного интеллекта всё чаще фокусируются на автономности и безопасности. Описанный в материале стек представляет собой комплексное решение для работы с большими языковыми моделями (LLM) и генерации изображений, которое функционирует полностью офлайн. Ключевой особенностью архитектуры является отказ от видеокарт: все вычисления выполняются на процессоре (CPU), что делает систему совместимой с широким спектром оборудования, начиная с 4-ядерных x86_64 систем. Для экономии оперативной памяти используется технология mmap, позволяющая загружать модели в несколько десятков гигабайт даже на машинах с ограниченным объёмом RAM, подгружая данные по требованию.
Архитектура построена из трёх независимых компонентов, каждый из которых выполняет свою роль. Ядром системы служит llama-server, который слушает только локальный адрес (localhost), обеспечивая базовый уровень безопасности: прямой доступ из внешней сети к нему невозможен. Пользовательский интерфейс и аутентификацию обеспечивает Open WebUI, выступающий единственной «дверью» для клиентов в локальной сети. Он взаимодействует с llama-server через внутренний канал, скрывая его от внешнего мира. Третьим элементом является sd-server на базе stable-diffusion.cpp, отвечающий за генерацию изображений. Этот сервис работает автономно и может быть отключён, если функционал создания графики не требуется.
Для успешного запуска проекта необходимы определённые системные требования. Минимальный объём оперативной памяти составляет 8 ГБ для моделей до 10 миллиардов параметров, однако для комфортной работы с более крупными моделями (20B+) рекомендуется 16 ГБ и выше. На дисковом пространстве потребуется 60–80 ГБ свободного места под модели и виртуальное окружение Python. Хотя SSD или NVMe настоятельно рекомендуются для скорости, система способна работать и на HDD, пусть и с меньшей производительностью. Важно отметить, что интернет-соединение требуется только на этапе первичной сборки и загрузки исходников; в процессе эксплуатации сеть не нужна.
Процесс развёртывания разделён на пять логических шагов, каждый из которых можно проверить независимо. Сначала собирается llama.cpp из исходников и запускается тестовая модель, например Qwen3.5-2B-Q4_K_M. Далее происходит наполнение системы набором специализированных моделей для различных задач: от кодинга до работы с русским языком и vision-модулей. Отдельно рассматривается настройка генератора изображений, где важно правильно разместить три типа файлов: диффузионную модель, VAE-декодер и текстовый энкодер. Интеграция Open WebUI выполняется через единое виртуальное окружение, с отключением телеметрии и настройкой аутентификации. Финальным этапом становится подготовка к офлайн-переносу: все необходимые Python-пакеты собираются в отдельную папку, что позволяет развернуть систему на другой машине без доступа к интернету.
Авторы материала подчёркивают, что работа исключительно на CPU имеет свои ограничения по скорости. Генерация ответа от большой модели может занимать от 3 до 15 минут, а создание изображения — от 5 до 10 минут. Однако использование mmap делает этот процесс предсказуемым и стабильным. Open WebUI позиционируется не как замена родному интерфейсу llama.cpp, а как надстройка, добавляющая функции управления пользователями и историей чатов. Родной UI остаётся доступным для отладки на localhost.
Итогом работы становится полностью автономная система, доступная по локальной сети с логин-паролем. Пользователи получают возможность работать с различными моделями, переключать режимы рассуждений и добавлять новые веса без необходимости повторной сборки ядра. Наличие папки offline_packages/ решает проблему переноса на изолированные машины, а статическая HTML-шпаргалка помогает ориентироваться в выборе моделей под конкретные задачи. Такой подход обеспечивает полный контроль над данными и инфраструктурой, исключая утечки информации в облачные сервисы.