Офлайн-развёртывание локального ИИ-стека: фиксация зависимостей и перенос без сети

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Статья описывает методику создания автономного окружения для локальных нейросетей, позволяющую развернуть стек на машинах без доступа в интернет. Ключевым элементом является фиксация версий Python-пакетов и их предзагрузка в локальный репозиторий для обеспечения воспроизводимости установки.

Для критически важных инфраструктурных задач, где доступ к внешним ресурсам ограничен или запрещён, возможность детерминированной установки ПО без обращения к удалённым индексам является обязательным требованием безопасности и стабильности.

В седьмой части руководства по сборке локального AI-стека рассматривается финальный этап: подготовка проекта к работе в изолированной среде. Основная проблема стандартного подхода с использованием pip install заключается в зависимости от интернета для разрешения зависимостей, что приводит к нестабильности версий пакетов и невозможности установки на машинах без сетевого доступа. Для решения этой задачи предлагается создание локального репозитория offline_packages/, который содержит все необходимые Python-зависимости в формате wheel-файлов, а также файл requirements.lock с точно зафиксированными версиями.

Скрипт make_offline_packages.sh автоматизирует процесс создания такого «снимка» окружения. Он фиксирует текущее состояние виртуального окружения через pip freeze и скачивает все зависимости, используя флаг --only-binary=:all:. Это гарантирует, что в репозиторий попадут только готовые к установке бинарные пакеты, исключая необходимость компиляции исходного кода на целевой машине. Особое внимание уделяется выбору индекса для загрузки PyTorch: используется --extra-index-url с указанием CPU-версии библиотеки, что предотвращает случайное скачивание тяжёлых CUDA-зависимостей, не нужных в данном сценарии.

Важным аспектом является проверка совместимости и полноты набора пакетов. Скрипт сравнивает количество скачанных файлов с количеством записей в requirements.lock и предупреждает о возможных проблемах, если для некоторых пакетов отсутствуют готовые wheel-файлы. В таких случаях предусмотрена загрузка исходных архивов (sdist), однако это требует наличия инструментов сборки (gcc, python3-dev) на целевой системе. Для типичного стека на базе Debian 12 x86_64 большинство пакетов имеют готовые бинарные версии, что упрощает процесс переноса.

Перед финальным развёртыванием рекомендуется провести тестовую установку в чистом виртуальном окружении с использованием флага --no-index. Это позволяет убедиться, что все зависимости корректно разрешаются из локального репозитория и отсутствуют конфликты версий. Если установка проходит успешно, проект упаковывается в архив вместе с моделями, бинарниками llama.cpp и скриптами инициализации. При переносе на целевую машину достаточно установить системные зависимости через apt (если они не предустановлены) и выполнить установку Python-пакетов из локальной папки.

Следует учитывать ограничения подхода: локальный репозиторий привязан к конкретной версии Python и архитектуре процессора. Wheels, собранные для Python 3.11 на x86_64, не будут работать на системах с Python 3.12 или ARM-архитектурой. Кроме того, методика не решает вопрос доставки системных пакетов через apt, что требует отдельной подготовки локального репозитория или предварительной установки этих компонентов. Несмотря на эти нюансы, подход обеспечивает полную воспроизводимость окружения и исключает риски изменения версий зависимостей во времени.