Локальный ИИ-агент: почему MacBook Pro не справился с 72B моделью

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

QA-инженер Егор Лаптев описывает попытку развернуть локальную LLM Qwen Coder 3.5 (72B) на ноутбуке с 32 ГБ ОЗУ, что привело к перегреву и падению производительности. Опыт показал, что для полноценной работы агентов с RAG-базой требуется специализированное железо или гибридный подход.

Материал демонстрирует реальные технические ограничения потребительского железа при работе с большими языковыми моделями и помогает разработчикам реалистично оценивать затраты на локальную инфраструктуру ИИ.

Егор Лаптев, QA Fullstack Java-разработчик в SENSE, решил проверить возможности своего MacBook Pro M2 Pro с 32 ГБ оперативной памяти, развернув на нём локальный ИИ-агент. В качестве модели он выбрал Qwen Coder 3.5 с 72 миллиардами параметров, используя Ollama и агрессивное квантование до Q2_K, чтобы уместить веса в доступный объём RAM. Несмотря на то что модель технически загрузилась, система мгновенно вышла из штатного режима: macOS начала активно использовать swap-память, диск работал на пределе возможностей, а процессор и графическое ядро загружались на 100%.

В результате включился механизм термического троттлинга, принудительно снижающий частоты для предотвращения перегрева. Ноутбук стал практически непригодным для других задач: браузер тормозил, IDE зависала, даже базовые команды в терминале выполнялись с задержкой. Скорость генерации текста упала до 1–2 токенов в секунду, что сделало взаимодействие с моделью крайне неудобным для повседневной работы. По словам автора, это было похоже не на деплой агента, а на запуск ракеты, где все ресурсы системы были поглощены одним процессом.

Попытка ограничить потребление памяти до 4 ГБ не удалась, так как модель весила около 26 ГБ. Придётся поднять лимит до 28 ГБ, что позволило ноутбуку выжить, но не решило проблему скорости. Лаптев отмечает, что для реальной работы на ноутбуке лучше использовать более лёгкие модели (7B–14B) с умеренным квантованием, которые обеспечивают приемлемое качество при трети ресурсов.

Для полноценного агента, способного работать с доменными знаниями через RAG-пайплайн, автор подсчитал требования к инфраструктуре. Помимо весов модели, необходимы векторные базы, эмбеддинги и данные для дообучения. Реалистичный объём данных для «полностью обученного» личного агента может достигать 2–4 ТБ. Это требует мощного сервера или рабочей станции с большим объёмом видеопамяти и оперативной памяти.

Переезд на ПК с RTX 4070 Ti Super и 32 ГБ DDR5 улучшил ситуацию: скорость генерации выросла до 5–8 токенов в секунду, система стала стабильнее. Однако такое решение превращает личный компьютер в специализированный сервер, ограничивая его использование для игр или монтажа видео. GPU загружен на 80–90% во время инференса, что делает невозможным параллельное выполнение ресурсоёмких задач.

Лаптев приходит к выводу, что локальный запуск имеет смысл при наличии мощного железа, необходимости конфиденциальности и работе с небольшими моделями. Для масштабных RAG-систем и обеспечения высокой доступности лучше использовать облачные решения или корпоративную инфраструктуру. Гибридный подход, когда ноутбук используется для лёгких задач, а тяжёлый инференс вынесен в облако, позволяет сохранить производительность устройства и снизить затраты на обслуживание.

В итоге MacBook остался целым, хотя и подвергся сильной нагрузке. Опыт показал, что локальный ИИ — это не просто установка одной команды, а инженерный проект с расчётом ресурсов, бюджета и ограничений. Для разработчиков важно понимать разницу между экспериментом и продакшн-средой, чтобы не превращать личное устройство в постоянно работающий сервер.