Lumabri: попытка запустить гигантские LLM на сети обычных компьютеров
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Разработчик представил проект Lumabri, который предлагает запускать крупные языковые модели на кластере из обычных ПК, объединяя их ресурсы по принципу peer-to-peer. Система особенно эффективна для моделей Mixture-of-Experts, позволяя распределять вычисления между узлами сети.
Проект исследует возможность снижения требований к аппаратному обеспечению для работы с большими моделями, предлагая альтернативу централизованным дата-центрам через распределенные вычисления.
Разработчик, ранее известный проектом Colibrì, который позволял запускать крупные языковые модели на одном обычном компьютере, представил новый эксперимент — Lumabri. Основная идея заключается в отказе от концепции единой мощной машины в пользу сети из стандартных ПК, которые объединяются в общий пул ресурсов. В этой архитектуре один компьютер может предоставлять дисковое пространство, другой — вычислительные мощности, а третий — хранить отдельные части модели. Если необходимый блок данных или «эксперт» отсутствует локально, система обращается к другим узлам сети для его получения или выполнения.
Особый интерес данный подход представляет для моделей типа Mixture-of-Experts (MoE). Такие архитектуры могут содержать сотни миллиардов параметров, однако для обработки каждого токена активируется лишь небольшая их часть. Вместо передачи огромных весов экспертов по сети, Lumabri отправляет на пир-узел лишь небольшое активационное значение, если этот узел уже хранит соответствующий эксперт. Это позволяет избежать перегрузки канала связи и ускорить выполнение задач.
Философия проекта опирается на принципы peer-to-peer систем, где пользователи сами становятся частью инфраструктуры. Разработчик подчеркивает, что цель состоит в том, чтобы каждый участник сети внос вклад в пределах своих возможностей, полагаясь на «рой» для остального. Однако автор честно указывает на серьезные технические вызовы, прежде всего связанные с сетевой задержкой и вопросами безопасности.
Для решения этих проблем в проекте экспериментируют с несколькими методами: верификация пиров, проверка целостности данных через SHA-256, использование подписанного состояния модели, выбор реплик, механизмы отказоустойчивости (failover) и детерминированное выполнение. Эти меры призваны обеспечить надежность и предсказуемость работы распределенной системы.
Lumabri на данный момент остается ранним экспериментом. Разработчик отмечает, что у него нет доступа к дата-центрам или крупным кластерам GPU, поэтому проект строится на имеющемся оборудовании. Главная задача — проверить, имеет ли смысл сама концепция распределенного запуска LLM на обычных машинах. Если Colibrì отвечал на вопрос о возможности работы одной машины с большой моделью, то Lumabri ставит более амбициозный вопрос: могут ли многие обычные компьютеры стать одним гигантским.
Проект открыт для обратной связи от сообщества. Исходный код доступен в репозитории GitHub, а обсуждение идет на Hacker News. Источник: rss:Hacker News: Front Page — https://github.com/JustVugg/lumabri