Архитектура DeepSeek V3 в 190 строках JAX: эксперимент на MacBook Air
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Разработчик реализовал ключевые компоненты архитектуры DeepSeek V3, включая MLA и MoE, в компактном коде на чистом JAX. Модель была обучена с нуля на ноутбуке Apple Silicon на корпусе публичных детективных романов.
Проект демонстрирует возможность воспроизведения сложных архитектур больших языковых моделей в минималистичном коде, что упрощает изучение внутренних механизмов MoE и MLA без использования тяжелых фреймворков.
В сообществе разработчиков появился проект, который предлагает нестандартный подход к изучению современных архитектур нейросетей. Вместо использования стандартных библиотек вроде PyTorch или Flax, автор реализовал ключевые компоненты модели DeepSeek V3 в 190 строках кода на чистом JAX. Проект включает такие сложные механизмы, как Multi-head Latent Attention (MLA), архитектуру DeepSeekMoE и балансировку экспертов без дополнительных потерь. Весь код представлен в виде простых функций и словарей массивов, что позволяет прочитать его сверху донизу и понять логику работы каждой части модели.
Обучение модели проводилось с нуля на MacBook Air с чипом M5 и 24 ГБ оперативной памяти. В качестве обучающих данных использовались произведения публичного домена в США: романы Дэшиэлла Хэммета издательства Standard Ebooks и около 200 детективных и криминальных романов с Project Gutenberg. Общий объем обучающего набора составил примерно 83,4 миллиона символов или 21,69 миллиона токенов. Автор подчеркивает, что это демонстрация архитектуры, а не создание мощной языковой модели, способной решать сложные задачи.
В ходе эксперимента была проверена эффективность механизма балансировки экспертов (aux-loss-free balancing). Результаты показали, что при включенной и отключенной балансировке валидационная потеря на 2000-м шаге обучения оказалась практически идентичной (3.921 против 3.923). Это подтверждает утверждение из технического отчета DeepSeek о том, что смещение (bias) выравнивает нагрузку между экспертами без существенных затрат на качество модели. Генерация текста по промпту «The fog came in off the» демонстрирует базовое понимание контекста, хотя и не претендует на высокое качество.
Техническая реализация имеет ряд ограничений, которые автор честно указывает в документации. В частности, вычисления Dense MoE выполняются так, что каждый эксперт обрабатывает каждый токен, а неиспользуемые обнуляются; отсутствует разреженная маршрутизация и параллелизм экспертов. Также не используется поглощение весов в MLA, что упрощает чтение кода, но замедляет инференс. Отсутствуют поддержка FP8, DualPipe и расширение контекста через YaRN. Масштаб модели составляет 36,2 миллиона параметров против 671 миллиарда в оригинале, а контекст ограничен 256 токенами.
Для воспроизведения результатов автор предоставляет точные контрольные точки и данные из опубликованного запуска. Важно отметить предупреждение о безопасности: контрольная точка представляет собой Python pickle-файл, который может выполнять код при загрузке, поэтому рекомендуется загружать такие файлы только из доверенных источников. Проект требует Apple Silicon Mac, Python 3.12 и пакетный менеджер uv. Для пользователей без GPU доступна CPU-версия с уменьшенной конфигурацией (4 слоя, 8 экспертов), которая работает медленнее, но подходит для машин с 8–16 ГБ памяти.
Код проекта распространяется под лицензией MIT, а обучающие тексты находятся в публичном домене в США. Проект служит полезным образовательным инструментом для тех, кто хочет разобраться в тонкостях современных архитектур LLM, не погружаясь в сложность промышленных фреймворков. Источник: hackernews — https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax