Запуск LLM на FPGA: эксперимент с открытой архитектурой openTPU

В условиях доминирования закрытых экосистем графических ускорителей, таких как CUDA от NVIDIA, возникает вопрос о доступности альтернативных путей для запуска нейросетей. Один из инженеров поделился опытом реализации инференса больших языковых моделей на программируемой логической интегральной схеме (FPGA). В основе эксперимента лежит openTPU — открытый проект AI-ускорителя, разработанный при активном участии ИИ-агентов. Целью работы стало не просто воспроизведение результатов, а проверка возможности взять код с GitHub, загрузить его в физическое устройство и получить работающий прототип без использования видеокарт.

Для реализации задачи автор приобрел плату Xilinx Kintex-7 XC7K480T с 4 ГБ оперативной памяти стоимостью около 50 долларов на AliExpress. Устройство было подключено к мини-ПК через интерфейс PCIe. Процесс настройки включал сборку прошивки в среде Vivado, конфигурацию драйверов и подсистемы DMA (прямой доступ к памяти), а также подготовку программного окружения для загрузки весов нейросетей. Несмотря на то что FPGA-технология не является новой, интеграция современного AI-стека на таком оборудовании требует глубокого понимания аппаратной архитектуры.

Результаты тестирования подтвердили работоспособность системы: FPGA успешно определялась операционной системой, передача данных через PCIe DMA функционировала корректно, а тесты инструкций процессора проходили без ошибок. Наиболее впечатляющим стало успешное выполнение инференса языковых моделей. По данным, предоставленным автором проекта openTPU Felipe Sens Bonetto, на аналогичном оборудовании модель Qwen3-0.6B демонстрировала скорость генерации 31 токен в секунду, а более крупная Qwen3.5–2B — 12 токенов в секунду. Примечательно, что даже модель с 35 млрд параметров (Qwen3.5–35B) была запущена на плате с ограниченной памятью в 4 ГБ, показывая скорость 4 токена в секунду.

Данный подход принципиально отличается от стандартной практики, где разработчики подбирают железо под существующие нейросети. Здесь логика инвертирована: создается специализированное вычислительное устройство, оптимизированное под конкретные операции машинного обучения. Хотя текущий прототип не является конкурентом для промышленных решений уровня NVIDIA H100 и не заменяет серийный ASIC, он открывает новые возможности для экспериментов. Инженеры получают возможность не только теоретически обсуждать архитектуру AI-процессоров, но и физически тестировать их на реальном оборудовании.

Эксперимент также затрагивает мета-уровень взаимодействия человека и машины: если ранее ИИ использовался преимущественно для написания программного кода, то теперь он активно участвует в проектировании самих процессоров. Это меняет парадигму разработки вычислительных систем, делая создание специализированных ускорителей доступным для отдельных специалистов, а не только для крупных корпораций. Автор планирует продолжить работу над улучшением характеристик памяти и мощности FPGA, а также оценить архитектуру для создания собственного чипа инференса.

Важно отметить, что данный материал носит информационный характер и описывает технический эксперимент. Он не является рекомендацией к покупке оборудования или инвестиционным советом. Различные факторы, включая стоимость компонентов и сложность настройки, могут варьироваться в зависимости от конкретных условий. Тем не менее, успех проекта openTPU свидетельствует о растущем потенциале открытых архитектур в сфере искусственного интеллекта.