Троичная Bonsai 2 27B против Qwen3 8B: тест на устаревшем железе
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Автор протестировал модель Bonsai 2 27B с троичным квантованием на видеокарте 2017 года и смартфонах, сравнив ее с более компактной Qwen3 8B. Результаты показали, что на коротких задачах обе модели демонстрируют сопоставимое качество, при этом меньшая модель часто оказывается быстрее и стабильнее.
Материал демонстрирует реальные ограничения экстремального сжатия нейросетей на доступном потребительском оборудовании. Он помогает разработчикам и энтузиастам оценить, оправдывает ли сложность запуска троичных моделей их преимущества перед стандартными 8-битными аналогами.
В центре внимания — проверка модели Bonsai 2 27B от PrismML, которая использует троичное квантование для размещения 27 миллиардов параметров в 5,9 ГБ памяти. Автор теста использовал устаревшее оборудование: видеокарту NVIDIA P104-100 с 8 ГБ видеопамяти и процессор Intel Core i7-3770 без поддержки AVX2. Целью было сравнить производительность этой «тяжеловесной» модели с более легкой Qwen3 8B, которая помещается в тот же объем памяти без специфических модификаций.
Техническая реализация Bonsai требует использования форка llama.cpp от PrismML, так как стандартные Ollama и llama.cpp не поддерживают тензоры PQ2_0 и PTQ1_0. На видеокарте 2017 года скорость генерации составила около 16–17 токенов в секунду, что примерно в пять раз медленнее показателей на современных GPU уровня RTX 4090. Контекст ограничился 16K токенами из-за нехватки видеопамяти, несмотря на паспортные 262K. На смартфонах Android модель запускалась только на 64-битных устройствах с достаточным объемом ОЗУ, но скорость падала до 0,05 токенов в секунду из-за чтения весов с флеш-памяти.
В сравнении качества на наборе из 40 коротких заданий Bonsai набрала 35 баллов, а Qwen3 8B — 36. Различия проявились в логике и математике: 8B показала лучшие результаты, частично благодаря тому, что игнорировала ограничение на вывод только числа и самостоятельно включила режим рассуждения. При активном режиме рассуждения троичная модель также улучшила свои показатели в математике, потратив при этом значительно меньше токенов, чем эталонная версия Q4_K_S.
На более сложных задачах, включая поиск фактов в длинном тексте и написание творческих текстов, явного преимущества 27B-модели не обнаружено. Обе версии Bonsai показали результаты на уровне или ниже 8B, особенно в задачах, требующих строгого следования инструкциям. Автор заключает, что для домашнего использования на ограниченном железе Qwen3 8B является более практичным выбором: она быстрее, проще в запуске и не уступает в качестве на большинстве типовых задач.