TINY 2.1: Языковая модель для DOS, работающая на Pentium и помещающаяся на дискету

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Разработчик WollyMonjac представил TINY 2.1 — компактную трансформерную языковую модель, функционирующую под управлением DOS на процессорах Pentium или 486DX. Проект занимает всего 380 КБ памяти и демонстрирует возможности нейросетей в условиях жестких аппаратных ограничений ретро-компьютеров.

Проект демонстрирует возможность адаптации современных архитектур нейросетей (трансформеров) для работы на устаревшем «железе» с минимальными ресурсами, расширяя границы применения ИИ в образовательных и энтузиастических целях.

В сообществе энтузиастов ретро-вычислений появился проект TINY 2.1, который представляет собой компактную языковую модель, способную работать в среде DOS. Разработчик WollyMonjac реализовал этот трансформер на языке Turbo C 2.0, что позволяет запускать его на процессорах Intel Pentium или даже более ранних 486DX. Ключевой особенностью решения является его экстремальная компактность: общий объем весов модели составляет всего 380 КБ, что позволяет разместить весь проект на стандартной дискете.

Архитектурно TINY 2.1 состоит из четырех слоев с размерностью 96 и содержит около 367 000 параметров. Для оптимизации использования памяти разработчик применил 8-битные веса, используя один коэффициент масштабирования для каждой строки. Для функционирования модели требуется примерно 540 КБ свободной основной (conventional) памяти, что является приемлемым требованием для компьютеров начала 1990-х годов. Ввод и вывод данных осуществляются посимвольно, что характерно для терминальных интерфейсов того времени.

Обучение модели проводилось на ограниченном наборе данных — примерно 3500 фактов, каждый из которых был представлен в различных формулировках. Согласно описанию проекта, при попытке сгенерировать ответ за пределами этого обучающего набора модель начинает уверенно «выдумывать» информацию. Это типичное поведение для малых языковых моделей, не обладающих широкими знаниями о мире.

Интерфейс TINY 2.1 выполнен в стиле «неон» и занимает весь экран. Он включает динамическое отображение процесса работы нейросети, что позволяет визуализировать внутренние вычисления. Дополнительно проект предлагает «роботизированный» голосовой вывод, который воспроизводится через системный динамик (PC-speaker), создавая аутентичную атмосферу ретро-технологий.

Проект создан с использованием помощи нейросетей Fable 5.2 и Opus 5.5, что подчеркивает современный подход к разработке кода для устаревших платформ. TINY 2.1 является открытым проектом, что позволяет исследователям и хакерам изучать методы оптимизации нейросетей под жесткие ограничения памяти и вычислительной мощности.

Этот пример демонстрирует, что даже в условиях минимальных ресурсов возможно создание функциональных языковых моделей. Хотя TINY 2.1 не может конкурировать с современными LLM по качеству генерации текста, она служит наглядным доказательством гибкости архитектуры трансформеров и интереса сообщества к ретро-вычислениям.