Специализация словаря: как VocabX снижает стоимость инференса на 77% без изменения модели

Обычно токенизатор рассматривается как неизменное свойство базовой модели, которое наследуется при дообучении. Однако для моделей, работающих в узкой предметной области, стандартный словарь, обученный на данных из множества языков и доменов, создаёт двойную неэффективность. Во-первых, происходит фрагментация: повторяющиеся в конкретной задаче конструкции (например, JSON-обёртки или шаблонные фразы) разбиваются на множество токенов, хотя могли бы представлять собой один. Во-вторых, возникает избыточность: модель вынуждена оценивать вероятность десятков тысяч токенов, которые практически никогда не используются в данном контексте.

Команда Dharma AI разработала метод VocabX, который решает эти проблемы, перестраивая словарь на основе стоимости каждого токена, а не просто его частотности. Ключевое отличие подхода заключается в учёте различий между фазами prefill (обработка входных данных) и decode (генерация ответа). Исследователи отмечают, что генерация одного токена стоит значительно дороже, чем чтение входного, из-за ограничений пропускной способности памяти GPU. В их тестовом случае стоимость сгенерированного токена была в 7,4 раза выше стоимости входного. Это означает, что сокращение количества токенов в ответе модели даёт больший экономический эффект, чем сокращение входных данных.

Метод работает на двух уровнях: субсловесном и многословном. На субсловесном уровне VocabX перестраивает способ разбиения слов на части. На многословном уровне алгоритм ищет повторяющиеся последовательности (макро-токены), такие как полные строки или структурные элементы, и объединяет их в единый токен. Для поиска таких паттернов используются пять специализированных «майнеров», каждый из которых отвечает за определённый тип повторений: длинные слова, целые строки, выражения, предложения и структуры с пунктуацией.

Важным аспектом является статистическая оценка кандидатов, которые не встречаются в выборке данных. Традиционные методы часто игнорируют такие токены, присваивая им нулевую выгоду. VocabX использует статистические оценки на основе поведения других токенов, что позволяет включать в словарь редкие, но важные для домена последовательности. Это изменение позволило увеличить сокращение токенов на корпусе контрактов с 44,7% до 52,8% при том же бюджете.

Эффективность метода была проверена на автоматическом оценщике эссе на португальском языке, построенном на базе Qwen3-4B. При использовании VocabX средняя длина ответа сократилась с 350 до 101 токена, а стоимость инференса снизилась на 77%. При этом качество работы модели, измеряемое точностью оценки и способностью выявлять неуместные ответы, выросло с 0,703 до 0,810. Интересно, что первоначальная версия словаря, объединявшая оценку и структуру JSON в один токен, дала худший результат по качеству. Выделение оценки в отдельный токен оказалось более эффективным решением, несмотря на небольшое увеличение длины ответа.

Сравнение с другими методами адаптации словаря (FVT, MWT, in-place BPE) показало, что VocabX обеспечивает большее сжатие во всех 15 комбинациях доменов и семейств моделей. На корпусе контрактов метод достиг сокращения токенов на 62,6%, используя словарь из 113 426 записей, тогда как лучший вариант in-place BPE показал 61,8% при значительно большем размере словаря (207 803 записи).

Авторы подчёркивают, что VocabX не делает модель умнее, но позволяет ей перестать платить за написание текста по частям и оценку ненужного словаря. Специализация может начинаться не только с данных и весов, но и с более раннего слоя — самого токенизатора. Полные результаты и таблицы экспериментов будут опубликованы в ближайшем будущем в статье VocabX.