Динамическое обновление весов: как архитектура Titans решает проблему «забывания» в длинных контекстах
VC.ru AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Новый подход к архитектуре нейросетей, известный как Titans, предлагает механизм динамического обновления весов на этапе инференса, что позволяет моделям эффективно извлекать редкие факты из длинных текстов. По данным тестирования, такая схема демонстрирует точность 98,8% на задаче поиска информации в «шуме», значительно превосходя аналоги с фиксированным состоянием.
Технология позволяет решить фундаментальную проблему LLM — потерю внимания к деталям в длинных документах, что критически важно для корпоративных баз знаний и сложных аналитических задач.
Современные языковые модели часто сталкиваются с проблемой деградации качества при обработке длинных контекстов. Стандартные архитектуры, использующие фиксированный вектор состояния, как правило, теряют способность точно извлекать редкие или нестандартные данные, если они утоплены в большом объеме текста. В таких случаях модель может «забыть» ключевую информацию, появившуюся ранее в документе, что приводит к ошибкам в логике и фактах.
Альтернативный подход, связанный с архитектурой Titans, предлагает изменить парадигму работы с памятью. Вместо того чтобы полагаться на статичное состояние, модель использует механизм, при котором веса сети обновляются непосредственно в процессе инференса. Это позволяет системе адаптироваться к входящим данным в реальном времени, сохраняя критически важную информацию без необходимости повторного обучения всей модели.
Ключевым триггером для такого глубокого обновления весов служит так называемый «градиент удивления». Когда модель сталкивается с аномалией — будь то нестандартный номер порта, новый ключ шифрования или редкая фамилия в середине многостраничного отчета, — она фиксирует резкое повышение уровня неопределенности. В этот момент система выполняет глубокий шаг обновления, «впечатывая» аномальный факт в свою матрицу весов. Это обеспечивает надежное запоминание уникальных деталей, которые легко теряются на фоне общего «шума» текста.
Эффективность данного метода была проверена на тесте S-NIAH (Single Needle In A Haystack), который оценивает способность модели находить одиночные факты в длинном потоке данных. Результаты демонстрируют значительное превосходство динамического подхода над статичными аналогами. Схема с живыми весами показала точность 98,8% на этой задаче. Для сравнения, обычная модель Mamba-2, использующая фиксированный вектор состояния, на том же тесте демонстрирует точность всего 31%. Разрыв в производительности составляет более 60 процентных пунктов, что указывает на принципиальное различие в способностях к удержанию контекста.
Такой подход особенно актуален для задач, где важна работа с большими объемами структурированных и неструктурированных данных. В корпоративной среде это может означать более надежный поиск информации в юридических документах, технических спецификациях или лог-файлах. Модель перестает быть «слепой» к редким деталям и начинает активно реагировать на них, корректируя свое внутреннее состояние.
Важно отметить, что речь идет о механизме работы на этапе инференса, а не о классическом дообучении. Это позволяет сохранить скорость обработки запросов, одновременно повышая качество вывода. Динамическая адаптация весов становится инструментом для создания более «внимательных» моделей, способных работать с контекстами любой длины без потери точности на периферийных деталях.