Wildberries внедрила спекулятивный декодинг: время ответа ИИ-ассистента сократилось втрое

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Wildberries протестировала семь методов ускорения генерации текста для своего ИИ-ассистента, работающего на базе модели BerryLM. В продакшене выбран метод DFlash 2, что позволило снизить медианное время обработки сообщения с 10,9 до 3,6 секунд.

Оптимизация скорости отклика критически важна для пользовательского опыта в e-commerce. Опыт Wildberries демонстрирует, как выбор конкретного алгоритма спекулятивного декодинга влияет на производительность гибридных моделей с линейным вниманием.

ИИ-ассистент покупателя на Wildberries функционирует на базе дообученной модели BerryLM. Архитектура сервиса предполагает, что на одно сообщение пользователя приходится в среднем около 26 вызовов языковой модели: система анализирует контекст, извлекает предпочтения, формирует поисковые запросы и подбирает фильтры. Поскольку часть этих операций выполняется параллельно, а пользователь ожидает финальный ответ, скорость генерации становится узким местом. Для решения этой задачи команда разработчиков перешла на метод спекулятивного декодинга, предварительно протестировав семь различных подходов в изолированном стенде, имитирующем производственную нагрузку.

Спекулятивный декодинг позволяет ускорить генерацию за счет предсказания нескольких токенов вперед с помощью более легкой модели-драфтера и последующей проверки этих предположений основной моделью. Ключевым преимуществом метода является сохранение исходного распределения вероятностей ответов целевой модели: плохой драфтер лишь реже угадывает продолжение, но не искажает результат. Однако эффективность зависит от стоимости построения черновика и доли принятых токенов. В тестах Wildberries лучшие результаты показали параллельные драфтеры — DFlash, DSpark и DFlash 2. При низкой нагрузке они ускоряли работу ассистента примерно в два раза, а при 128 одновременных пользователях — в 1,4 раза.

Альтернативные методы показали меньшую эффективность или выявили критические проблемы. Например, EAGLE-3, несмотря на высокую долю принятых токенов, оказался на 11–23% медленнее лидеров из-за последовательного построения черновика. MTP-голова самой модели дала ускорение в 1,7–1,8 раза при малой нагрузке. Наиболее проблематичными оказались методы n-gram и suffix decoding. В версии vLLM 0.30 они приводили к поломке до 72% JSON-ответов на гибридной модели с линейным вниманием. Разработчики выяснили, что проблема возникает при чередовании шагов с черновиком и без него, что нарушает корректность состояния линейного внимания в старом раннере vLLM.

Выбор в пользу DFlash 2 для продакшена обусловлен балансом скорости и стабильности. После внедрения медианное время обработки сообщения снизилось с 10,9 до 3,6 секунды. Хотя это не является чистой абляцией из-за сопутствующих изменений, результат подтверждает значительный прирост производительности. Важно отметить, что тестирование проводилось на реальных сессиях за июнь–сентябрь, а ответы в датасете генерировались той же моделью, что и в проде, что обеспечивает релевантность данных для обучения драфтера.

Опыт Wildberries подчеркивает сложность внедрения оптимизаций в гибридных архитектурах. Линейное внимание, используемое в части слоев модели, требует особого подхода к обработке отвергнутых токенов черновика, так как состояние внимания обновляется на каждом токене и не может быть просто «отменено». Это привело к необходимости использования отдельных веток кода в vLLM, которые оказались менее зрелыми, чем стандартный путь для KV-кэша. Тем не менее, переход на параллельные драфтеры позволил существенно улучшить отклик системы без потери качества ответов.