SEAM: новый метод адаптации голосовых ИИ к новым языкам с минимальным объемом данных

CNews AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Специалисты MWS AI и ИТМО разработали подход SEAM, позволяющий обучать модели синтеза речи новым языкам, используя на 75% меньше аудиоданных. Метод опирается на уже накопленные нейросетью знания о фонетике, что снижает зависимость от больших размеченных датасетов.

Снижение требований к объему обучающих данных критически важно для локализации голосовых ассистентов и сервисов озвучки на языках с дефицитом качественных аудиозаписей, что ускоряет выход технологий на новые рынки.

Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе Института информационных технологий (ИТМО) совместно с MWS AI (входит в МТС Web Services), представила новый подход SEAM. Данная технология предназначена для адаптации моделей синтеза речи к новым языкам. Ключевая особенность метода заключается в том, что нейросеть использует уже накопленные знания вместо того, чтобы осваивать звуковые элементы нового языка с нуля. В ходе экспериментов это позволило сохранить высокое качество синтеза, сократив необходимый объем обучающих данных почти в четыре раза, как сообщили представители MWS AI.

Проблема обучения голосовых моделей новым языкам традиционно связана с нехваткой размеченных данных. Для дообучения модели необходимы пары «текст — аудиозапись», и если таких примеров мало, алгоритму сложно понять, как новые элементы языка должны звучать и сочетаться между собой. Это особенно актуально для языков, по которым отсутствуют большие наборы заранее подготовленных специалистами аудиозаписей с точными текстовыми расшифровками. В таких условиях качество синтеза речи может значительно снижаться.

Подход SEAM предлагает снизить зависимость от больших объемов обучающих данных за счет перестройки процесса обучения. Вместо формирования представления нового языкового элемента практически с нуля, метод позволяет собрать его из уже известных нейросети частей с учетом их правильного фонетического порядка. Исследователи протестировали этот подход на русском, казахском и французском языках, используя две различные архитектуры синтеза речи.

Результаты экспериментов показали высокую эффективность метода. SEAM обеспечил высокое качество синтеза речи при обучении всего на 25 часах аудиоданных. Для сравнения, стандартный подход требовал использования 100 часов данных для достижения сопоставимого уровня качества. Это означает, что компании могут значительно сократить затраты на сбор и разметку данных при локализации своих продуктов.

Александр Бухановский, д.т.н. и руководитель Института ИИ ИТМО, отметил, что для обучения ИИ новому языку не обязательно начинать с нуля. По его словам, современные нейросети способны обобщать и систематизировать знания о природе языка, а также транслировать эти знания на другие языки, автоматически отмечая их сходства и различия. Бухановский подчеркнул, что когнитивные функции ИИ в этом случае сводятся не к запоминанию, а к осмыслению информации, что требует меньшего объема данных.

Вместе с тем эксперт указал на потенциальные риски такого подхода. Обученная таким образом система может создавать свой «новояз», особенно за счет изменения произношения слов из разных языков. Бухановский привел в пример то, как это бывает в интернациональных детских коллективах, где смешение языков приводит к искажению произношения.

Разработчики отмечают, что подход SEAM может быть полезен компаниям, разрабатывающим голосовых помощников, сервисы озвучки и автоматизации клиентской поддержки. Это особенно актуально при выходе на новые рынки и необходимости адаптировать продукты к местным языкам. Стаматис Лефкимиатис, руководитель департамента фундаментальных исследований MWS AI и один из исследователей, работавших над SEAM, в октябре 2026 года вошел в международную базу Top 2% Scientists. В категории «Искусственный интеллект и обработка изображений» он оказался примерно в топ-1% исследователей по показателю без самоцитирований.