NVIDIA Kumo Anomaly: диффузионная модель для детекции аномалий в многомерных временных рядах
Hugging Face Blog · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
NVIDIA представила Kumo Anomaly, открытую модель на базе диффузионных сетей, предназначенную для выявления аномалий в сложных многомерных временных рядах. Инструмент сочетает обучение с curriculum learning и адаптивные методы порога, что позволяет точно локализовать отклонения в шумных данных.
Технология решает проблему детекции редких событий в нестационарных данных, предлагая гибкие методы порога и возможность дообучения на собственных данных предприятия.
NVIDIA выпустила Kumo Anomaly (ранее известную как NV-Tesseract AD-Diffusion) — модель для обнаружения аномалий в многомерных временных рядах. Инструмент использует диффузионное моделирование, curriculum learning и адаптивное порогообразование для выявления необычного поведения в шумных сигналах высокой размерности. При обработке последовательности наблюдений библиотека возвращает исходные столбцы, оценку аномальности по среднему абсолютному отклонению (MAE) и бинарную метку для каждой строки. Разработчики могут выбирать между двумя стратегиями адаптивного порога: Segmented Confidence Sequences (SCS) и Multi-Scale Adaptive Confidence Segments (MACS). Модель содержит около 8 миллионов параметров и распространяется под лицензией Apache 2.0.
В отличие от простого поиска экстремальных значений, Kumo Anomaly учитывает контекст: наблюдение может стать аномальным из-за своего времени, связи с другими измерениями или изменения поведения системы в целом. Модель объединяет три компонента: диффузионное моделирование для импутации и детекции, curriculum learning для стабилизации обучения и адаптивное порогообразование для принятия решений. Этот подход разделяет два вопроса: насколько необычно наблюдение и когда эта необычность достаточна для сигнала тревоги. Пользователи получают доступ как к непрерывной MAE-оценке, так и к бинарному решению.
Обучение модели происходит на контрольном наборе TSB-AD-M, содержащем 198 многомерных временных рядов из 17 публичных датасетов. Эти ряды охватывают различные области применения и включают как точечные, так и последовательные аномалии с вариациями в размерности и частоте событий. В процессе обучения модель добавляет контролируемый шум к чистым данным, имитируя пропуски, и обучается восстанавливать исходные значения. На этапе инференса модель восстанавливает все значения, включая наблюдаемые, и сравнивает их с входными данными. Значительное расхождение интерпретируется как потенциальная аномалия.
Для определения порога NVIDIA разработала два метода, находящихся на стадии патентования: SCS и MACS. Оба подхода являются неуправляемыми, независимыми от модели и основаны на теории доверительных интервалов. SCS разделяет временной ряд на локально стабильные режимы с собственными статистическими базовыми линиями, адаптируя границы чувствительности в зависимости от естественной дисперсии. MACS анализирует данные через короткие, средние и длинные временные окна одновременно, используя механизм внимания для взвешивания наиболее релевантного масштаба и двойное правило детекции для снижения ложных срабатываний.
Особую ценность модель представляет в производстве полупроводников, где каждая пластина проходит сотни этапов обработки, генерируя потоки данных о давлении, потоках газа и вибрациях. Традиционный мониторинг часто опирается на фиксированные пороги, которые требуют постоянной калибровки и могут пропускать тонкие дефекты. Kumo Anomaly позволяет определить точный момент начала аномалии в коррелированных сигналах, что дает возможность спасти пластины, обработанные до этого момента, и предотвратить каскадные потери выхода годности.
NVIDIA также анонсировала сотрудничество с Databricks, позволяющее адаптировать модель к собственным данным с использованием серверных GPU. Исследования компании показывают, что дообучение на 50 000 нормальных наблюдений повысило среднюю точность (average precision) с 0.016 до 0.201, что составляет примерно 12.5-кратное улучшение. Репозиторий Kumo-TS предоставляет API в формате DataFrame и автоматически загружает предобученные веса с Hugging Face, включая примеры инференса и дообучения на пользовательских данных.