Локальное обучение нейросетей: почему хеббовские правила сводятся к k-means
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Исследование показало, что обучение скрытых слоев нейросети исключительно локальными правилами без обратного распространения ошибки по точности практически не отличается от алгоритма кластеризации k-means. Несмотря на интересные архитектурные находки, такие методы не превосходят стандартный backpropagation ни в точности, ни в устойчивости к забыванию.
Работа демонстрирует пределы эффективности локальных правил обучения (Hebbian learning) и подчеркивает необходимость использования k-means как базового эталона при оценке методов без учителя. Это помогает исследователям избежать ложных выводов о превосходстве сложных локальных механизмов над простыми алгоритмами кластеризации.
В недавнем исследовании, опубликованном на Habr, автор предпринял попытку обучить скрытый слой нейросети без использования обратного распространения ошибки (backpropagation). Вместо глобального сигнала ошибки применялись исключительно локальные правила: каждый нейрон корректировал свои веса на основе собственного входа, активности и сигналов соседей. Основой послужила работа Krotov & Hopfield (2019), где нейроны соревнуются за активность, а победитель подтягивает веса к входу (правило Хебба), проигравший — отталкивается. Автор добавил жесткие ограничения: метки видел только линейный классификатор поверх признаков, а обучение скрытых слоев происходило полностью без учителя.
Первые эксперименты на наборе данных sklearn digits выглядели многообещающе: локальное правило показывало точность 0,974, превосходя сырые пиксели и случайные веса. Однако при смене разбиения данных преимущество исчезло, уступив место статистическому шуму. Устойчивым оказалось лишь превосходство над случайными весами на 2,6 процентных пункта. Автор отметил, что разброс между различными разбиениями данных (около 1,2 п.п.) значительно превышает разброс между сидами (около 0,5 п.п.), что делает выводы по одному запуску ненадежными.
Критической проблемой стала «смерть» нейронов: в прототипе 44% нейронов перестали активироваться. Анализ показал, что это вызвано некорректной нормализацией шага обновления, которая нарушала принцип локальности. После исправления алгоритма и введения адаптивного порога (механизм DeSieno), количество мертвых нейронов снизилось до 0–0,2%, а коллапс сети исчез. Однако точность при этом практически не выросла, так как линейному классификатору было достаточно меньшего числа активных нейронов.
Главным открытием стало то, что предложенное локальное правило по сути является вариацией алгоритма k-means. При отключении механизма отталкивания результаты локального обучения и k-means совпадали с точностью до сотых долей процента. Весь небольшой выигрыш (около 0,5 п.п.) обеспечивался лишь механизмом отталкивания второго по силе нейрона. Автор рекомендует всегда включать k-means в список эталонов при оценке подобных методов, так как сравнение со случайными весами создает ложное впечатление о сложности выученных признаков.
Эксперименты с топологическими картами Кохонена показали, что наложение сеточной структуры на нейроны приводит к потере разнообразия прототипов и снижению точности. Более продуктивным оказалось использование локальных рецептивных полей: слой из 400 нейронов, каждый из которых анализирует небольшой участок изображения, показал наилучшие результаты (0,969 на MNIST). Второй слой поверх таких «деталей» собирал их в полные силуэты цифр. Однако даже здесь k-means с аналогичной архитектурой демонстрировал сопоставимую эффективность.
Попытка автоматически подобрать параметры правила через эволюционный алгоритм (CMA-ES) привела к перенастройке под конкретные сиды и разбиения, что не переносилось на новые данные. Найденное правило с «тормозным окружением» работало лучше ручного на MNIST, но разваливалось на Fashion-MNIST из-за различий в масштабе данных. Это подтверждает, что оптимизация на фиксированных сидах часто приводит к переобучению самого правила.
В сравнении с backpropagation локальные методы уступают: на MNIST разница составляет 0,9 п.п., на Fashion-MNIST — 3,4 п.п. Также локальное обучение не показало преимуществ в условиях малого количества меток или при тестировании устойчивости к забыванию (catastrophic forgetting). Напротив, механизм адаптивного порога, спасавший от мертвых нейронов, способствовал быстрому забыванию старых данных при обучении на новых. Исследование заключает, что локальные правила без глобальной ошибки не являются «свободным обедом» и часто сводятся к базовой кластеризации.