Исследователи представили на ICLR 2026 новый алгоритм полуаналитического построения стабильных и нестабильных многообразий в рекуррентных нейросетях с функцией активации ReLU. Разработка решает ключевую проблему объяснимого ИИ — понимание того, как именно обученные сети принимают решения.
RNN активно используются в научном машинном обучении для реконструкции динамических систем. Модели обучаются аппроксимировать динамическую систему по наблюдаемым временным рядам, а затем анализируются как формальные заместители исходных систем. Проблема в том, что без понимания внутренней структуры сеть остаётся «чёрным ящиком».
Новый алгоритм позволяет выявить топологические и геометрические свойства пространства состояний RNN. Стабильные и нестабильные многообразия фиксированных и периодических точек разделяют пространство состояний динамической системы на разные области притяжения. Их пересечения приводят к хаотической динамике с фрактальной геометрией, формируя своеобразный «скелет» системы.
Методика особенно важна для научных и медицинских приложений, где критична не только точность предсказаний, но и понимание логики работы модели. В медицине это может помочь врачам понять, почему ИИ поставил конкретный диагноз, а в науке — выявить скрытые закономерности в данных.
Алгоритм работает специфически с ReLU-активацией, что ограничивает область применения, но делает анализ более точным для этого типа архитектур.
Полный текст исследования доступен в OpenReview — работа может стать основой для более широкого класса методов анализа нейросетевых архитектур.
