Контрфактические мировые модели могут помочь роботу понять, какое действие сработало бы после неожиданного сбоя: в симуляциях повторные попытки доводили вероятность достижения цели до 51–97%. Для команд, строящих физический ИИ — от складских манипуляторов до дронов, — это способ использовать ошибку не как очередную строчку в логе, а как данные для следующего решения.
Подход описали Рэндалл Балестриеро из Brown University и AMI Labs, Керда Вараку и лауреат премии Тьюринга Янн ЛеКун из Нью-Йоркского университета и AMI Labs, сообщает The Register. Их препринт называется Counterfactual World Models: Natura Non Facit Saltus — отсылка к принципу Лейбница «природа не делает скачков». Авторы предлагают восстанавливать влияние скрытого фактора по расхождению между прогнозом модели и тем, что произошло в действительности.
Обычная мировая модель учится предсказывать следующее состояние среды: робот повернул руль, взял предмет, толкнул коробку — модель оценивает результат. Это полезно для планирования, но не отвечает на вопрос, который возникает сразу после промаха: «А что было бы, если в тех же условиях я сделал иначе?» Проблема в том, что причина сбоя часто не видна камере и не попадает в состояние модели: слабый мотор, лишний вес груза, течение, скользкий пол или внешнее воздействие.
Авторы иллюстрируют идею лодкой, пересекающей реку. Модель ожидает, что при повороте влево лодка окажется в одной точке, но фактически течение сносит её на два метра ниже. Эти два метра можно трактовать как след скрытого течения. Чтобы оценить результат поворота вправо, исследователи предлагают взять прогноз модели для правого поворота и добавить к нему ту же поправку, полученную из реального исхода. В их формулировке три классических шага причинного вывода — оценить скрытые факторы, заменить действие и заново спрогнозировать исход — сводятся к одной операции вычитания.
Здесь важна не арифметическая ловкость, а физическое допущение. На коротком временном интервале эффект управляющего действия и эффект возмущения складываются почти линейно, а их взаимное влияние растёт медленнее — с квадратом длительности шага. Поэтому перенос поправки с фактического действия на альтернативное имеет теоретическое обоснование. Авторы утверждают, что доля ошибки такой коррекции убывает пропорционально квадрату временного шага; при этом метод с теми же обычными наблюдениями не может в худшем случае быть принципиально точнее.
Работа не привязана к одной архитектуре. Её можно применять к моделям, которые предсказывают усреднённое следующее состояние для заданного действия. Однако исследователи отдельно упоминают JEPA — семейство Joint Embedding Predictive Architecture, которое ЛеКун с коллегами развивает для предсказания представлений мира, а не пикселей. В экспериментах использовались готовые энкодеры DINOv2 и MAE без дообучения; поверх них обучали небольшой предиктор. По оценке Балестриеро, для превращения такой системы в контрфактическую потребуются лишь небольшие дополнения.
Цифры из симулированных задач выглядят заметнее самой красивой формулы. Когда первая попытка срывалась из-за скрытого фактора, выбор следующего действия по новой схеме приводил к цели в 35–69% случаев. Планировщик, который знает истинный симулятор, но игнорирует уже увиденный исход, показывал только 14–23%. Если дать системе ещё две попытки в той же ситуации, показатель достигал 51–97%. Это не доказательство готовности метода к работе на реальном производстве: симуляция щедра на контролируемые условия. Но она хорошо показывает, где проходит граница между «модель знает физику в среднем» и «система умеет учиться на конкретном неудачном эпизоде».
Для разработчиков робототехники ценность может быть и инженерной, и операционной. Вместо полного переобучения модели после каждого отклонения можно быстро проверить альтернативу с учётом уже обнаруженной поправки. Это пригодится при постоянных дефектах — например, неверно откалиброванном приводе, — а также при разборе инцидентов: плохое решение нужно отделять от плохого везения. При этом метод не отменяет датчики, моделирование и безопасные ограничения: он делает вывод из сюрприза, но не превращает неизвестную среду в предсказуемую.
Контрфактические мировые модели интересны тем, что добавляют к модному направлению world models вполне приземлённый вопрос: что делать после первой ошибки, когда время на новый цикл обучения отсутствует. Следующая проверка будет жёстче симулятора — на реальных роботах, где возмущения редко ведут себя так аккуратно, как течение в учебном примере. Подробности метода доступны в материале .
