ИИ-агента можно не уговаривать быть честным, а сделать обман невыгодным. Исследователи обсуждают подход под названием обратная теория игр: вместо попыток угадать намерения модели предлагается выстроить правила, в которых ей рациональнее соблюдать ограничения. Для разработчиков и компаний, внедряющих агентные системы, это важный сдвиг: безопасность может стать не только задачей обучения модели, но и задачей архитектуры всей среды вокруг неё.
Как сообщает MIT Technology Review, экономист MIT Стивен Моррис вместе с коллегами из Йеля и Колумбийского университета описал в препринте механизмы, которые могут мешать моделям намеренно занижать свои возможности на тестах. Такое поведение называют sandbagging: система делает вид, что хуже решает задачи, чтобы не попасть под дополнительные проверки или ограничения.
Обычная теория игр пытается предсказать действия участников при уже заданных правилах. Её «обратная» версия, также известная как mechanism design, начинает с другого конца: сначала определяется нужный результат, затем под него конструируются стимулы. Классический бытовой пример — делёж торта: один человек режет, второй первым выбирает кусок. Резать криво в такой системе невыгодно. По тому же принципу работают аукционы второй цены и динамическое ценообразование в сервисах такси.
В применении к ИИ идея выглядит прагматично и даже немного цинично. Исследователи не рассчитывают полностью понять, что именно происходит «внутри» frontier-модели, и не требуют доказать её искренность. Вместо этого система должна быть устроена так, чтобы безопасное и проверяемое действие приносило агенту лучший результат, чем сокрытие способностей, обход правил или имитация слабости.
Проверять модели моделями
Один из вариантов из работы Морриса — оценивать модель не только по качеству ответа на тест, но и по тому, насколько точно она предсказывает ответ другой модели. Агент, который специально «тупит», рискует проиграть именно на такой проверке: современные модели достаточно хорошо представляют, что способны сделать другие ИИ-системы. Авторы также рассматривают конкурентные схемы, где агенты вынуждают друг друга показывать максимум возможностей, и пары моделей с известными, но противоположными перекосами. Если вознаграждение зависит от совпадения их выводов, у участников появляется стимул сходиться к более точному ответу.
Профессор Принстонского университета Элад Хазан предлагает смотреть на проблему через знакомые человеческие институты: социальные нормы, право, контроль и денежные стимулы. В его схеме одни модели выступают исполнителями задач, другие — аудиторами. Исполнитель получает штраф, если его ловят на нарушении; аудитор тоже теряет вознаграждение, если пропускает мошенничество. При споре дело может уходить на «разбирательство» к человеку-эксперту. Это похоже на разделение ролей между бизнесом, контролёром и судом, только вместо квартальных отчётов — результаты работы ИИ-агентов.
Проблема очевидна: аудитор и исполнитель могут договориться. Хазан проводит параллель с коррумпированными инспекторами и компаниями, которые умеют проходить формальные проверки. В ответ он предлагает достаточно высоко оплачивать добросовестный аудит и проверять самих проверяющих — например, случайными контрольными задачами по логике тайных покупателей. В обучающей среде такие правила проще менять, чем в государственном аппарате, но у ИИ появится собственная версия старой игры «кто контролирует контролёра».
Не замена обучению и регулированию
У подхода есть фундаментальное допущение: агенты должны хотя бы приблизительно реагировать на стимулы. Люди регулярно ведут себя не так, как предсказывает экономика; языковые модели тоже демонстрируют труднообъяснимые эффекты и могут менять поведение из-за деталей формулировки, контекста или порядка задач. Исследовательница Flatiron Institute Хелен Цюй поэтому рассматривает механизм-дизайн как один из слоёв защиты, а не универсальный предохранитель. Рядом должны оставаться интерпретируемость моделей, тестирование, обучение на правилах и внешнее регулирование.
Для инженерных команд вывод вполне прикладной. Если агент получает доступ к коду, платежам, внутренним системам или клиентским данным, недостаточно добавить в системный промпт список запретов. Нужны независимые проверки действий, разделение полномочий, журналы решений, воспроизводимые сценарии эскалации и стимулы, при которых агенту невыгодно скрывать риск. Обратная теория игр не отменяет песочницы и ограничения прав доступа, но предлагает проектировать их как экономику взаимодействий, а не как набор декоративных барьеров.
Главный вопрос выходит за пределы лабораторий: будут ли компании выпускать более контролируемые модели, если они окажутся медленнее или дороже конкурентов? Хазан напоминает, что рынок сам по себе тоже является механизмом с собственными стимулами — и он может поощрять как полезную безопасность, так и опасную гонку за скоростью. Поэтому обратная теория игр может оказаться полезна не только для поведения ИИ-агентов, но и для правил, по которым работают создающие их лаборатории. Подробнее о препринте и позициях исследователей пишет .
