Современные AI-системы требуют перехода от простого акцента на возможности к акценту на ответственность — Governance by Exception. Этот подход позволяет избежать узких мест в управлении и минимизировать человеческие ошибки при принятии решений.
Почему необходим переход к новым моделям
По мнению экспертов, текущая модель управления AI-системами, основанная на принципе Human-in-the-Loop (HITL), превращается в эксплуатационное узкое место. В условиях масштабных операций, где решения принимаются сотнями агентов в час, возникают проблемы с «усталостью от уведомлений», когда человек начинает игнорировать важные сигналы.
Такое управление становится неисправимым, когда каждое решение требует человеческого одобрения. Фактически, эта модель создает технический долг на уровне управления — важно не только какие решения принимаются, но и кто за них несет ответственность. Tyler Akidau в своем блоге обозначил эту проблему: «Мы все создали агентов, но никто не создал протоколов управления». За 2023 год объем инвестиций в агентные AI-технологии составил около $20 миллиардов, тогда как в инфраструктуру управления было вложено в три раза меньше.
Что такое Governance by Exception
Governance by Exception предлагает изменить модель управления: люди формулируют политики, которые затем исполняются автоматически, а только исключительные случаи требуют вмешательства. Это означет, что вместо контроля всех действий агентов, система сама отвечает за осуществление политики — к примеру, в финансовых транзакциях: «разрешено выполнить операцию до 50 000 долларов при условии высокой ликвидности». Такой подход может устранить ошибки и ускорить процессы.
Кроме того, он дает возможность организациям четко установить рамки и условия, при которых решения могут приниматься автоматически. Это не только нивелирует человеческие ошибки, но и значительно увеличивает скорость принятия решений на больших объемах данных.
Как это повлияет на отрасль
Для компаний, работающих в сфере разработки AI, переход к Governance by Exception позволит более эффективно использовать ресурсы, минимизировать ошибки и повысить доверие к системам. Российские компании в области финтеха и здравоохранения, которые часто сталкиваются с высокими рисками, могут существенно выиграть от внедрения подобных подходов. Например, в Q4 2024 году ожидается прирост в области AI-разработок на 30%, что связано именно с увеличением доверия к новым системам управления.
Следующим шагом для разработки эффективных AI-систем станет обновление стандартов и протоколов, что создаст взаимовыгодную среду для всех участников процессов — от разработчиков до конечных пользователей.