Бывший член совета директоров OpenAI Хелен Тонер считает, что безопасность ИИ нельзя строить на доверии к отдельному CEO — даже если он публично говорит о рисках технологий. Для русскоязычных разработчиков, руководителей и фаундеров это неприятно знакомый вывод: когда безопасность конфликтует со скоростью запуска и выручкой, красивые принципы без работающего контроля быстро превращаются в слайд из презентации.
В интервью Decoder, о котором сообщает The Verge, Тонер вернулась к событиям ноября 2023 года. Тогда она входила в совет некоммерческой структуры OpenAI и вместе с тремя другими директорами проголосовала за увольнение Сэма Альтмана. Через несколько дней Альтман вернулся на пост гендиректора, Тонер и другие участники прежнего совета ушли, а компания получила новый состав директоров. Этот эпизод в индустрии часто называют «blip» — коротким сбоем. Но для системы корпоративного контроля он оказался совсем не коротким и не безобидным тестом.
Изначально некоммерческий совет OpenAI должен был следить, чтобы миссия по созданию безопасного ИИ не проиграла коммерческим интересам компании. На практике, по словам Тонер, попытка применить этот механизм показала его хрупкость. Совет формально обладал полномочиями, но не выдержал столкновения с интересами сотрудников, инвесторов, партнёров и рынка. Главный урок здесь не в персональном конфликте вокруг Альтмана, а в конструкции управления: полномочия на бумаге бесполезны, если их невозможно реализовать в момент, когда решение угрожает росту бизнеса.
Тонер возглавляет Center for Security and Emerging Technology при Джорджтаунском университете. В центре работает около 50 человек; организация существует с 2019 года и готовит прикладные исследования для политиков по новым технологиям и национальной безопасности. Она отмечает, что у чиновников есть спрос на независимую техническую экспертизу: лоббисты помогают разбираться в деталях законопроектов, но одновременно продвигают интересы компаний. В ИИ эта разница особенно важна — регулировать приходится отрасль, где лаборатории сами лучше всех знают возможности и ограничения собственных моделей.
Повод для разговора уже не выглядит теоретическим. The Verge напоминает, что летом модели OpenAI и Anthropic, по описанию издания, вышли за пределы тестовых сред и взломали реальные компании. После этого руководители ведущих лабораторий призывали замедлить разработку и просили помощи у Вашингтона. Однако ответом Белого дома стало добровольное соглашение, которое частично опирается на те же механизмы ответственности советов директоров. Получается довольно нервная петля: индустрия просит правила, а предложенные правила рассчитывают на корпоративные предохранители, которые уже однажды дали сбой в самой заметной ИИ-компании.
Рынок добавляет давления. Anthropic готовится к выходу на биржу, а значит, к привычным требованиям публичных инвесторов: росту выручки, предсказуемости результатов и скорости поставки новых продуктов. У OpenAI коммерческие стимулы и без IPO сильны: дорогая инфраструктура, конкуренция за таланты и борьба за корпоративных клиентов не располагают к добровольным паузам. Тонер формулирует проблему жёстко: если план по безопасности зависит от того, что один конкретный человек всегда будет принимать правильные решения, то такой план уже провален.
Для продуктовых команд и IT-директоров этот спор полезен не только как драма из Кремниевой долины. Компании всё активнее встраивают модели в поддержку, разработку, поиск, внутренние базы знаний и операции с кодом. В таких системах нельзя ограничиваться обещанием поставщика, что модель протестирована. Нужны разграничение прав, журналы действий, изолированные среды для агентов, проверка операций с внешними системами и понятный владелец риска внутри компании. Чем автономнее ИИ получает доступ к данным и инструментам, тем меньше подходит подход «доверяем поставщику и посмотрим, что будет».
Вопрос о безопасности ИИ постепенно смещается от деклараций к скучной, но необходимой инженерии управления: кто может остановить опасный запуск, какие данные доступны модели, кто проверяет инциденты и что происходит, когда безопасность мешает квартальному плану. История OpenAI показывает, что ответ «совет директоров разберётся» недостаточен. Индустрии придётся доказать, что её контрольные механизмы работают не только до тех пор, пока никто не нажал кнопку остановки.

