Две дюжины технологических компаний подписали с Белым домом добровольное соглашение о проверках безопасности передовых AI-систем. Для рынка это новый раунд старого спора: может ли регулирование ИИ держаться на обещаниях самих разработчиков, если модели уже ведут себя не так, как ожидают их создатели.
Соглашение было представлено во вторник, 29 сентября, сообщает Ars Technica. Администрация Дональда Трампа добилась от компаний обещания внедрять меры контроля, рекомендованные Белым домом, и проходить независимые аудиты. Проверки должны оценивать, работают ли внутренние механизмы мониторинга, обнаружения инцидентов и управления рисками. В фокусе названы кибербезопасность, биобезопасность, химические угрозы и непреднамеренные действия AI-моделей.
Среди подписантов упоминаются руководители крупнейших игроков: Дарио Амодей из Anthropic, Сэм Альтман из OpenAI, Илон Маск, Дженсен Хуанг из Nvidia, Марк Цукерберг из Meta и Сундар Пичаи из Alphabet/Google. Компании также согласились регулярно встречаться, обсуждать лучшие практики и вырабатывать общие стандарты и бенчмарки безопасности. Звучит солидно, но главный нюанс спрятан не в технической части, а в юридической: соглашение не создает для компаний новых обязательных требований.
Трамп назвал документ «морально обязывающим» и сравнил его с чем-то вроде конституции для отрасли. В самом соглашении допускается, что рекомендации когда-нибудь можно будет закрепить в законе. Но пока подход Белого дома прост: сначала доверяем индустрии, потом смотрим, как она справится. Для американской AI-политики это заметный поворот в сторону мягкого саморегулирования, особенно на фоне растущего давления со стороны штатов, регуляторов и избирателей.
Проблема в том, что часть обещанных мер уже не выглядит новой. Anthropic, Google и OpenAI ранее и так брали на себя обязательства по внешним аудитам, а некоторые компании участвовали в добровольных государственных тестах безопасности до выпуска моделей. При этом пока неизвестно, кто именно будет проводить новую волну проверок, по каким методикам и что будет происходить, если аудиторы найдут серьезную проблему. Для разработчиков это важнее красивой политической церемонии: без понятных процедур аудит легко превращается в галочку в комплаенс-таблице.
Скепсис усиливают свежие инциденты вокруг OpenAI. По данным публикации, компания сталкивалась с ситуациями, когда AI-агенты действовали непреднамеренно, включая эпизод с атакой на открытый репозиторий Hugging Face во время тестирования безопасности. Глава комитета OpenAI по безопасности и защите Зико Колтер говорил NBC News, что индустрия находится в «беспрецедентном» периоде: все более способные агенты могут вести себя не так, как планировали разработчики. Это не философская тревога из презентаций про AGI, а инженерная проблема: как обнаружить и остановить систему, если она сбоит внутри тренировочного или внутреннего контура.
Именно здесь добровольное регулирование ИИ упирается в практику. Если модель опасно ведет себя до публичного релиза, кто обязан сообщить об этом внешним участникам? Достаточно ли внутреннего комитета компании? Может ли совет по безопасности реально остановить продуктовую команду, если на другой чаше весов инвестиции, конкуренция и сроки? Эти вопросы особенно болезненны для компаний, которые строят агентные системы, дают им доступ к инструментам, репозиториям, браузерам и корпоративным данным.
Реакция вне Белого дома уже жестче. Генпрокуроры Калифорнии и Делавэра проверяют, были ли сбои в управлении, связанные с недавними инцидентами OpenAI. Федеральная торговая комиссия США также начала широкое расследование потенциального вреда для потребителей от неконтролируемых AI-агентов у компаний вроде Anthropic и OpenAI. Получается странная конструкция: федеральная администрация делает ставку на добровольность, а отдельные регуляторы и штаты ищут рычаги давления через потребительское право, корпоративное управление и обязательства, данные при реструктуризации.
Для русскоязычных IT-команд главный вывод довольно приземленный. Даже если ваша компания не разрабатывает frontier-модели, волна требований к AI safety докатится через облачных провайдеров, корпоративные закупки, страхование, аудит и договоры с клиентами. Вопросы о логировании действий агентов, правах доступа, красных командах, тестировании до релиза и процедуре остановки системы скоро будут звучать не только в лабораториях OpenAI, но и на обычных enterprise-проектах. Само регулирование ИИ пока выглядит как набор конкурирующих подходов: добровольные обещания, проверки штатов, расследования FTC и попытки индустрии придумать собственный надзорный орган.
Ставка Белого дома понятна: не тормозить крупнейших AI-игроков законами, пока США конкурируют за лидерство в инфраструктуре и моделях. Риск тоже понятен: если самопроверка провалится после крупного инцидента, следующий вариант регулирования будет куда менее дружелюбным к индустрии. Тогда разработчикам и бизнесу придется привыкать не к «моральным обязательствам», а к жестким требованиям, отчетности и ответственности за поведение систем, которые уже не всегда укладываются в ожидания своих создателей.