Глава Anthropic Дарио Амодеи предложил замедление разработки ИИ на переднем крае: не выключить лаборатории из розетки, а поставить им внешних наблюдателей, общие правила и хотя бы минимальную международную координацию. Для русскоязычной IT-аудитории это не абстрактная философия про «сверхразум», а возможный контур будущего регулирования моделей, агентов, GPU-доступа и корпоративного внедрения ИИ.
Амодеи изложил идею в новом посте, сообщает TechCrunch. Поводом стали две вещи: недавний взлом, связанный с OpenAI и Hugging Face, и резкое ускорение прогресса ИИ, особенно способность моделей помогать в создании следующего поколения моделей. По его формулировке, темп улучшения возможностей ИИ нужно снизить, хотя прогресс всё равно будет казаться быстрым. В переводе с языка CEO на язык инженерной планёрки: релизы не отменяются, но кнопку «ещё больше capability любой ценой» предлагают нажимать реже.
Первый пункт плана — встроенные внешние оценщики. Амодеи предлагает допускать независимые организации вроде METR внутрь frontier-компаний: с бейджами, рабочими местами, ноутбуками и доступом, близким к тому, что есть у внутренних команд по оценке рисков. Их задача — проверять, действительно ли компании соблюдают собственные обещания по безопасности, и следить, чтобы инциденты не растворялись в корпоративной тишине.
Это не совсем аудит в стиле «пришли раз в квартал, посмотрели презентацию и ушли». Модель ближе к регуляторам, которые физически работают рядом с банковскими сотрудниками. Anthropic, по словам Амодеи, готова внедрить такой режим добровольно и призывает правительства обязать другие frontier-компании сделать то же самое. Сэм Альтман уже отреагировал положительно: глава OpenAI назвал идею хорошей и заявил, что OpenAI тоже пойдёт в этом направлении, подробности компания обещает позже.
Контекст у предложения нервный. На этой неделе исследователь Джейкоб Коксон заявил об уходе из Anthropic из-за опасений, что ведущие ИИ-компании «играют нашими жизнями», при этом сами разработчики якобы верят в сценарий, где технология может привести к катастрофе до конца десятилетия. Амодеи прямо не разбирал его уход, но его пост вышел ровно в тот момент, когда разговор о safety перестал быть внутренней дискуссией лабораторий и снова попал в публичную повестку.
Второй пункт — координация ведущих ИИ-компаний в демократических странах. Речь о единых стандартах безопасности и ограничениях на скорость «непроверенного» прогресса. Здесь сразу появляется юридическая мина: если конкуренты синхронно замедляются, антимонопольные органы могут задать неприятные вопросы. Амодеи предлагает, чтобы правительство США не обязательно участвовало в таких переговорах, но выдало узкое разрешение на обсуждения, связанные именно с безопасностью.
Отдельная линия — Китай. Аргумент против замедления обычно звучит просто: если США притормозят, Китай обгонит. Амодеи отвечает в духе промышленной политики: экспортные ограничения на мощные чипы и оборудование для производства полупроводников, плюс борьба с дистилляцией моделей, могут замедлить Китай достаточно, чтобы США увеличили отрыв на горизонте 3–5 лет. Это спорная ставка, но она показывает, что замедление разработки ИИ в его версии — не пацифизм лабораторного халата, а часть геополитической игры за вычисления, таланты и стандарты.
Третий пункт — глобальная координация, включая попытки договориться с авторитарными государствами. Сам Амодеи признаёт, что потолок таких договорённостей низкий. Но даже узкие запреты могут иметь смысл: например, не использовать ИИ для создания биологического оружия и не давать пользователям инструменты для подобных сценариев. Для бизнеса это важный сигнал: будущие ограничения могут прийти не только на уровне моделей, но и на уровне конкретных классов применения.
Реакция индустрии получилась показательной. Альтман поддержал идею «pace the frontier», Илон Маск написал, что Амодеи прав. Но критики видят в таких предложениях не только заботу о человечестве, но и риск регуляторного захвата: крупные лаборатории получают правила, с которыми сами ещё как-то справятся, а новые игроки — дополнительный барьер входа. Журналист Брайан Мерчант, например, сомневается в апокалиптических сценариях и считает, что подобные меры могут в итоге сыграть на руку Anthropic и OpenAI.
Для разработчиков и IT-компаний практический вывод проще, чем спор о конце света. Если крупнейшие лаборатории начнут жить с внешними оценщиками, общими safety-стандартами и обязательной отчётностью по инцидентам, это постепенно просочится вниз: в требования enterprise-заказчиков, procurement-листы, политики работы с агентами, правила доступа к данным и контракты с поставщиками моделей. Вчера «оценка рисков ИИ» была слайдом для совета директоров, завтра может стать обычной частью релизного процесса.
Главный вопрос теперь не в том, возможно ли замедление разработки ИИ вообще, а кто будет держать ручку регулятора: сами лаборатории, правительства, независимые аудиторы или все вместе в неудобной, но рабочей связке. Если индустрия не придумает проверяемый механизм доверия, его придумают за неё — и, скорее всего, менее аккуратно.