Исследователь Jacob Coxon ушел из Anthropic, заявив, что ведущие AI-компании «играют нашими жизнями», а один из руководителей направления alignment в компании публично оценил вероятность катастрофического сценария выше 10% в течение ближайшего десятилетия. Так спор про риски ИИ снова вышел из философских тредов в плоскость бизнеса, IPO и юридических формулировок, сообщает TechCrunch.
Поводом стала публикация Coxon, бывшего сотрудника OpenAI и Anthropic. Он написал, что больше не хочет участвовать в разработке систем, которые, по его мнению, могут выйти из-под контроля. Обычно такие заявления быстро растворяются в привычном шуме вокруг AI safety, но здесь история получила ускорение: alignment lead Anthropic поддержал пост и добавил, что в компании «действительно искренне верят», что ИИ может уничтожить всех людей. С восклицательным знаком, что в данном жанре выглядит почти как интерфейсная ошибка.
Самая цепкая деталь — число. Руководитель Anthropic написал, что лично оценивает шанс такого сценария как более 10% в ближайшие десять лет. Это не результат опубликованной модели риска, не страховой расчет и не регуляторная методика. Скорее это из области P(doom) — субъективной оценки вероятности катастрофы от ИИ, популярной в части AI-сообщества. Но для публичной компании или компании на пути к бирже даже субъективная цифра начинает жить отдельной жизнью: ее читают инвесторы, юристы, конкуренты, регуляторы и будущие сотрудники.
В подкасте Equity журналисты TechCrunch разбирали именно этот разрыв между словами и стимулами. Если CEO, исследователь или директор по безопасности говорит, что технология может угрожать человечеству, возникает простой вопрос: почему компания продолжает ее ускоренно строить? В случае Coxon ответ хотя бы последовательный: он ушел. Это отличает его от топ-менеджеров, которые одновременно предупреждают о конце света, нанимают команды, покупают вычислительные мощности и готовят новые релизы.
Есть и более циничное прочтение. Публичные предупреждения о рисках ИИ могут работать как странная демонстрация силы: мол, наши модели уже настолько мощные, что нам приходится обсуждать угрозу цивилизационного масштаба. Для рынка, где оценка компании зависит не только от выручки, но и от веры в будущую технологическую дистанцию, такая риторика может оказаться не минусом, а способом показать масштаб амбиций. В нормальной инвестиционной среде фраза «наш продукт потенциально опасен для человечества» била бы по valuation. В AI-гонке она может прозвучать как «у нас действительно сильная модель».
При этом свежие примеры из отрасли делают историю менее похожей на чистый маркетинг. Участники обсуждения упоминали инциденты с внутренними AI-агентами, сообщения о нештатном доступе к вики и сервисам, а также рост возможностей последних моделей Anthropic и OpenAI. Источник не дает технических деталей, достаточных для независимой оценки этих эпизодов, поэтому делать из них вывод «машины уже сбежали» рано. Но для разработчиков и IT-директоров практический вывод проще: autonomous agents перестали быть презентационным трюком и стали инженерным риском с правами доступа, логами, контурами изоляции и ответственностью.
Для бизнеса эта дискуссия важна не потому, что завтра придется писать план эвакуации от сверхразума. Важнее другое: AI-компании сами поднимают планку ожиданий к governance. Если поставщик утверждает, что строит потенциально опасную систему, корпоративный клиент имеет право спрашивать не только про бенчмарки и цену токена, но и про модель угроз, red teaming, ограничения агентных действий, аудит доступа, политику инцидентов и условия отключения. Особенно если ИИ получает доступ к CRM, репозиториям, внутренней базе знаний или финансовым операциям.
Отдельная интрига — возможное IPO Anthropic. В обсуждении прозвучал вопрос, как подобные заявления попадут в S-1, регистрационный документ для выхода на биржу в США. Компании обычно перечисляют там факторы риска: зависимость от поставщиков, регуляторные угрозы, судебные претензии, конкуренцию. Но как юридически описать позицию, что создаваемая технология с ненулевой вероятностью может привести к уничтожению человечества? И будет ли это восприниматься инвесторами как красный флаг или как еще одно доказательство, что компания находится на переднем крае?
Для русскоязычной IT-аудитории история полезна как напоминание: разговор про риски ИИ давно не ограничивается этическими манифестами. Он влияет на закупки, найм, архитектуру продуктов и юридические документы. Если AI-вендоры сами говорят языком экзистенциальной угрозы, клиентам и разработчикам пора отвечать языком конкретных контролей: кто выдает агенту права, где хранится контекст, что считается инцидентом, кто нажимает стоп-кран и как быстро это можно проверить на практике.
Главный вопрос теперь не в том, верить ли в апокалиптический сценарий с точностью до процента. Вопрос жестче и приземленнее: сможет ли индустрия, которая продает скорость как главное преимущество, доказать клиентам, сотрудникам и рынку, что безопасность для нее не декоративный слайд перед раундом финансирования.