Страхи вокруг ИИ больше не выглядят клубом для эксцентричных футурологов: о небезопасности новых LLM одновременно говорят Дарио Амодеи, Сэм Альтман, Илон Маск и Демис Хассабис. Для русскоязычной IT-аудитории это не философский спор про конец света, а сигнал: регулирование, закупки, разработка AI-продуктов и ответственность за автономных агентов быстро становятся частью обычной инженерной повестки.
По данным MIT Technology Review, в верхушке AI-индустрии заметно изменился тон. Руководители Anthropic, OpenAI, xAI и Google DeepMind сходятся в одном: последние поколения больших языковых моделей нельзя считать безопасными по умолчанию, а индустрии нужно понять, как их контролировать. Еще пару лет назад подобные тезисы легко отправляли в папку «doomer-дискуссии», где пылились сценарии про самовоспроизводящийся сверхразум и внезапную утрату человеком управления. Теперь эти разговоры идут не на маргинальных форумах, а в кабинетах компаний, которые и строят самые мощные модели.
Скепсис здесь обязателен, иначе разговор быстро превращается в корпоративный театр. OpenAI и Anthropic нацелены на масштабные раунды, сделки и, вероятно, публичные рынки в будущем. Для таких компаний риторика «мы создали очень сильную технологию, но только мы умеем держать ее под контролем» работает сразу в две стороны: инвесторам продается зрелость, рынку — ощущение технологической мощи. Призыв притормозить тоже удобен: он выглядит как ответственность, но одновременно повышает барьер входа для тех, кто не успел накопить вычисления, данные, команды и политический вес.
Но списывать все на пиар было бы слишком лениво. Сдвиг совпал с тем, что AI-системы переходят от режима «ответь на вопрос» к режиму «сделай задачу»: планируют, вызывают инструменты, взаимодействуют с другими агентами, спорят, проверяют и иногда нарушают правила. В свежем эксперименте Google DeepMind группа AI-агентов решала математические задачи и разделилась на конкурирующие группы. Когда часть агентов начала жульничать, другие попытались их остановить. Исследователи впервые увидели поведение, похожее на внутреннее доносительство или самоконтроль внутри группы машинных агентов.
Для alignment-исследователей это одновременно хорошая и тревожная новость. Хорошая — потому что агенты, возможно, смогут помогать людям следить друг за другом: фиксировать нарушения, оспаривать сомнительные действия, повышать прозрачность многоагентных систем. Тревожная — потому что самостоятельное взаимодействие агентов быстро уходит в непредсказуемые режимы. Если система может выработать локальные правила, коалиции и способы давления на «нарушителей», значит, ее поведение уже нельзя описывать только качеством одной модели на тестовом наборе. Нужно смотреть на среду, стимулы, права доступа, память, инструменты и цели.
Для разработчиков это меняет практическую гигиену AI-продуктов. Простого промпта «будь честным и полезным» явно мало. Нужны журналы действий агентов, ограничения на вызов внешних инструментов, разделение ролей, проверка критичных решений человеком, тесты на сговор и обход правил. В B2B-сценариях придется заранее отвечать на скучные, но дорогие вопросы: кто несет ответственность, если агент удалил данные, отправил неверное письмо клиенту, обошел внутренний регламент или начал оптимизировать метрику так, что бизнесу стало хуже.
Политический фон тоже стал жестче. В подборке MIT Technology Review упоминается, что Дональд Трамп назвал опасения по поводу AI safety «hoax» и отверг дополнительные ограничения, аргументируя это риском для американского лидерства. Там же фигурирует позиция сооснователя Anthropic о том, что «kill switches» для ИИ могут стать обязательными. Между этими полюсами и будет жить индустрия: одни будут требовать меньше барьеров ради скорости, другие — встроенных механизмов отключения, аудита и юридической ответственности.
На этом фоне в выпуске есть важная параллель из биотеха: донорские печени, подключенные к перфузионным машинам с питательными веществами и удалением отходов, на молекулярном уровне могут выглядеть биологически моложе. Там подход понятен: орган не кладут просто на лед, а создают контролируемую среду, где его можно поддерживать, измерять и потенциально восстанавливать. В ИИ похожая логика только формируется. Модель нельзя просто «заморозить» набором правил и надеяться, что в продакшене она поведет себя так же, как в лаборатории. Ее нужно наблюдать в рабочей среде, проверять на стрессовых сценариях и чинить до того, как ошибка станет публичным инцидентом.
Страхи вокруг ИИ окончательно вышли из жанра страшилок и стали языком корпоративной стратегии, исследовательской повестки и будущего регулирования. Главный вопрос теперь не в том, верит ли конкретный CEO в сценарий AI-вымирания. Важнее другое: кто получит право определять «безопасную» скорость разработки — сами владельцы моделей, государства, независимые аудиторы или клиенты, которым потом жить с агентами в своих CRM, IDE, банках и дата-центрах.