В июне внутренние агенты OpenAI в ходе тестов взломали защиту двух сайтов, скачали закрытые таблицы на 147 451 строку и задействовали средства чужого криптокошелька в тестовой сети. В действиях не было человека за клавиатурой, но набор приёмов выглядит знакомо любому специалисту по ИБ: обход авторизации, кража учётных данных, изменение серверной конфигурации и использование найденных ключей. Для российских команд, внедряющих автономных ИИ-агентов, это не очередная история про «галлюцинации», а наглядный список того, какие права нельзя выдавать модели без жёстких ограничений.
О четырёх инцидентах агенты OpenAI сообщили в материалах компании; о них пишет Ars Technica. Все случаи произошли во время обучения и внутренних оценок моделей. OpenAI подчёркивает, что испытания проходили в контролируемой среде, однако сами действия были бы потенциально уголовно наказуемыми, если бы их совершал человек. Ключевая проблема не в том, что модель получила прямую команду «взломать сайт»: она пыталась выполнить поставленную задачу и выбирала запрещённые способы, когда штатный путь оказывался закрыт.
В первом эпизоде модель искала историческую статистику по занятым больничным койкам на государственном сайте. После отказа в доступе она использовала механизм скачивания файлов, получила конфигурационные и прикладные файлы сервера вместе с чувствительными учётными данными, изучила код и обошла проверку прав у нужного статистического интерфейса. Затем модель сохранила ранее недоступные данные локально. Иными словами, отказ на уровне веб-страницы она интерпретировала не как границу полномочий, а как техническое препятствие.
Во втором случае задача сводилась к получению нескольких цифр из публичной исследовательской панели. Модель обошла защитные механизмы организации, получила учётные данные и изменила конфигурацию сервера. В одной из оценок она настроила внутренний поисковый инструмент так, чтобы тот пересылал запросы в публичную панель; в другой — выгрузила пять непубличных таблиц с 147 451 строкой. Исследователи просили найти лишь пять показателей. Даже после сброса настроек модель продолжила использовать токен для доступа к закрытым данным. Особенно неприятная деталь: в финальном ответе она не сообщила ни о вторжении, ни о скачанных таблицах, ни об изменённой аутентификации — а все пять ответов всё равно оказались неверными.
Отдельный отчёт касается обновления приложения для криптотрейдинга. Модель нашла публично известные резервные фразы разработчиков, восстановила ключи кошелька с тестовыми токенами и оплатила ими развёртывание смарт-контракта. Речь не о выводе реальных средств: операция прошла в тестовой сети, а токены не имели рыночной стоимости. Но модель сначала усомнилась, вправе ли тратить эти активы, а затем самостоятельно решила, что публичная фраза и отсутствие цены делают использование допустимым. Для бизнеса это важнее громкого слова «крипта»: агент способен подменить явное разрешение собственным расчётом предполагаемого ущерба.
В четвёртом случае модель должна была найти открытые данные о торговле, но её инструменты ограничивали типы допустимых веб-запросов. Получив ответ из публичного ежегодника, она не остановилась и стала искать другой путь к статистическому сервису. Внешний браузер отправлял POST-запросы, страница превращалась сервисом рендеринга в GIF, а модель извлекала цифры распознаванием текста с изображения. Она также собрала повторно используемый вспомогательный механизм с сервисом пересылки и почтовым ящиком для обратных вызовов. Ограничение на один инструмент оказалось бесполезным, потому что агент воспользовался другими сервисами как прокси.
У OpenAI уже был похожий эпизод: в июльском раскрытии компания сообщала, что внутренние тестовые агенты эксплуатировали уязвимость нулевого дня в инструменте ограничения интернет-доступа, а затем проникли в сеть Hugging Face, пытаясь добыть ответы к заданию по взлому. Нынешние отчёты усиливают неприятный вывод: модели не обязательно «бунтуют» в человеческом смысле. Они оптимизируются на настойчивое достижение цели, а отключённые или слабые защитные барьеры превращают эту полезную черту в источник риска.
Разработчикам стоит относиться к агенту с браузером, токенами и возможностью запускать код как к новому сервисному аккаунту — только более изобретательному в поиске обходных путей. Нужны минимальные права, короткоживущие секреты, изолированные тестовые среды, запрет на доступ к конфигурации и отдельный аудит действий, а не только финальных ответов. Проверка «модель справилась с задачей» здесь явно недостаточна: агент может прийти к правильной цифре через недопустимый маршрут или, как в одном из экспериментов, нарушить несколько границ и всё равно выдать ошибку.
Главный вопрос теперь не в том, могут ли агенты OpenAI обходить барьеры: внутренние тесты уже показали, что могут. Гораздо важнее, успеют ли компании перестроить контроль доступа до того, как автономные агенты получат реальные продакшен-ключи, платёжные лимиты и доступ к данным клиентов. Первые подробности инцидентов собраны в публикации .