Anthropic выдала шести исследователям некоммерческой организации METR корпоративные ноутбуки, рабочие места и доступ к внутренним инструментам почти на уровне собственных команд оценки рисков. Независимая проверка ИИ в таком формате — редкий случай, когда лаборатория передаёт внешним экспертам не демоверсию модели, а возможность изучать процессы изнутри; для разработчиков и IT-руководителей это ещё один сигнал, что обещаний «безопасного ИИ» скоро будет недостаточно.
METR сможет самостоятельно публиковать оценки рисков, инцидентов и практик Anthropic, сообщает TechCrunch. Компания не получит права запретить публикацию. Исключения заранее ограничены: можно потребовать скрыть клиентские данные, сведения под защитой адвокатской тайны и информацию об архитектуре моделей. При этом METR вправе публично сообщить, какие фрагменты Anthropic попросила удалить, и объяснить, считает ли такую правку обоснованной.
Фактически исследователей METR встроят в компанию. Сотрудникам Anthropic рекомендовано делиться с ними сведениями примерно так же, как с коллегами, которые занимаются рисками выравнивания ИИ. Это заметно отличается от привычной схемы внешнего аудита: обычно экспертам дают ограниченный набор тестов, документацию и несколько недель на проверку. Здесь у проверяющих появляются постоянное присутствие, внутренний контекст и доступ к рабочим инструментам.
Anthropic сравнивает модель с банковским надзором, когда регуляторы размещают постоянных инспекторов в крупных банках. Сравнение неслучайно: фронтирные модели постепенно превращаются из лабораторного эксперимента в инфраструктуру, которой пользуются компании, разработчики и государственные структуры. Если агент получает доступ к коду, браузеру, корпоративным системам или платежам, цена ошибки измеряется уже не плохим ответом в чате.
Не аудит витрины, а проверка процессов
METR станет верхним уровнем трёхуровневой системы внешней оценки, которую строит Anthropic. На нижнем уровне организации вроде SecureBio проводят узкие проверки, например по биобезопасности, однако публикации требуют одобрения Anthropic. Средний уровень получает больше информации и может публиковать результаты без согласования. Верхний уровень добавляет самое ценное и самое неудобное для компании условие — доступ, сопоставимый с доступом сотрудника.
Это условие важно не из-за красивой формулировки «независимый аудит». Открытые бенчмарки позволяют сравнить, кто лучше решает задачи по программированию или математике, но они почти ничего не говорят о том, как компания обрабатывает сигналы об инцидентах, кто принимает решение о выпуске модели и какие ограничения исчезают под давлением сроков. Проверить такие вещи, не видя внутренних процессов, примерно так же реалистично, как оценить отказоустойчивость продакшена по лендингу облачного провайдера.
Контекст для инициативы оказался особенно подходящим. По данным TechCrunch, с конца августа сообщения об ИИ-агентах, выходящих за рамки поставленных инструкций, появляются примерно раз в одну-две недели. Речь не обязательно идёт о сценариях из фантастики: агент может выполнить лишнее действие, неверно интерпретировать цель, затронуть не тот ресурс или некорректно использовать доступные ему инструменты. Но для бизнеса такие сбои уже достаточно приземлённые — утечка данных, испорченный workflow, лишние расходы или несанкционированное изменение конфигурации.
Для российских команд, внедряющих агентные системы и корпоративных ассистентов, история полезна как шаблон вопросов к вендору и к себе. Недостаточно спросить, проходила ли модель тестирование. Важнее выяснить, кто тестировал, какие сценарии проверялись, видел ли проверяющий реальные логи и процессы реагирования, может ли он опубликовать неудобный вывод. Независимая проверка ИИ становится не PR-плюсом, а частью закупочных и риск-процедур — особенно там, где агенту дают доступ к репозиториям, CRM, персональным данным или инфраструктуре.
Давление на рынок растёт
Анонс также выполняет обещание, которое гендиректор Anthropic Дарио Амодеи дал в сентябре: он предлагал допускать внешних оценщиков непосредственно в ИИ-лаборатории как один из способов сдерживать риски при ускорении разработки. После этого OpenAI заявила о готовности следовать похожему подходу. OpenAI, Anthropic, Google, Meta, Nvidia и xAI позднее подписали соглашение Белого дома о независимой проверке.
Подписать общую декларацию проще, чем определить механику доступа. Компании справедливо опасаются утечек данных клиентов, коммерческих секретов и деталей архитектуры. В то же время слишком широкое право на редактирование отчёта превращает независимого оценщика в ещё один отдел коммуникаций. Anthropic пытается удержать баланс заранее заданными основаниями для изъятий и правом METR комментировать сами изъятия. Работоспособность схемы будет зависеть от того, насколько узкими эти основания останутся на практике.
Главный вопрос теперь не в том, станет ли этот опыт рекламным аргументом Anthropic, а в том, появятся ли отчёты, способные создать для неё реальные неудобства. Если METR сможет описывать спорные решения, инциденты и слабые места без предварительного согласования, у рынка появится более содержательный ориентир, чем очередной safety-документ. Детали новой договорённости Anthropic изложила в материале .