Модель Anthropic показала 31,5% успешных атак на систему до активации защит, что вызывает серьезные опасения по поводу безопасности AI-технологий. Это наивысший показатель среди ведущих AI-компаний, таких как OpenAI и Google, что ставит под сомнение надежность текущих решений.
Контекст текущей ситуации
В последние месяцы компании, работающие в области искусственного интеллекта, начали публиковать данные о уязвимостях своих моделей. Однако данные Anthropic выделяются на фоне конкурентов, не предоставивших сопоставимую информацию. Это ставит компанию в уникальное положение среди «пограничных лабораторий», где каждая из них тестирует свои модели и обнародует результаты по-разному.Детали о тестах и результатах
Anthropic протестировала четыре различных поверхности взаимодействия с моделью и обнародовала итоги в обширном отчете, в котором задействованы 244 страницы данных. Например, в тестах была зафиксирована уязвимость в кодовой среде, где успешные атаки составили 7,03%, а при активации защиты этот показатель снизился до 2,09%. Но в браузере успех атак составил целых 31,5%, что наводит ужас на специалистов по безопасности. Картель по борьбе с противниками в CrowdStrike отметил, что подобные уязвимости значительно увеличивают атакующие поверхности и ставят под угрозу не только модели AI, но и всю инфраструктуру компаний. «Как только вы интегрируете AI, вам необходимо управлять рисками атак, что требует дополнительных мер по защите», — подчеркивает аналитик CrowdStrike.Практические выводы для разработчиков
Для разработчиков AI и IT-компаний в России это означает, что необходимо пересмотреть подходы к безопасности решений на основе AI и проактивно внедрять дополнительные меры защиты. С учетом того, что тестирование моделей зачастую зависит от специфичных условий каждой лаборатории, важно выбирать провайдеров с хорошей репутацией и прозрачными отчетами о безопасности. Учитывая высокий уровень уязвимостей, пользователям стоит проводить риск-оценку и учитывать вероятность атак при реализации AI-решений.В следующем месяце ожидается дальнейшее развитие и уточнение мер защиты, что может повлиять на общие стандарты безопасности в индустрии.