Дэниел Стенберг, ведущий разработчик библиотеки curl, под сомнение поставил высокую эффективность AI-модели Mythos в поиске уязвимостей, подтвердив лишь одну из пяти выявленных. Это важно, поскольку curl используется на 20 миллиардах устройств по всему миру, что делает надежность этой библиотеки критически важной.
Сложности с Mythos и тестирование
Модель Mythos от Anthropic, представленная в апреле 2023 года, позиционировалась как высокоэффективный инструмент для поиска уязвимостей. Однако, по словам Стенберга, описание выявленных проблем оказалось во многом маркетинговым преувеличением. Команда провела анализ кода библиотеки, который включает 178 000 строк, и из пяти обнаруженных уязвимостей признала лишь одну, имеющую низкий уровень критичности.Первоначально Mythos расписала множество zero-day-уязвимостей и значительно большую эффективность по сравнению с другими инструментами, но проверка сократила этот список до одной истинной уязвимости. Оставшиеся четыре проблемы оказались либо false positive, либо обычными ошибками, уже задокументированными в API.
Сравнение с другими AI-сканерами
По данным ранее использованных AI-сканеров, таких как AISLE и OpenAI Codex Security, выявление проблем обеспечивалось гораздо быстрее. В течение 8-10 месяцев они зафиксировали около 200-300 багфиксов и десяток CVE. Стенберг подчеркивает, что другие инструменты не только находили больше уязвимостей, но и делали это с гораздо большей эффективностью.Как результат, он пришел к выводу, что при значительных ресурсах и опыта, рассмотрение кода с использованием Mythos не даёт уникальных преимуществ. Он призывает разработчиков не игнорировать возможности AI-сканеров, однако подчеркивает необходимость взвешенного подхода к выбору инструментов безопасности.
Практическое значение для разработчиков
Для разработчиков и компаний, использующих curl, важно понимать, что reliance на лестный маркетинг Mythos может отвлечь от реальных уязвимостей. Следует активно использовать более проверенные инструменты анализа безопасности для выявления настоящих рисков. Как показало исследование, игнорирование AI-сканеров может привести к уязвимостям, которые будут использованы злоумышленниками.Разрабатывая своё ПО, стоит тестировать код с использованием современных инструментов для обеспечения максимальной безопасности, хотя Mythos и не оправдал ожидаемой эффективности.
Следующий этап — оценка новых возможностей AI-инструментов для более глубокого визуального анализа и исправления кода, чтобы сделать его более защищенным.