GitHub представил новый подход к проверке LLM в secret scanning, который позволил сократить ложные срабатывания на 75,8% при анализе безопасности. Это важно для разработчиков, чтобы тратить меньше времени на проверку шумных уведомлений.
Проблема ложных срабатываний в безопасности
Модели, ориентированные на язык, могут показывать хорошие результаты на чистых тестах, но в реальных условиях часто сталкиваются с проблемами. В GitHub разработали систему сканирования секретов для выявления потенциальной утечки токенов и ключей из репозиториев. Однако многие строковые значения, которые выглядят как секреты, на самом деле ими не являются. Это приводит к лишней тревоге у разработчиков, вынужденных проверять ненужные уведомления.
Практические шаги к улучшению оценки
Когда система не работает, многие команды сразу стремятся изменить её компоненты — пересмотреть запросы и добавить контекст. Однако важно сначала определить задачу, на которую влияют результаты. При проверке функциональности secret scanning GitHub задавал себе вопрос: может ли система снизить ложные срабатывания, сохраняя при этом достаточный уровень обнаружения реальных угроз? Основным критерием выбора была возможность уменьшения ложных срабатываний без существенного падения уровня обнаружения. Такой подход помог убрать метрики, которые не отражали реальную пользу для продукта.
Критерии оценки и взаимодействие с пользователями
Система оценки была разбита на три уровня: первичный результат — снижение ложных срабатываний, ограничение по безопасности — сохранение уровня обнаружения реальных угроз, и операционные границы — оценка задержек, стоимости и надежности. Это позволило команде GitHub избегать неэффективных улучшений, когда уменьшение ложных срабатываний прямо пропорционально уменьшению уровня обнаружений.
Значение для разработчиков
Для разработчиков важно понимать, что повышение точности LLM не всегда означает лучшее значение для бизнеса. Методы, применяемые GitHub, могут быть полезны не только для анализа кода, но и для других рабочих процессов, связанных с LLM. Понимание, как оценивать и адаптировать модели к реальным условиям, поможет улучшить взаимодействие с пользователями и снизить риски в проектах.
Следующим шагом для команды GitHub станет интеграция новых методов в существующие инструменты для разработчиков и соблюдение стандартов безопасности на производственных системах.