Студент-выпускник разработал новые метрики оценки качества сегментации изображений в условиях экстремальной разреженности — когда полезные пиксели составляют всего 1,8% от общего объёма. Работа опубликована на arXiv и решает критическую проблему компьютерного зрения в задачах с минимальным количеством целевых данных.
Исследование выросло из практической задачи — автоматической оцифровки записей с доски. Автор работал над системой, которая фотографирует доску и автоматически выделяет чернильные штрихи от фона, пятен и других помех, после чего экспортирует результат в OneNote.
Проблема традиционных метрик
Стандартные метрики качества сегментации — F1-score и IoU (Intersection over Union) — дают завышенные оценки при работе с разреженными данными. Когда 98,2% пикселей относятся к фону, даже примитивный алгоритм, классифицирующий всё как фон, покажет высокую точность.
Автор предложил использовать граничные метрики — BF1 и Boundary-IoU, которые оценивают качество выделения контуров объектов. Дополнительно он ввёл анализ справедливости между основными и тонкими структурами, статистику устойчивости для отдельных изображений и многосемянное обучение для повышения стабильности результатов.
Где это применимо
Методика актуальна для медицинской диагностики (выделение сосудов на снимках), спутникового мониторинга (дороги, трубопроводы), анализа микроскопических изображений и промышленного контроля качества. В этих областях целевые объекты часто занимают менее 5% площади изображения.
Исследование показывает необходимость пересмотра стандартных подходов к оценке качества в computer vision. Корректные метрики критичны для реальной оценки AI-систем, где данные далеки от идеальных лабораторных образцов.
Автор планирует продолжить исследования в магистратуре по ИИ и ищет обратную связь от научного сообщества.