Исследователи разработали верификационную систему, которая проверяет каждый диагноз ИИ в радиологии перед тем, как его увидит врач. Лучший результат — 99% точности подтверждённых диагнозов.
Проблема существует давно: модели компьютерного зрения в медицине могут звучать уверенно, но при этом галлюцинировать диагнозы, которые не подтверждаются их собственными находками. Это «тихий» режим отказа — самый опасный в медицине.
Новая система работает как дополнительный слой между ИИ-моделью и врачом. Каждое диагностическое утверждение проходит математическую проверку на соответствие выявленным на снимке признакам. Если система подтверждает диагноз, это означает формальное доказательство — не просто предположение алгоритма.
Исследование опубликовано в arXiv под названием «Toward Guarantees for Clinical Reasoning in Vision Language Models via Formal Verification».
Все протестированные модели показали значительное улучшение после добавления верификационного слоя. Система проверяет логическую связь между визуальными находками на медицинских изображениях и итоговым заключением.
Для медтех-стартапов: технология может стать обязательным элементом ИИ-систем в радиологии, особенно в условиях ужесточения регуляции медицинского ИИ в ЕС и США.
Авторы планируют развивать направление «верифицируемо корректных» ИИ-систем для других областей медицины.