Медицинские ИИ, обученные на снимках, ЭКГ и электронных картах, удалось атаковать так, что исследователи почти без ошибок определяли, чьи данные попали в обучающую выборку. Для рынка это неприятный сигнал: даже обезличенный датасет не гарантирует, что конкретного пациента нельзя будет вычислить, а для команд, которые делают AI-продукты для здравоохранения, это уже не академическая тонкость, а риск утечки и дискриминации.
О проблеме сообщает The Register со ссылкой на работу немецких исследователей, опубликованную 24 июня 2026 года в журнале Nature. Авторы изучали так называемые discriminative models, то есть модели, которые классифицируют данные и делают прогнозы по новым входам, и проверяли их на устойчивость к membership inference attacks, или MIA. Суть атаки проста и неприятна: злоумышленник задает модели вопросы по конкретной медицинской записи и по уровню уверенности ответа пытается понять, была ли эта запись в обучении.
Исследование охватило семь медицинских датасетов разных типов: изображения, записи ЭКГ и обычные электронные медицинские карты. Главный вывод звучит хуже, чем хотелось бы: на уровне отдельных пациентов атаки показывали почти идеальную успешность. Авторы отдельно подчеркивают, что стандартные privacy-аудиты обычно смотрят на усредненный риск по массиву записей, а не на судьбу конкретного человека. В результате модель может формально пройти проверку, хотя для отдельных пациентов риск деанонимизации будет запредельным.
Почему ломается анонимность
Технически история упирается в уверенность модели. Если запись уже была в обучающем наборе, медицинские ИИ часто отвечают по ней увереннее, чем по похожим, но незнакомым данным. На этой разнице и строится MIA. Раньше считалось, что для такой атаки нужен полный набор медицинских сведений о цели. По словам руководителя исследования Моритца Кнолле, который возглавляет направление AI in Healthcare and Medicine в Техническом университете Мюнхена, это не так: достаточно и частичного доступа к данным пациента. Иными словами, злоумышленнику не обязательно добывать всю карту целиком. Может хватить части результатов анализа крови, фрагмента ЭКГ или другого кусочка мединформации, чтобы проверить гипотезу о присутствии человека в тренировочном датасете.
Здесь есть важная деталь, которую в AI-обсуждениях часто упускают. Атакующему не нужно заранее знать, кому принадлежит запись внутри обучающего набора. Датасеты в исследовании были анонимизированы, но это не спасало от проверки на включенность. Если у злоумышленника на руках есть медицинские данные конкретного человека из другого источника, он может использовать их как щуп: подать их в модель, посмотреть на реакцию и сделать вывод, что этот пациент, вероятно, входил в обучение. А дальше начинается уже не теория приватности, а вполне прикладная история про чувствительные диагнозы, посещение профильной клиники или наличие скрытого генетического заболевания.
Авторы отдельно отмечают еще один неприятный перекос: сильнее всего страдают недопредставленные группы. Если у пациента редкий профиль по расе, полу, страховому статусу, протоколу медицинской визуализации или статусу конкретного заболевания, его легче выделить на фоне остальных. Для клинического AI это очень плохая новость. Получается парадокс: те категории пациентов, которых и так меньше в выборке, оказываются еще и уязвимее с точки зрения приватности. Для бизнеса это бьет сразу по двум точкам. Во-первых, по compliance и доверию пациентов. Во-вторых, по качеству самого продукта: если команда пытается расширять охват модели на более сложные или редкие случаи, именно эти случаи могут становиться источником повышенного privacy-риска.
Что это значит для команд, которые делают AI для медицины
Сам по себе сценарий атаки не выглядит магией. Чтобы провести MIA, злоумышленнику нужен доступ хотя бы к части медицинских данных жертвы. Но и это уже не выглядит фантастикой, если вспомнить, сколько утечек регулярно происходит в здравоохранении. The Register приводит комментарий Кнолле: подобные данные можно представить полученными после несанкционированного доступа к базе врача общей практики, например после обычного анализа крови. Дальше вопрос уже не в том, возможна ли атака в принципе, а в том, насколько легко связать несколько с виду безобидных пробоин в одну цепочку.
Для разработчиков и ML-инженеров вывод довольно жесткий: обезличивание как галочка в чек-листе больше не работает. Если модель уверенно «помнит» конкретные записи, значит, в контуре безопасности надо проверять не только качество классификации и общий privacy-score, но и риск для отдельного пациента. Это требует другой дисциплины в оценке моделей: смотреть, на каких подгруппах возникает максимальная уверенность, насколько уязвимы выбросы, как меняется риск с ростом датасета и что происходит при частично известных входных данных. Отдельный вопрос для продактов и юристов: понимают ли пациенты, что их данные, даже после анонимизации, потенциально могут быть вычислены через поведение модели, а не через сам датасет.
Рецепты защиты, впрочем, у авторов тоже вполне земные. Они предлагают активнее использовать differential privacy, то есть подходы, которые математически ограничивают утечку информации о конкретных записях при обучении модели. Второй вывод касается самих аудитов: проверять нужно не абстрактную безопасность «в среднем по больнице», а риск на уровне отдельного пациента. Наконец, есть и менее изящный, но важный организационный вывод: чем лучше представлены разные группы в обучающих данных, тем ниже вероятность, что редкие профили будут торчать из массива как маяк для атакующего.
Для индустрии медицинского AI это неприятный, но полезный холодный душ. Рынок привык обсуждать точность диагностики, галлюцинации моделей и регуляторные барьеры, а приватность часто остается фоном. Теперь фон вышел на передний план: если медицинские ИИ можно использовать как инструмент для проверки, был ли конкретный человек в обучающем наборе, значит, спор уже не про красивую политику конфиденциальности, а про архитектуру модели, метод обучения и реальную стоимость ошибок. Первоисточник с деталями исследования пересказывает .