Автор книги «Practical Data Privacy» Кэтрин Ярмул выступила на InfoQ Dev Summit Munich с докладом о том, как команды разработки могут защитить AI-системы, не поддаваясь на маркетинговые страшилки поставщиков решений.
По данным Anthropic, впервые компании используют ИИ больше для автоматизации процессов, чем для помощи сотрудникам. Вместо «улучши текст» или «сгенерируй картинку» всё чаще звучит «сделай задачи А, Б, В и верни результат». Это создаёт новые вызовы для команд безопасности.
Главная проблема: кто эксперт по ИИ
Ярмул выделила ключевую дилемму современных IT-команд — понять, нужны ли им специалисты по машинному обучению, если компания использует готовые модели, а не тренирует собственные. «Если вы не тренируете модели, а интегрируете готовые решения, вряд ли вам нужен ML-инженер для принятия решений о безопасности», — считает эксперт.
Проблема усугубляется информационным шумом в индустрии. Поставщики security-решений используют страх перед ИИ как инструмент продаж, заполняя LinkedIn постами в духе «завтра все будут взломаны через ИИ». Результат — когда все кричат о катастрофе, команды перестают различать реальные и надуманные угрозы.
Практические рекомендации
Ярмул советует сосредоточиться на проверенных принципах защиты данных, адаптированных под AI-проекты. Вместо паники стоит систематически оценивать, какие конкретно данные обрабатывает система, кто имеет доступ и как минимизировать риски утечек.
Ключевой вопрос для команд — определить внутренние стандарты экспертизы по ИИ и не полагаться слепо на внешних «гуру», которые могут продвигать собственные интересы.
Следующий шаг — внедрение design patterns для безопасной разработки AI-систем, основанных на десятилетиях опыта защиты обычного софта, а не на свежих маркетинговых концепциях.
