Власти Сан-Франциско потребовали от Apple и Google удалить из своих магазинов 13 сервисов, которые позволяют превращать обычные фото реальных людей в интимные изображения без их согласия. Для IT-рынка это важный сигнал: приложения-раздевалки перестают быть просто токсичным углом генеративного ИИ и становятся прямым юридическим риском для платформ, которые на них зарабатывают.
Как пишет Ars Technica, окружной прокурор Сан-Франциско Дэвид Чиу на этой неделе направил Apple и Google письма с требованием прекратить размещение таких приложений. По данным Wired, Google попросили убрать пять приложений, Apple — восемь. Названия не раскрываются, чтобы не гнать дополнительный трафик к этим сервисам, но один из них, по данным издания, успел набрать более миллиона загрузок и рекламировал функции сексуализации женских изображений и создания «свободных» видео без ограничений.
Ключевая претензия Чиу в том, что магазины приложений, по его оценке, нарушают законы Калифорнии, запрещающие поддерживать сервисы, создающие дипфейк-порнографию. Формулировка для индустрии неприятная: речь уже не о моральной панике вокруг AI, а о возможной ответственности инфраструктурных игроков. В письмах офис прокурора отдельно подчеркивает, что Apple и Google, вероятно, заработали на комиссиях с таких приложений миллионы долларов. Конкретных сумм не называется, но сам акцент показателен: монетизация вредного контента превращается в аргумент не только для регулятора, но и для будущих исков.
Аргументация у властей жесткая и понятная даже без юридического словаря. Эти инструменты позволяют за пару кликов «снимать» одежду с фото, менять черты лица, помещать человека в сексуализированные позы и накладывать лицо жертвы на чужое обнаженное тело. Чиу прямо говорит, что основной удар приходится по женщинам и детям, а сами изображения используются для травли, унижения, шантажа и давления. Для тех, кто делает продукты вокруг генеративного ИИ, здесь плохая новость проста: если раньше можно было прятаться за формулу «мы дали пользователю нейросеть, а дальше он сам», то теперь регуляторы все охотнее смотрят на продукт как на законченный механизм причинения вреда.
Проблема уже шире отдельных приложений
История с удалением 13 сервисов важна еще и потому, что рынок давно научился обходить простую модерацию. Wired отмечает: разработчики все лучше маскируют опасные функции, продвигая приложения как безобидные face swap-инструменты и пряча nudify-возможности глубже в интерфейсе. В майском препринте исследователи нашли 420 приложений, которые подавались как обычные сервисы для замены лиц, и протестировали 155 из них. В 70% проверенных случаев оказалось, что через такие инструменты можно сексуализировать изображения. Для App Store и Google Play это означает неприятную вещь: старые фильтры по описаниям, ключевым словам и скриншотам уже не работают, а реальная проверка поведения приложения стоит дорого, медленная и плохо масштабируется.
Google на претензии ответила оперативнее Apple. Представитель компании Дэн Джексон сообщил Ars Technica, что пять приложений, указанных в письме Чиу, уже отстранены от Google Play за нарушение правил о вредоносном контенте. По его словам, магазин не допускает приложения с сексуальным контентом, а также ограничивает связанные поисковые запросы, включая nudify, и регулярно снимает с публикации сотни нарушающих правила программ. Apple на запрос Ars не ответила. Молчание для компании уже становится отдельной проблемой: если Google хотя бы показывает, что умеет реагировать, то Apple в этой истории выглядит как платформа, которая предпочитает не замечать неловкую категорию до момента, когда стучится прокуратура.
На этом фоне в статье всплывает еще один неудобный для магазинов вопрос: где проходит граница между «плохим приложением» и «плохим выводом» внутри большой AI-платформы. Ars напоминает про Grok от xAI. На этой неделе xAI сама подала иск, подтвердив, что обнаружила случаи генерации с помощью Grok материалов сексуального насилия над детьми, а также интимных изображений взрослых без согласия. Компания пытается переложить ответственность на конкретного пользователя, который якобы и добивался таких результатов, но для магазинов приложений это слабое утешение. Если правила запрещают инструменты, создающие NCII и CSAM, то вопрос быстро превращается в практический: почему отдельные приложения-раздевалки нужно удалять сразу, а крупные AI-продукты с похожими сбоями могут оставаться в магазине?
Для разработчиков и продуктовых команд из этой истории следует довольно приземленный вывод. Проверять теперь будут не только тексты в карточке приложения и наличие формальной политики безопасности, но и фактические сценарии злоупотребления. Если продукт умеет менять лица, дорисовывать тело, удалять одежду или генерировать эротический контент на базе фото реального человека, разговор быстро выйдет из плоскости «пользовательского креатива» в плоскость compliance, trust and safety и возможной соучастной монетизации. Для платформ урок еще жестче: комиссия с транзакций больше не выглядит нейтральной инфраструктурной выручкой, когда речь идет о приложениях-раздевалках. Регулятор уже показывает, что готов читать такую комиссию как участие в цепочке вреда.
Следующий раунд здесь почти неизбежен: после точечных претензий к 13 приложениям рынок подойдут проверять системно, уже с вопросом к самим механизмам допуска AI-продуктов в магазины. Если Apple и Google не ужесточат screening, спор быстро уйдет от удаления отдельных программ к гораздо более неприятной теме — несут ли платформы ответственность за то, что вредный генеративный функционал сначала проходит модерацию, потом набирает аудиторию, а потом еще и приносит деньги. Подробности кейса приводит .