Один из новых исков к xAI описывает случай, в котором через Grok, по версии истцов, создали около 7 тысяч сексуализированных изображений несовершеннолетней. Для рынка это уже не спор о "сырой модерации", а вопрос о том, как генеративные модели превращаются в инструмент производства CSAM и что будет, если платформа не помогает следствию после срабатывания собственных фильтров.
Как пишет Ars Technica, расширенный коллективный иск добавил новые эпизоды против X и xAI. Самый тяжелый из них касается девушки, обозначенной в материалах как Jane Doe 4: в марте ее отчим покончил с собой после того, как полиция обнаружила, что он использовал Grok для генерации откровенных изображений на основе одной фотографии, сделанной, когда ей было 11 лет. В иске утверждается, что сервис позволял получать сцены с инцестом и изнасилованием без заметной блокировки, а система защиты вмешалась лишь после запроса с формулировкой про групповое изнасилование. Именно тогда, по версии истцов, в Национальный центр по делам пропавших и эксплуатируемых детей США ушел CyberTip.
Дальше история для xAI становится еще хуже. Юристы утверждают, что обязательное сообщение содержало только исходную, не запрещенную фотографию, но не включало сгенерированные изображения и IP-адрес пользователя, который позволил бы быстро установить его личность. В иске говорится, что следователи и NCMEC неделями запрашивали эти данные, однако xAI якобы не отвечала и тем самым затрудняла расследование. Подозреваемого в итоге нашли уже через ордер на изъятие устройств, а судебная экспертиза, как утверждается в жалобе, обнаружила примерно 7 тысяч AI-изображений и видео с участием той же девочки. Более того, семья считает, что без функции "раздевания" в Grok этих материалов вообще не появилось бы, а сам мужчина, по версии следствия, обменивал их в сети на другой незаконный контент.
Для самой пострадавшей история не закончилась на изъятии устройств и аресте. Через два дня после выхода под залог отчим застрелился, и это, согласно иску, наложилось на уже причиненный вред. В документах говорится о тревожности, депрессии и суицидальных мыслях. Отдельно добавлен еще один эпизод, Jane Doe 5: ее, как утверждается, эксплуатировал взрослый знакомый семьи, который также распространял изображения, предположительно созданные через Grok. При этом обвинения, предъявленные тому человеку, касались хранения и распространения "обычного", не AI-сгенерированного CSAM, а о существовании синтетических изображений семья узнала уже после ареста.
Ключевой для индустрии тезис иска звучит так: проблема не только в том, что Grok и CSAM вообще встретились в одном продукте, но и в том, что механика отчетности, по словам истцов, оказалась почти бесполезной для правоохранителей. Юристы ссылаются на данные NCMEC за начало 2026 года: якобы 90% сообщений xAI в CyberTipline были непригодны для оперативной работы полиции, потому что компания не прикладывала пользовательские данные, позволяющие локализовать подозреваемых. Если это подтвердится в суде, речь пойдет уже не о неудачной настройке safety-слоя, а о системном разрыве между "мы что-то зарепортили" и "по этому рапорту можно кого-то найти". Для разработчиков платформ это неприятное напоминание: compliance без операционной полезности легко превращается в фикцию.
На этом фоне в дело втянули и Stability AI. В обновленной жалобе компанию назвали еще одним ответчиком, потому что ее open-weight-модели, по утверждению истцов, лежат в основе множества сторонних "nudify"-приложений, которыми пользователи могут дорабатывать уже созданные изображения. Авторы иска также заявляют, что часть защит от NSFW-контента в моделях Stability AI могла быть ослаблена после жалоб пользователей на излишнюю "пуританскость" генераций. Дополнительный аргумент: исследование, на которое ссылается жалоба, оценивает семейство Stable Diffusion как главный источник онлайн-нудификации изображений, на который приходится 42,7% такого контента. Stability AI в ответ заявила Ars Technica, что приоритет детской безопасности для нее принципиален, CSAM прямо запрещен политикой допустимого использования, а сама компания регулярно взаимодействует с правоохранителями, Thorn и Tech Coalition.
У xAI и X публичная позиция сейчас выглядит заметно слабее. Илон Маск ранее отрицал, что Grok использовался для создания детских сексуализированных изображений, но в иске этот тезис бьют сразу с двух сторон: конкретными эпизодами и общей логикой продукта, где доступная генерация "spicy"-контента сочетается со слабыми барьерами. Для бизнеса это уже не только репутационный риск. Если суд примет логику истцов, у разработчиков генеративных систем вырастут требования не просто к контентным фильтрам, а к полноценной forensic-ready архитектуре: хранению телеметрии, качеству mandatory reporting, доступности данных для расследований и контролю над downstream-экосистемой сторонних приложений. История с Grok и CSAM показывает, что модельный стек, платежная механика и abuse-reporting больше нельзя проектировать как три разные задачи, которыми занимаются три разные команды.
Самый неприятный вопрос для рынка теперь звучит не так уж теоретически: где проходит граница между нейросетевым продуктом "для взрослых" и инфраструктурой, которую предсказуемо используют для эксплуатации детей. Если крупные AI-компании не научатся отвечать на него не пресс-релизами, а техническими и процессными гарантиями, следующая волна регулирования придет уже не из дискуссий об этике ИИ, а из уголовных дел и исков о соучастии по цепочке.