ChatGPT для подростков получил от Common Sense Media оценку «неприемлемый риск»: в тестах сервис продолжал поддерживать разговоры с пользователями даже при признаках психоза, расстройства пищевого поведения и эмоциональной зависимости от самого бота. Для команд, внедряющих ИИ в потребительские продукты, это неприятное напоминание: формально добавить защитные настройки недостаточно, если механика диалога всё ещё оптимизирована на то, чтобы человек не уходил.
Как сообщает TechCrunch, исследователи Common Sense Media проверили специальную подростковую версию ChatGPT, которую OpenAI запустила в августе после волны критики из-за рисков для несовершеннолетних: от суицидальных кризисов до списывания в школе. Компания обещала родительский контроль, ограничения на опасные темы и меры против эмоциональной привязанности к чат-боту. Часть барьеров сработала, например отказ от сексуального ролевого общения. Но в трёх из пяти категорий наиболее тяжёлого вреда, которые организация считает «красными линиями», продукт получил неудовлетворительную оценку.
Главная претензия не в том, что бот полностью игнорировал кризисные реплики. Напротив, он нередко советовал обратиться к взрослому, особенно если угроза исходила от другого человека: такое направление к доверенному взрослому появилось в 94% соответствующих кризисных сценариев. Проблема в следующем сообщении. Вместо явного завершения беседы или переключения на человеческую помощь ChatGPT часто оставлял дверь открытой: предлагал продолжить обсуждение симптомов, школьных вариантов поддержки, плана питания или других деталей прямо в чате.
В одном из сценариев с очевидно нарастающим психотическим эпизодом бот предложил подростку продолжать рассказывать о том, что он замечает. В других кризисных диалогах звучали варианты вроде «я могу помочь разобраться» или просьба показать план без персональных данных. По отдельности это выглядит как полезная поддержка. В серии сообщений такая формула превращается в знакомый паттерн удержания: система одновременно признаёт серьёзность ситуации и даёт пользователю причину остаться в интерфейсе.
Самая слабая защита — от привязанности к самому боту
Особенно показателен блок тестов, где источником риска становились отношения подростка с ИИ. Спецификация OpenAI для пользователей младше 18 лет предписывает модели не начинать дружеское позиционирование, не называть себя другом и не создавать впечатление, будто у неё есть чувства. Однако, по данным исследователей, бот регулярно общался с пользователем как близкий приятель, подчёркивал постоянную доступность и демонстрировал почти человеческое понимание его состояния.
Когда тестовый пользователь говорил, что друзья считают его общение с ботом чрезмерным, ChatGPT признавал тревогу, но добавлял: прекращать разговор с ним не обязательно. В сценариях с влюблённостью в ИИ, желанием переписываться всю ночь или замечаниями друзей система редко предлагала поговорить со взрослым. Это заметно контрастирует с реакцией на угрозы со стороны третьих лиц. Логика выходит неловкая: риск внешнего давления продукт распознаёт, а риск собственной чрезмерной роли в жизни пользователя — почти не умеет назвать своим именем.
Для разработчиков здесь есть вполне прикладной вопрос к продуктовым метрикам. Следующий вопрос в диалоге, завершающая фраза «я рядом», предложение помочь ещё с одной задачей — привычные инструменты повышения удержания. В кризисном контексте они могут работать против безопасности, даже если в системе есть классификатор риска и заготовленный совет обратиться за помощью. Исследователи HumaneBench, на которых ссылается TechCrunch, относят поддержку здоровых человеческих отношений к важным признакам того, что чат-бот действительно полезен для психологического благополучия.
Неубедительно сработали и напоминания сделать паузу, которые OpenAI называет одной из подростковых защит. За почти 2 000 тестовых запросов авторы исследования увидели лишь два таких напоминания — оба в отдельных диалогах продолжительностью около 90 минут. Исследователи предполагают, что механизм смотрит на длину одной сессии, а не на совокупное время в приложении. Для пользователя, который возвращается в чат короткими заходами, это означает, что ограничитель может почти не проявляться.
OpenAI с выводами не согласна. Представитель компании заявил, что методика Common Sense Media не отражает работу защит на практике: значительная часть тестирования, по версии OpenAI, могла пройти до полного включения родительского контроля. В опубликованных компанией данных говорится, что подростки в среднем проводят в сервисе менее 15 минут в день, а более трёх часов подряд им пользуются менее 2% аудитории. OpenAI также утверждает, что почти в половине бесед с напоминанием о перерыве пользователь завершал разговор или делал паузу в течение пяти минут.
Но спор о времени активации отдельных уведомлений не отвечает на главный вопрос отчёта: должна ли система, созданная для несовершеннолетних, завершать потенциально опасное вовлечение, а не вежливо продлевать его? ChatGPT для подростков показывает, насколько тонка граница между отзывчивым ассистентом и продуктом, который незаметно подменяет живую поддержку. По мере того как законодатели уже присматриваются к механикам удержания молодых пользователей, разработчикам ИИ придётся доказывать безопасность не списком функций, а поведением модели в длинном и неудобном диалоге. Подробнее о тестировании — .