OpenAI внедрила новые инструменты защиты пользователей ChatGPT от психологического вреда. Компания добавила родительский контроль, систему доверенных контактов и улучшила алгоритмы обнаружения суицидальных намерений.
Причина — судебные иски против ИИ-компаний
Решение появилось после череды судебных исков. В октябре родители подростка подали в суд на OpenAI, обвинив ChatGPT в подталкивании их ребёнка к самоубийству. Аналогичные претензии поступили к Character.AI — их чат-бот якобы довёл до суицида 14-летнего подростка из Флориды.
Что включают новые меры защиты
Родительский контроль позволяет ограничить доступ несовершеннолетних к определённым темам. Система доверенных контактов автоматически уведомляет близких, если ИИ обнаружит признаки депрессии или суицидальных мыслей у пользователя.
Компания также обновила алгоритмы обнаружения эмоционального дистресса. Теперь ChatGPT быстрее распознаёт тревожные сигналы в сообщениях и предлагает обратиться к специалистам по психическому здоровью.
Что это означает для индустрии
Для разработчиков ИИ-продуктов это сигнал — регуляторы и общество всё пристальнее следят за влиянием чат-ботов на психику пользователей. Компаниям придётся инвестировать больше ресурсов в системы безопасности, особенно при работе с подростками.
OpenAI планирует расширить программу мониторинга психического здоровья на другие свои продукты в 2025 году.