OpenAI разработал MentalHealthBench — открытый бенчмарк, созданный с участием более 80 лицензированных специалистов в области психического здоровья, для оценки ответов ИИ в реалистичных диалогах о психическом здоровье. Этот инструмент важен, поскольку он поможет улучшить качество взаимодействий пользователей с ИИ в сложных ситуациях.
Зачем нужен MentalHealthBench
Согласно отчету, более 1 миллиарда пользователей еженедельно обращаются к ChatGPT для обсуждения различных тем, связанных с психическим здоровьем, от повседневного стресса до серьезных личных кризисов. Важно, что существующие методики оценки ИИ в этом контексте сосредоточены в основном на экстренных ситуациях, оставляя пробелы в понимании, как ИИ справляется с менее критическими, но не менее важными взаимодействиями. Доктор Артур Эванс, CEO Американской психологической ассоциации, подчеркивает, что: "Психическое здоровье существует в континууме — от процветания до повседневного стресса и остро кризисных состояний. ИИ должен учитывать оба аспекта, чтобы обозначить соответствующие реакции в любой ситуации".Как работает MentalHealthBench
MentalHealthBench включает в себя сценарии, основанные на синтетических данных, которые точно отражают реальные пользователи и их взаимодействия с ИИ. Эти сценарии охватывают разные возрастные группы и языки, оценочные тактики и предоставляют контекст для лучшего понимания пользователей, что позволяет ИИ более точно адаптировать свои ответы. Бенчмарк исследует ключевые параметры, такие как безопасность, поиск контекста и сохранение самостоятельности пользователей, и предоставление практических рекомендаций в подходящих ситуациях.Результаты тестирования показали регулярное улучшение показателей ИИ, который должен помогать в психических вопросах. Несмотря на то что ChatGPT не может заменить профессиональную помощь, результаты тестов показывают прогресс к созданию сенситивных ИИ, которые направляют людей к реальным ресурсам помощи.
Практическое значение для пользователей
Для разработчиков и специалистов в области психического здоровья этот бенчмарк предлагает инструмент для анализа и улучшения диалогов ИИ. Применение MentalHealthBench может помочь адаптировать решения на основе ИИ к реальным нуждам пользователей, что особенно актуально на российском и СНГ рынках, где доступ к психическому здоровью может быть проблематичным. Этот подход мог бы значительно сделать ИИ более чувствительным и готовым к обращению с личными и эмоциональными вопросами.Следующий этап предполагает сотрудничество с исследователями для дальнейшего улучшения моделей ИИ в сфере ментального здоровья.