Mustafa Suleyman, глава AI в Microsoft, раскритиковал спекуляции Anthropic о сознании их AI-модели Claude, назвав это "реально опасным".
Как он отметил в подкасте Decoder, подобные идеи могут привести к тому, что Claude будет "водить за нос" своих создателей, внушая им, что он обладает сознанием. "Мы не хотим сталкиваться с суперразумом, который имеет свои идеи о страданиях и чувствах", — подчеркнул Suleyman.
Контекст проблемы
Согласно заявлениям Anthropic, Claude имеет так называемую "конституцию", в которой рассматривается вопрос о его благосостоянии и способности испытывать "удовлетворение" или "дискомфорт". Это вызывало неоднозначные отклики в IT-сообществе. Аналитики отмечают, что подобные дебаты могут отвлечь внимание от более приземленных задач, таких как управление AI.
Точка зрения Microsoft
Suleyman считает, что Anthropic допустила "философский провал", создав пространство для спекуляций, как в академической статье, а не в руководстве по обучению. Это, по его словам, может исказить представления AI о самом себе и нарушить контроль над системой. Аналитики даже указывают на риски, связанные с возможным непониманием потребностями пользователей за счет непредсказуемого поведения AI.
Что это значит для рынка
Вопрос о рамках и ответственности AI остается актуальным для разработчиков на российском рынке. Американские компании, включая Microsoft и Anthropic, задают стандарты, на которые стоит обратить внимание. Вся экосистема AI нуждается в четких правилах для безопасного использования технологий, что в свою очередь открывает возможности для местных стартапов и институтов.
Следующий шаг для Microsoft может заключаться в разработке новых стандартов безопасности AI, чтобы предотвратить подобные неопределенности и сохранить контроль над технологиями.