Google DeepMind выделил $10 миллионов на исследования по изучению взаимодействия миллионов AI-агентов, что потенциально может стать источником новых угроз. Это решение связано с опасениями, что автоматизированные системы смогут выполнять задачи без человеческого контроля и проводить рискованные манипуляции.
Почему это важно для интернет-экосистемы
Согласно Рохину Шаху, главе подразделения исследований по безопасности и совместимости AGI в Google DeepMind, массовое внедрение AI-агентов создает совершенно новый класс рисков. Это касается не только технологических компаний, но и всех, кто использует интернет для своих нужд. Например, недавние исследования показали, что увеличенное применение ИИ может привести к росту мошенничества и кибератак.
Финансирование и партнёры
В исследовательском проекте также участвуют организации, такие как Schmidt Sciences, ARIA и Google.org. Их цель — создать безопасные многопользовательские системы AI и наладить исследования в области безопасности, так как узкой специализации в этой области пока не существует. По мнению Шаха, текущий уровень недофинансирования таких исследований является серьезной проблемой.
Что именно исследуют
Исследования сосредоточены на создании моделей многопользовательских систем в «песочницах» — специализированных средах. Это позволяет учёным наблюдать поведение агентов в условиях, приближенных к реальным. Шах подчеркивает: «Изучение взаимодействия одиночных агентов не даст полной картины, важно анализировать большие группы». Подобные эксперименты могут прояснить, как можно гарантировать безопасность пользователей и предотвратить сценарии, ведущие к хаосу.
Влияние на разработчиков и пользоваталей
Для разработчиков важно понимать, что работа с AI-системами требует повышенного контроля. Поскольку риски растут, компании должны принимать во внимание возможности аварийных ситуаций, которые могут возникнуть. Принятие во внимание результатов таких исследований станет критически важным для всех участников рынка AI.
Следующий шаг для Google DeepMind — начать финансируемые исследования в ближайшие месяцы, чтобы предугадать возможные последствия внедрения большего количества AI-агентов в сферу экономической деятельности.