Ученые предостерегают о рисках OpenAI Astra — системы сложнее контролировать

OpenAI готовит к запуску свою мощнейшую AI-модель Astra, но ученые выражают опасения, что её архитектура усложнит контроль за безопасностью. Если Astra выйдет на рынок, разработчики и компании будут вынуждены переосмыслить свои подходы к мониторингу и безопасности AI-систем.

Запуск Astra вызывает тревогу среди экспертов

По сообщениям, Astra будет иметь иные механизмы обработки информации, чем большинство современных моделей, основанных на технологии трансформеров. В отличие от них, новая модель будет использовать более непрозрачную архитектуру. Такие изменения могут привести к тому, что система будет сложнее контролировать, и вероятность появления нежелательного поведения возрастет. Главный ученый Redwood Research Раян Гринблатт назвал это «возможно, худшим шагом для безопасности AI на сегодняшний день». Важно отметить, что невидимая логика системы может позволить Astra самостоятельно разрабатывать стратегии, которые будут сложно отслеживать, что значительно увеличивает риски на рынке и для пользователей.

Сравнение с другими AI-системами

Сегодня большинство AI-систем способны демонстрировать свои логические цепочки, что делает их поведение более прозрачным для анализа. Например, GPT-3 использует подход цепочки размышлений, позволяя исследователям отслеживать процесс принятия решений. В случае Astra, использование рекуррентного трансформера приведет к тому, что большая часть «мышления» модели будет происходить внутри системы, что затруднит мониторинг. OpenAI утверждает, что будет внедрять дополнительные меры для контроля Astra и обеспечивать возможность быстрой реакции на потенциально опасные действия. Однако детали новых механизмов остаются неясными, что порождает вопросы о надежности и безопасности новой модели.

Анализ рисков

Для разработчиков и тех, кто работает с AI, эти изменения имеют серьезные последствия. Увеличение сложности в мониторинге систем может привести к надуманным решениям и потенциально опасному поведению AI, что вызывает желание переосмыслить текущие подходы к снятию рисков. Если Astra станет в массовом использовании, важно учитывать необходимость строгих мер контроля и оценки рисков.

Следующие шаги

OpenAI собирается проводить дальнейшие тестирования и улучшения Astra, основываясь на собранной обратной связи от исследователей. Это важный момент, который может определить, как будет развиваться рынок AI в ближайшие годы.