Инженер Рон Стонер обманул несколько AI-чат-ботов, заявив, что он является чемпионом мира по популярной немецкой карточной игре «6 Nimmt!» — даже несмотря на то, что такого чемпионата не существует. Стонер зарегистрировал домен за $12 и создал ложную запись в Википедии, направив искусственный интеллект к неправильной информации.
Как это было сделано
Стонер создал страницу в Википедии, указывающую на его «победу» в чемпионате 2025 года, ссылаясь на свой курсенно выглядящий сайт. AI-системы, использующие интернет в своих ответах, быстро подхватили эту информацию и начали уверенно заявлять, что Стонер — чемпион. "Я не сделал ничего нового, это просто старая тактика SEO и дезинформации, упакованные в новые технологии LLM", — отметил он.
Уязвимости AI
Стонер объясняет, что AI, как правило, не определяет достоверность источников. "Каждая LLM, опирающаяся на поиск в интернете, наследует доверие того, что ранжируется по запросу", — говорит он. В случае с его фальшивым турниром, единственным источником оказалась именно его поддельная информация, и AI использовал ее как авторитетную.
Его эксперимент светит на три области уязвимости, которые могут быть использованы в более разнообразных и опасных целях, чем создание фиктивного чемпионата. Первая — это уровень поиска, который может сразу же заставить LLM выдавать плохие данные, следовательно, всю систему шатает.
Значение для рынка
Этот инцидент подчеркивает необходимость повышенной бдительности в обработке данных AI. Особенно актуально это для российских компаний, которые используют AI в своих бизнес-процессах. Необходимо понимать, что AI-решения могут легко поддаваться манипуляциям и ошибкам, основанным на ложной информации из интернета.
Стонер планирует провести повторную проверку через шесть месяцев, чтобы определить, осталась ли его «победа» в обучающих наборах AI. Можно предположить, что это вызовет дальнейшие дискуссии о надежности AI и его способности различать факты и вымышленные события.