Верховный суд Нью-Мексико наказал адвоката, который подал апелляционную жалобу с показаниями полностью выдуманных свидетелей: редкий случай, где галлюцинации ChatGPT превратились не в неловкий скриншот, а в санкции суда. Для IT-команд это неприятное, но полезное напоминание: если LLM встроена в рабочий процесс, ответственность за результат всё равно остаётся у человека и организации.
Речь идёт о Стивене Ааронсе, адвокате по уголовным делам с более чем 40-летним стажем, сообщает Ars Technica. Он представлял Оскара Рене Сандовала, осуждённого в феврале 2025 года к пожизненному сроку за убийство Ширин Аль-Джибури, своей партнёрши и матери его детей. В августе 2025 года Ааронс подал апелляционный документ, в котором суд позже нашёл фальшивые факты, искажённые ссылки на судебную практику и показания людей, которых на процессе не было.
Суд признал Ааронса виновным в прямом неуважении к суду, оштрафовал на $5 000 в пользу Client Protection Fund Коллегии адвокатов Нью-Мексико и передал дело в дисциплинарный орган. До завершения разбирательства ему запретили выступать перед Верховным судом штата. Уже поданные документы исключили из материалов дела, а офис публичного защитника должен назначить Сандовалу нового адвоката. Апелляцию теперь будут рассматривать заново в судебном сроке 2026-2027 годов.
Главная проблема была не в том, что адвокат использовал ИИ. По словам суда, Ааронс признал, что не проверил фактические утверждения и правовые ссылки в сгенерированном тексте перед тем, как подписать и подать документ. В жалобе фигурировали вымышленные свидетели, включая офицера Мишель Амарилло, офицера Санчеса, Манал Аль-Джибури и Терезу Маркес. Были и другие ошибки: ложные показания о полученных угрозах, неверные описания одежды и внешности стрелка, неточные пересказы реальных судебных прецедентов.
Ааронс объяснил суду, что сначала использовал Rev.com для машинной расшифровки аудиозаписей процесса, а затем загрузил расшифровку, материалы дела, формулировку вопросов апелляции и часть discovery в ChatGPT. По его словам, он применял версию ChatGPT на базе модели OpenAI o3, выпущенной ранее в 2025 году, и предполагал, что система выдаст надёжное резюме процесса. Эта фраза звучит знакомо любому, кто видел, как пилотный AI-инструмент тихо превращается в источник правды без формального допуска к такой роли.
На слушании 21 августа судьи особенно резко отреагировали на аргумент, что адвокат не знал о способности ИИ выдумывать факты. Судья К. Шеннон Бэкон сказала, что проблема адвокатов, полагающихся на галлюцинации моделей, уже несколько лет регулярно попадает в новости. Она подчеркнула: нет принципиальной разницы между ссылкой на несуществующее дело и неверным описанием существующего. В обоих случаях юрист вводит суд в заблуждение, а профессиональные правила требуют честности и проверки источников.
Для технологической аудитории здесь важен не только юридический сюжет. Это пример сбоя на стыке UX, доверия и операционного контроля. Пользователь загрузил большой корпус документов, получил связный текст и принял связность за достоверность. Продуктовые команды давно знают этот баг восприятия: если интерфейс уверенно пишет абзацами, мозг приписывает ему компетентность. Но LLM не хранит протокол судебного заседания как база данных и не обязана отличать реальную фамилию свидетеля от правдоподобной. Без сверки с первичными материалами галлюцинации ChatGPT становятся не ошибкой генерации, а ошибкой процесса.
Бизнесу этот кейс стоит читать как инструкцию по рискам внедрения, а не как повод запретить ИИ. В юридических, медицинских, финансовых и HR-сценариях особенно опасны документы, где текст выглядит профессионально, но содержит проверяемые факты: имена, даты, суммы, цитаты, ссылки на нормы, выводы из протоколов. Если компания использует LLM для резюме встреч, подготовки договоров, анализа инцидентов или комплаенс-отчётов, ей нужны не только промпты, но и правила: что считается источником истины, кто проверяет результат, какие поля нельзя отправлять без валидации, где обязательна ссылка на первичный документ.
Интересно, что Ааронс предложил суду ввести обязательный сертификат о применении ИИ в документах. Судьи сочли это уходом от сути: даже если помощником был бы младший юрист, стажёр или коллега, подпись под документом всё равно означала бы личное подтверждение точности. Для разработчиков AI-инструментов это тоже сигнал. Одного дисклеймера в интерфейсе мало, если продукт продаётся как рабочий помощник для профессий с высокой ценой ошибки. Нужны трассировка источников, проверяемые цитаты, режимы с жёсткой привязкой к загруженным документам и честные ограничения, когда модель не может подтвердить фрагмент.
Самый болезненный эффект в этой истории достался не модели и не поставщику сервиса, а клиенту адвоката: его апелляция потеряла время, документы пришлось выбросить из дела, защиту назначают заново. Поэтому следующий этап взросления корпоративного ИИ будет не про более эффектные ответы, а про скучные, дорогие и нужные контуры ответственности. Кто подписывает результат, тот и отвечает за проверку; галлюцинации ChatGPT лишь делают эту старую истину заметнее.