Чаты ChatGPT могут читать не только модели, но и люди: речь идет о подрядчиках OpenAI, которые оценивают реальные диалоги пользователей в рамках проекта Project Lily. Для русскоязычной IT-аудитории это не история про «ой, ИИ подглядывает», а практический вопрос: какие данные можно доверять потребительским AI-сервисам и где бизнесу пора включать режим паранойи.
По данным Tom's Hardware, 404 Media получила материалы о внутреннем процессе ручной оценки ответов ChatGPT: инструкции для ревьюеров, сведения о Slack-каналах, реальные диалоги и систему классификации. Участников проекта называют prompt reviewers. Их задача — смотреть на обезличенные фрагменты переписок и оценивать, насколько хорошо ChatGPT отвечает на запрос, не уходит ли в типичный «AI-speak», не сюсюкает, не злоупотребляет эмодзи и не ведет себя чрезмерно угодливо.
Судя по описанию, это не проверка фактов в строгом смысле. Ревьюеры могут помечать очевидные ошибки, но Project Lily, по данным публикации, в основном заточен под качество поведения модели: тон, полезность, соответствие запросу, отсутствие антропоморфизации. Например, ассистенту можно написать, что он «нашел информацию», но нельзя изображать личный опыт в духе «как шеф-повар, я предпочитаю…» или «я знаю, каково это». То есть OpenAI полирует не только знания модели, но и манеру разговора — ту самую, из-за которой пользователи начинают воспринимать чат-бота как собеседника, советчика или бесплатного терапевта.
Самая чувствительная часть истории — приватность. Диалоги, по описанию источников 404 Media, проходят через обезличивание, а ревьюеры не видят имена пользователей. Но OpenAI признала изданию, что фильтрация может пропускать часть персональных данных, особенно в коротких переписках. Это логично технически: если пользователь сам пишет адрес, диагноз, имя работодателя, детали конфликта или кусок коммерческого договора, автоматическое удаление всего чувствительного контекста без потери смысла превращается в отдельную задачу машинного обучения, а не в простую галочку в настройках.
Есть и дополнительный слой: версия диалога, которую видит ревьюер, якобы может включать «user memories summary» — краткое резюме интересов, вопросов и контекста пользователя. В некоторых случаях там потенциально может оказаться и локация. Даже если это не прямой профиль с именем и почтой, для деанонимизации иногда хватает нескольких деталей. Особенно если человек обсуждает редкую профессию, конкретный город, внутренние процессы компании или личную ситуацию, которую легко узнать по контексту.
Для индустрии это неприятное, но не неожиданное напоминание: генеративный ИИ не улучшается сам по себе, из воздуха и красивых графиков на презентациях. За «магией» стоят датасеты, разметка, оценка, ручная правка критериев и люди, которые выполняют скучную, повторяемую работу. Один из ревьюеров назвал процесс рутинным, но оплачиваемым более чем в $50 в час. Он же пожаловался, что инструкции часто меняются и бывают противоречивыми. Разработчики, которые хоть раз жили с плавающими требованиями, сейчас могли беззвучно кивнуть.
Отдельный вопрос — информированность пользователей. В потребительских AI-сервисах настройка, разрешающая использовать данные для улучшения продукта, часто включена по умолчанию. В случае ChatGPT, как говорится в материале, для Enterprise, Business и образовательных клиентов она по умолчанию отключена. Но переключатель не работает задним числом: старые диалоги остаются в базе, пока пользователь не запросит удаление. И даже удаление не гарантирует, что раньше обезличенный фрагмент не попал в какой-нибудь набор данных или пайплайн оценки.
На фоне этого корпоративные запреты на загрузку кода, клиентских данных и внутренних документов в публичные чат-боты выглядят уже не перестраховкой юристов, а нормальной инженерной гигиеной. Разработчикам стоит помнить: «не показывать username ревьюеру» и «никто никогда не увидит содержимое» — разные утверждения. Продактам и IT-директорам придется формулировать правила не общими словами про AI adoption, а конкретно: какие классы данных можно отправлять в внешние модели, какие нельзя, какие сервисы разрешены, кто отвечает за аудит и что делать с памятью ассистентов.
История с Project Lily не доказывает, что OpenAI делает что-то экзотическое на фоне рынка. Google прямо пишет, что люди могут просматривать часть сохраненных чатов Gemini; Anthropic тоже отдельно объясняет подобные практики. У Perplexity, по пересказу Tom's Hardware, позиция менее ясная: политика приватности не дает прямого ответа о человеческом доступе к логам. Тренд куда шире одной компании: AI-провайдеры продают ощущение автоматизации, но качество, безопасность и «человечность» моделей все еще подпираются человеческой разметкой. Открытый вопрос теперь не в том, читают ли люди часть данных, а в том, насколько честно сервисы объясняют это пользователю до того, как он вставит в окно чата исповедь, NDA или дамп продакшен-лога.