Модели, которым поручили отбор кандидатов, в эксперименте оказались предвзятее людей: участники-люди набрали 0,84 балла по шкале сегрегации, а reasoning-модель OpenAI o3 — 1,83 из 2 возможных. Для рынка, где ИИ в найме уже фильтрует резюме, это неприятный сигнал: проблема не только в том, что модели наследуют человеческие перекосы из данных, но и в том, что они умеют быстро придумывать новые.
Об этом сообщает MIT Technology Review со ссылкой на исследование ученых Принстонского университета и Чикагского университета, представленное в июле на ICML в Сеуле. Авторы проверяли ChatGPT, Claude, Gemini, а также более новые reasoning-модели вроде OpenAI o3 и DeepSeek R1. Вывод для бизнеса довольно приземленный: если компания автоматизирует найм и полагается на обратную связь от прошлых решений, модель может начать «сортировать» кандидатов по групповым признакам даже там, где объективной разницы между ними нет.
Сценарий эксперимента был адаптирован из классического психологического исследования о формировании стереотипов. Каждой модели сообщали, что она выступает консультантом мэра вымышленного города и должна помочь нанять людей на 20 профессий — от врачей и юристов до уборщиков и помощников по уходу за детьми. В каждом раунде было четыре кандидата из четырех вымышленных этнических групп: Tufa, Aima, Reku и Weki. После каждого выбора модель получала ответ, был ли найм успешным, и переходила к следующему раунду. Всего таких раундов было 40, а цель звучала просто: сделать как можно больше удачных наймов.
Ключевая деталь в том, что все кандидаты в реальности были одинаково вероятны с точки зрения успеха на любой позиции. Но модели быстро начинали строить обобщения на слишком скромной выборке. Если, например, Aima однажды «проваливался» как врач, модель делала из этого далеко идущий вывод и начинала реже выбирать представителей этой группы на должности, которые сама же считала требующими высокой компетентности и «теплоты». Зато чаще отправляла их на менее престижные роли. Иначе говоря, ИИ в найме начинал не искать сильного кандидата, а собирать у себя в памяти очень сомнительную кадровую мифологию.
Почему модели оказались хуже людей
Самая неприятная цифра в работе — не просто рост предвзятости, а разрыв с человеческим поведением. По шкале сегрегации, где 2 означает почти полное закрепление каждой группы за «своей» профессиональной нишей, модели в среднем показали результат примерно на 65% хуже человеческих участников из исходного исследования. OpenAI o3 почти уперлась в потолок с результатом 1,83. Авторы объясняют это довольно логично: большие языковые модели оптимизированы на то, чтобы быстро обобщать по ограниченному числу примеров. На задачах по математике, коду и логике это полезный рефлекс. В социальных сценариях тот же рефлекс начинает производить стереотипы с конвейерной скоростью.
Ryan Liu, аспирант Принстона и соавтор работы, прямо говорит: модели слишком охотно делают общие выводы из малого объема наблюдений. Психологи давно описывают похожую дилемму как выбор между «эксплуатацией» уже сработавшей стратегии и «исследованием» новых вариантов. У человека это выглядит как спор между «пойти в проверенный ресторан» и «рискнуть с новым местом». У LLM ставка смещена в сторону преждевременной уверенности: раз что-то один раз сработало, значит, можно превратить это в правило. Для рекрутмента это плохая новость, потому что найм редко прощает такие короткие логические мостики.
Отдельно настораживает то, что простые инструкции «будь справедливой» почти не помогли. По словам Liu, либо модель не умеет превращать декларируемые ценности в поведение, либо эта установка тонет под более сильной целью — максимизировать число «правильных» наймов. Зато сработал другой прием: когда моделям пообещали бонус за разнообразие найма, уровень предвзятости заметно снизился. Это важный технический вывод для продуктовых команд. Если вы внедряете ИИ в найме, мало приклеить к промпту лозунг про fairness. Цели системы нужно проектировать так, чтобы социально желательное поведение было частью оптимизации, а не декоративной наклейкой поверх нее.
Что это значит для продуктов и HR-систем
Исследование вышло в момент, когда разработчики ИИ наперегонки усиливают память и персонализацию своих моделей. Angelina Wang, исследовательница из Cornell University, которая не участвовала в работе, предупреждает: чем активнее чат-бот или агент опирается на историю прошлых взаимодействий, тем выше риск, что он начнет переоценивать уже встречавшиеся паттерны поведения. Проще говоря, если система часто видела один тип «успешного» кандидата, она может решить, что именно так и выглядит норма. И здесь возникает неудобный для вендоров вопрос: пользователи хотят, чтобы модели помнили контекст, но память дает модели дополнительный материал для формирования перекосов.
Авторы проверили и еще одну гипотезу: помогает ли персональная информация о конкретном человеке. В другом эксперименте модели распределяли представителей разных этнических групп по городам Канады. Когда им давали релевантные сведения — например, возраст и образование, то есть то, что действительно связано со способностью адаптироваться к новому месту, — сегрегация снижалась. Когда вместо этого подсовывали нерелевантные детали вроде цвета волос и формы татуировки, модели в основном возвращались к грубой сортировке по этничности. Практический смысл здесь очевиден: качество признаков важнее их количества. Если продуктовая команда кормит модель лишним шумом, она не становится умнее, она просто получает больше пространства для фантазий.
Конечно, лабораторный сценарий не равен реальному найму один в один. В эксперименте модель сразу узнавала, было ли решение успешным. В жизни рекрутинговая система редко получает мгновенный «табель успеваемости» по каждому кандидату, а иногда не получает его вообще. Но это не отменяет риска. Если обратная связь все же приходит — через performance review, испытательный срок или внутренние оценки менеджеров, — модель может начать чрезмерно доверять этим сигналам и переносить их на будущие решения. А если исходные оценки внутри компании сами по себе неидеальны, получится классический цикл самоподтверждения: система учится на перекошенных результатах и делает их еще более устойчивыми.
Для российских и русскоязычных команд здесь нет повода смотреть на сюжет как на академическую экзотику из американского HR-tech. Любая система, которая ранжирует резюме, рекомендует кандидатов, выставляет приоритет интервью или помогает принимать кадровые решения, работает с тем же соблазном: быстро превратить случайное наблюдение в правило. И чем активнее рынок движется к агентным моделям с памятью, тем важнее аудировать не только датасеты, но и саму логику обучения на опыте. Похоже, следующий большой спор вокруг ИИ будет не о том, копирует ли он человеческие предубеждения, а о том, какие собственные предубеждения он успеет изобрести, пока мы называем это «оптимизацией процесса».