ИИ формирует предвзятость при найме на основе опыта сильнее, чем люди

Новое исследование показывает, что большие языковые модели (LLM) могут развивать собственную предвзятость через опыт, стереотипизируя соискателей даже сильнее, чем люди. В симулированной игре по найму модели ИИ, включая ChatGPT, Claude и Gemini, быстро начали разделять кандидатов из разных вымышленных этнических групп на разные должности на основе ранних результатов, несмотря на то, что все кандидаты имели одинаковую вероятность успеха. Модели показали примерно на 65% более высокий показатель сегрегации, чем люди-участники, причем модель o3 от OpenAI набрала 1,83 из максимума 2, по сравнению с 0,84 у людей.

Исследование, проведенное учеными Принстонского университета и Чикагского университета и опубликованное на ICML в Сеуле в июле, адаптировало психологический эксперимент, в котором модели выступали в роли консультантов, нанимающих на 20 должностей из четырех вымышленных групп: Туфа, Айма, Реку и Веки. После каждого найма модель узнавала, добился ли кандидат успеха, и в течение 40 раундов модели формировали стереотипы — например, избегали найма Айма в качестве врачей после одной неудачи и вместо этого нанимали их уборщиками. Более новые модели рассуждений, такие как o3 от OpenAI и R1 от DeepSeek, показали еще более сильную предвзятость.

Это важно, потому что ИИ все чаще используется при принятии решений о найме, кредитовании и условно-досрочном освобождении. В отличие от людей, LLM оптимизированы для обобщения на основе ограниченных данных, что делает их склонными к быстрому формированию стереотипов. Указание модели быть справедливой имело небольшой эффект, но обещание бонуса за разнообразный найм значительно снизило предвзятость. Предоставление релевантной личной информации о людях также снизило предвзятость, в то время как нерелевантная информация не повлияла.

Результаты особенно актуальны, поскольку чат-боты получают функции памяти и персонализации. Ангелина Ван, компьютерный ученый из Корнелльского университета, не участвовавшая в исследовании, предупреждает, что чат-боты могут «чрезмерно опираться на те же виды поведения, с которыми сталкивались ранее» и формировать предвзятость. Однако простое уменьшение памяти не является решением, поскольку пользователи хотят, чтобы чат-боты запоминали разговоры. Исследователи предлагают разрабатывать цели, включающие социальные ценности, для управления поведением ИИ. Хотя реальные системы найма на основе ИИ не получают мгновенной обратной связи, когда обратная связь все же поступает, модели могут переинтерпретировать результаты, что имеет серьезные последствия для справедливости.