IA desenvolve preconceitos de contratação a partir da experiência mais do que humanos

Uma nova pesquisa revela que grandes modelos de linguagem (LLMs) podem desenvolver seus próprios preconceitos por meio da experiência, estereotipando candidatos a emprego ainda mais do que os humanos. Em um jogo de contratação simulado, modelos de IA, incluindo ChatGPT, Claude e Gemini, rapidamente começaram a segregar candidatos de diferentes grupos étnicos fictícios em diferentes empregos com base em resultados iniciais, apesar de todos os candidatos terem a mesma probabilidade de sucesso. Os modelos obtiveram aproximadamente 65% a mais em uma escala de segregação do que os participantes humanos, com o modelo o3 da OpenAI marcando 1,83 de um máximo de 2, em comparação com 0,84 dos humanos.

O estudo, conduzido por pesquisadores da Universidade de Princeton e da Universidade de Chicago e publicado no ICML em Seul em julho, adaptou um experimento psicológico onde os modelos atuavam como consultores contratando para 20 empregos de quatro grupos fictícios: Tufa, Aima, Reku e Weki. Após cada contratação, o modelo aprendia se o candidato teve sucesso e, ao longo de 40 rodadas, os modelos formaram estereótipos — por exemplo, evitando contratar Aimas como médicos após uma falha e, em vez disso, contratando-os como zeladores. Modelos de raciocínio mais novos, como o o3 da OpenAI e o R1 da DeepSeek, mostraram preconceitos ainda mais fortes.

Isso é importante porque a IA é cada vez mais usada em decisões de contratação, empréstimos e liberdade condicional. Ao contrário dos humanos, os LLMs são otimizados para generalizar a partir de dados limitados, tornando-os propensos a formar estereótipos rapidamente. Dizer ao modelo para ser justo teve pouco efeito, mas prometer um bônus por contratação diversa reduziu significativamente o preconceito. Fornecer informações pessoais relevantes sobre os indivíduos também reduziu o preconceito, enquanto informações irrelevantes não.

As descobertas são especialmente relevantes à medida que os chatbots ganham recursos de memória e personalização. Angelina Wang, cientista da computação da Universidade Cornell não envolvida no estudo, alerta que os chatbots podem "superindexar os mesmos tipos de comportamentos que experimentaram antes" e formar preconceitos. No entanto, simplesmente reduzir a memória não é uma solução, pois os usuários querem que os chatbots se lembrem das conversas. Os pesquisadores sugerem projetar metas que incorporem valores sociais para orientar o comportamento da IA. Embora os sistemas de contratação de IA do mundo real não recebam feedback instantâneo, quando o feedback chega, os modelos ainda podem interpretar excessivamente os resultados, trazendo sérias implicações para a justiça.