AI ontwikkelt door ervaring meer vooroordelen bij werving dan mensen

Nieuw onderzoek toont aan dat grote taalmodellen (LLM's) door ervaring eigen vooroordelen kunnen ontwikkelen, waarbij ze sollicitanten nog meer stereotyperen dan mensen. In een gesimuleerd wervingsspel begonnen AI-modellen, waaronder ChatGPT, Claude en Gemini, snel kandidaten uit verschillende fictieve etnische groepen in te delen in verschillende banen op basis van vroege resultaten, ondanks dat alle kandidaten evenveel kans hadden om te slagen. De modellen scoorden ongeveer 65% hoger op een segregatieschaal dan menselijke deelnemers, waarbij OpenAI's o3-model 1,83 van de maximale 2 scoorde, vergeleken met 0,84 voor mensen.

De studie, uitgevoerd door onderzoekers van Princeton University en de University of Chicago en gepubliceerd op ICML in Seoul in juli, paste een psychologisch experiment aan waarbij modellen als consultants optraden die voor 20 banen uit vier fictieve groepen aannamen: Tufa, Aima, Reku en Weki. Na elke aanstelling leerde het model of de kandidaat succesvol was, en na 40 rondes vormden de modellen stereotypen – bijvoorbeeld door Aima's niet meer als arts aan te nemen na één mislukking en hen in plaats daarvan als schoonmaker aan te nemen. Nieuwere redeneermodellen zoals OpenAI's o3 en DeepSeek's R1 vertoonden nog sterkere vooroordelen.

Dit is belangrijk omdat AI steeds vaker wordt gebruikt bij wervings-, krediet- en strafbeslissingen. In tegenstelling tot mensen zijn LLM's geoptimaliseerd om te generaliseren op basis van beperkte gegevens, waardoor ze snel stereotypen kunnen vormen. Het vertellen van het model om eerlijk te zijn had weinig effect, maar het beloven van een bonus voor diversiteit bij werving verminderde de vooroordelen aanzienlijk. Het verstrekken van relevante persoonlijke informatie over individuen verminderde ook de vooroordelen, terwijl irrelevante informatie dat niet deed.

De bevindingen zijn vooral relevant nu chatbots geheugen- en personalisatiefuncties krijgen. Angelina Wang, een computerwetenschapper aan Cornell University die niet bij de studie betrokken was, waarschuwt dat chatbots "te veel kunnen leunen op dezelfde soorten gedragingen die ze eerder hebben ervaren" en vooroordelen kunnen vormen. Het simpelweg verminderen van geheugen is echter geen oplossing, omdat gebruikers willen dat chatbots gesprekken onthouden. De onderzoekers suggereren doelen te ontwerpen die sociale waarden integreren om AI-gedrag te sturen. Hoewel AI-wervingssystemen in de echte wereld geen directe feedback krijgen, kunnen modellen, wanneer feedback arriveert, resultaten nog steeds overinterpreteren, wat ernstige gevolgen heeft voor eerlijkheid.