KI entwickelt aus Erfahrung stärkere Einstellungsvorurteile als Menschen

Neue Forschungsergebnisse zeigen, dass große Sprachmodelle (LLMs) durch Erfahrung eigene Vorurteile entwickeln können und Bewerber noch stärker stereotypisieren als Menschen. In einem simulierten Einstellungsspiel begannen KI-Modelle wie ChatGPT, Claude und Gemini schnell, Kandidaten aus verschiedenen fiktiven ethnischen Gruppen basierend auf frühen Ergebnissen in verschiedene Jobs zu segregieren, obwohl alle Kandidaten gleich wahrscheinlich erfolgreich waren. Die Modelle erzielten auf einer Segregationsskala etwa 65 % höhere Werte als menschliche Teilnehmer, wobei OpenAIs o3-Modell 1,83 von maximal 2 Punkten erreichte, verglichen mit 0,84 bei Menschen.

Die Studie, durchgeführt von Forschern der Princeton University und der University of Chicago und veröffentlicht auf der ICML in Seoul im Juli, adaptierte ein psychologisches Experiment, bei dem Modelle als Berater für 20 Jobs aus vier fiktiven Gruppen fungierten: Tufa, Aima, Reku und Weki. Nach jeder Einstellung erfuhr das Modell, ob der Kandidat erfolgreich war, und über 40 Runden hinweg bildeten die Modelle Stereotype – zum Beispiel vermieden sie es, Aimas als Ärzte einzustellen, nachdem einer versagt hatte, und stellten sie stattdessen als Hausmeister ein. Neuere Reasoning-Modelle wie OpenAIs o3 und DeepSeek R1 zeigten noch stärkere Vorurteile.

Dies ist relevant, da KI zunehmend bei Einstellungs-, Kreditvergab e- und Bewährungsentscheidungen eingesetzt wird. Im Gegensatz zu Menschen sind LLMs darauf optimiert, aus begrenzten Daten zu generalisieren, was sie anfällig für die schnelle Bildung von Stereotypen macht. Dem Modell zu sagen, es solle fair sein, hatte wenig Wirkung, aber das Versprechen eines Bonus für vielfältige Einstellungen reduzierte die Vorurteile erheblich. Die Bereitstellung relevanter persönlicher Informationen über Einzelpersonen reduzierte ebenfalls die Vorurteile, während irrelevante Informationen dies nicht taten.

Die Ergebnisse sind besonders relevant, da Chatbots Gedächtnis- und Personalisierungsfunktionen erhalten. Angelina Wang, Informatikerin an der Cornell University, die nicht an der Studie beteiligt war, warnt davor, dass Chatbots „übermäßig auf die gleichen Verhaltensweisen zurückgreifen, die sie zuvor erlebt haben“ und Vorurteile entwickeln könnten. Eine einfache Reduzierung des Gedächtnisses ist jedoch keine Lösung, da Benutzer möchten, dass Chatbots sich an Gespräche erinnern. Die Forscher schlagen vor, Ziele zu entwerfen, die soziale Werte integrieren, um das KI-Verhalten zu lenken. Während reale KI-Einstellungssysteme kein sofortiges Feedback erhalten, könnten Modelle bei eingehendem Feedback die Ergebnisse dennoch überinterpretieren, was schwerwiegende Auswirkungen auf die Fairness hat.