KI kann das Recruiting revolutionieren – oder Vorurteile festigen. Ein Forschungsprojekt belegt: Nur wer seine Systeme konsequent prüft, deckt Diskriminierung in KI-gestützten Verfahren auf und kann sie beheben.
Recruiting ist ein Spiel mit hohem Einsatz. Offene Stellen kosten Geld, Fehlbesetzungen noch mehr. KI-gestützte Empfehlungssysteme versprechen Abhilfe: Sie durchforsten Lebensläufe und Stellenanzeigen, berechnen Ähnlichkeiten und schlagen Kandidat:innen vor. Das Versprechen: Zeitersparnis, bessere Matches, weniger menschliche Vorurteile.
Doch genau hier lauert die Gefahr. KI lernt aus historischen Daten, die oft gesellschaftliche Schieflagen widerspiegeln. Was früher ein ungerechter Ausschluss war, kann heute als mathematisches Muster in Algorithmus weiterleben. Das Ergebnis: diskriminierende Empfehlungen, verdeckte Benachteiligungen, rechtliche Risiken.
Hohe Strafen bei Verstößen gegen das Diskriminierungsverbot
Für Unternehmen ist das mehr als ein Imageproblem. Die EU-KI-Verordnung (AI Act) stuft Systeme, die Bewerber:innen bewerten oder ranken, als hoch riskant ein. Verstöße gegen das Diskriminierungsverbot können Bußgelder, Klagen und Reputationsschäden nach sich ziehen. Gleichzeitig verbietet die Datenschutzgrundverordnung (GDPR) die Verarbeitung sensibler Daten wie ethischer Herkunft – genau jener Informationen, die nötig wären, um Diskriminierung zu testen. Ein klassisches Compliance-Dilemma: Testen ist Pflicht, Datenzugriff verboten.
Vor diesem Hintergrund starteten Stepstone, QuantPi und TÜV AI.Lab ein gemeinsames Forschungsprojekt – mit einem klaren Ziel: ein reales, noch in Entwicklung befindliches System auf versteckte Diskriminierung zu prüfen und eine rechtlich tragfähige Methodik zu entwickeln.
Diskrepanzen sind ein Frühwarnsignal
Sie wählten ein strukturiertes Testverfahren, das juristische Anforderungen mit messbaren Kriterien verbindet: Welche Eigenschaften muss das System nachweislich erfüllen, um als nicht-diskriminierend zu gelten? Welche Beweise stützen diese Behauptung? Namen, Bildungsinstitutionen oder Wohnorte dienten dabei als statistische Indikatoren für ethnische Herkunft. Diese Informationen wurden streng pseudonymisiert, nur für den Test genutzt und danach gelöscht.
Das System analysiert Lebensläufe und Stellenanzeigen, berechnet Ähnlichkeiten und erstellt Ranglisten. Es basiert dabei auf einem Text-Embedding-Modell, das mit realen Lebensläufen, Stellenprofilen und positiven Recruiter-Entscheidungen trainiert wurde.
Die Testergebnisse zeigen ein gemischtes Bild:
– Individuelle Ebene: Keine statistisch signifikanten Unterschiede – Kandidat:innen mit ähnlichen Qualifikationen erhielten unabhängig von vermuteter Herkunft vergleichbare Scores.
– Gruppenebene: Bei der Wahrscheinlichkeit, dass qualifizierte Kandidaten nicht vorgeschlagen werden – zeigten sich jedoch Abweichungen zwischen drei ethnischen Gruppen. Erste Analysen deuten auf Unterschiede im Bildungsniveau als mögliche Ursachen hin.
Diese Diskrepanzen sind ein Frühwarnsignal. Sie zeigen, dass selbst ein gut konstruiertes System subtile Verzerrungen entwickeln kann – und dass technisches Testen unverzichtbar ist, lange bevor die KI in den Markt geht.
- Bewerbende fordern KI-Hinweis in Stellenanzeigen
- KI erobert die Personalabteilungen
- HR-Studie: Employer Branding und KI als Game Changer
Governance als Wettbewerbsvorteil
Die wichtigste Erkenntnis: Bias ist messbar – und damit beherrschbar. Die Assurance-Case-Methode liefert ein übertragbares Grundgerüst, das andere Unternehmen nutzen können. Sie zwingt Entwickler:innen, juristische Begriffe wie „indirekte Diskriminierung“ in überprüfbare Testkriterien zu übersetzen und Nachweise zu erbringen.
Für Anbieter von HR-Technologien bedeutet das:
– Compliance by Design: Bias-Tests müssen von Anfang an Teil der Produktentwicklung sein, nicht nachträgliches Feigenblatt.
– Interdisziplinarität: Daten Scientists allein lösen das Problem nicht. Recht, Ethik, Technik und Produktmanagement müssen zusammenarbeiten.
– Frühe Vorbereitung auf den EU AI Act: Ab August 2026 erlaubt Artikel 10(5) die Verarbeitung sensibler Daten – und verlangt zugleich Nachweise für nicht-diskriminierendes Verhalten.
Der Forschungsprojekt zeigt, wie Regulierung, Technik und Ethik ineinandergreifen können – und müssen. Wer KI im Recruiting einsetzt, steht nicht nur vor einer rechtlichen Pflicht, sondern vor einer strategischen Entscheidung.
