„Automatisch benachteiligt?“ – Diskriminierung beim Einsatz von KI am Arbeitsplatz
KI hält immer größeren Einzug in unser Arbeitsumfeld. In naher Zukunft wird sie kaum noch hinwegzudenken sein. Mit zunehmender Integration von KI-Systemen am Arbeitsplatz steigen allerdings auch die Herausforderungen für die Arbeitgeber*.
Nicht selten fördert das Algorithmusdesign beispielsweise bei Einstellungs- oder Beförderungsentscheidungen solche Benachteiligungen, die bereits unterbewusst in den Trainingsdaten angelegt sind. Das wirft die Frage auf, wie algorithmischen Diskriminierungen durch autonom handelnde KI-Systeme juristisch begegnet werden kann.
Das AGG bietet theoretischen Schutz, dessen Durchsetzbarkeit aber lückenhaft ist
Regulatorisches Kernstück gegen Diskriminierungen im Beschäftigungskontext ist das Allgemeine Gleichbehandlungsgesetz (AGG). Beschäftigte dürfen weder unmittelbar noch mittelbar aus Gründen der „Rasse“ oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität benachteiligt werden. Beispielhaft sei der deutliche Fall zu nennen, dass ein KI-System bei der Besetzung einer Tech-Position das männliche Geschlecht als positiven Bewertungsfaktor im Rahmen eines Motivbündels zugrunde legt, weil es die Bewerber mit der eigenen, von Männern dominierten Belegschaft vergleicht. Soweit dabei menschliches Verhalten gefordert wird, kann auf die Eingabe diskriminierungsbehafteter Daten oder (qualifiziertes) Unterlassen rechtlicher Überwachungsverpflichtungen, etwa aus der KI-Verordnung, abgestellt werden, ohne dass sich Arbeitgeber insofern der Benachteiligung wegen eines Merkmals aus § 1 AGG bewusst sein muss.
Nach der vorläufigen Einigung von Rat und Europäischem Parlament über die KI-Verordnung (KI-VO-E) soll ein Arbeitgeber, der ein Hochrisiko-KI-System betreibt, unter anderem dazu verpflichtet sein, eine Person mit der Aufsicht über die eingesetzte KI zu beauftragen und die hinreichende Repräsentanz der Eingabedaten im Hinblick auf den beabsichtigten Zweck des Hochrisiko-KI-Systems sicherzustellen. Darunter fallen jedenfalls solche Systeme, die für die Einstellung und Auswahl von Bewerbern sowie Beförderung oder Kündigung von Arbeitnehmern durch Leistungs- und Verhaltensüberwachung eingesetzt werden sollen (Art. 6 Abs. 2 KI-VO-E in Verbindung mit Anhang III).
Im Fall einer Diskriminierung stehen dem Benachteiligten Ansprüche aus § 15 AGG zu. Dass KI-Entscheidungsprozesse davon de lege lata umfasst sein können, ist Ausdruck der technologieneutralen Formulierung des AGG. Allerdings begegnen Benachteiligte bei dem Versuch der effektiven Geltendmachung der Ansprüche häufig Nachweisschwierigkeiten hinsichtlich des Kausalzusammenhangs zwischen einer Benachteiligung und einem Grund aus § 1 AGG. Dem liegt die Erwägung zugrunde, dass die autonome Funktionsweise und Entscheidungsfindung eines KI-Systems kaum nachvollziehbar ist (sog. „Blackbox-Effekt“). Gemäß der Beweiserleichterung des § 22 AGG muss der Benachteiligte zwar nur Indizien beweisen, die in einer Gesamtbetrachtung aus objektiver Sicht eine Benachteiligung wegen eines in § 1 AGG genannten Grundes mit hinreichender Wahrscheinlichkeit vermuten lassen, woraufhin die Gegenseite beweisen muss, dass eine solche Benachteiligung nicht stattgefunden hat. Gerade bei einer mittelbaren Benachteiligung, wenn etwa ein Akzent dem Bewerber bei der Erstellung eines Persönlichkeitsprofils durch eine Sprachanalyse-KI zum Nachteil gereicht, dürfte dem Benachteiligten allerdings bereits dieser Beweis schwerfallen, da er häufig schlicht nicht wissen kann, zwischen welchen Merkmalen Korrelationen hergestellt wurden. Dies mag zwar ein generelles Problem von Diskriminierungsfällen sein, bei menschlichen Entscheidungen gibt es aber im Gegensatz zu vielen KI-Entscheidungsprozessen regelmäßig keine Beweismittel (etwa Trainingsdatensätze), die den Benachteiligten verborgen bleiben.
Antidiskriminierungsstelle des Bundes will Schutz vor digitaler Diskriminierung ausweiten
Im Lichte dieser Schwierigkeiten bei der Durchsetzung von durch KI veranlassten AGG-Ansprüchen fordert die Antidiskriminierungsstelle des Bundes (ADS) in ihrem Gutachten „Automatisch benachteiligt – Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ unter anderem eine Neuausrichtung des AGG in Bezug auf die Rolle von KI, umfassende Auskunfts- und Offenlegungspflichten, die Einblicke in die konkreten Funktionsweisen und Daten ermöglichen, sowie eine Anpassung der Beweislastumkehr bei Diskriminierung durch KI über § 22 AGG hinaus.
Damit nähert sich die ADS de lege ferenda inhaltlich in Teilen dem Vorschlag der Europäischen Kommission für eine KI-Haftungsrichtlinie (KI-Haftungs-RL-E). Die geplante KI-Haftungsrichtlinie soll zwar nur für außervertragliche verschuldensabhängige zivilrechtliche Schadensersatzansprüche gelten, bedient sich dabei jedoch der gleichen Instrumente, die auch die ADS für das AGG vorschlägt. So befasst sich Art. 3 KI-Haftungs-RL-E mit der Offenlegung von Beweismitteln, während Art. 4 KI-Haftungs-RL-E eine widerlegbare Kausalitätsvermutung aufstellt.
Um dem Problem der Undurchsichtigkeit zu begegnen, könnte ein gerichtlich durchsetzbarer Offenlegungsanspruch dementsprechend dann bestehen, wenn der Benachteiligte den Anspruchsgegner vergeblich aufgefordert hat, die ihm vorliegenden einschlägigen Beweismittel zu einem KI-System, das im Verdacht steht, eine Benachteiligung wegen eines Merkmals aus § 1 AGG verursacht zu haben, offenzulegen. Wurde etwa die Sprachanalyse-KI (s.o.) ausschließlich mit Datensätzen deutscher Muttersprachler trainiert, könnte eine Offenlegung der Datengrundlage oder Funktionsweise des Systems dem Benachteiligten zur effektiven Durchsetzung eines Anspruchs aus § 15 AGG verhelfen. Dabei müsste aber im Rahmen einer Abwägung der wechselseitigen Interessen gewährleistet sein, dass mit der Offenlegung der Beweismittel keine sensiblen Daten und Geschäftsinformationen an die Öffentlichkeit gelangen. Der Transparenzgedanke aus dem Vorschlag der ADS wird auch durch das Datenschutzrecht mittelbar abgedeckt. Art. 15 der Datenschutz-Grundverordnung (DSGVO) gewährt dem Betroffenen insoweit das Recht, von dem Verantwortlichen für die Datenverarbeitung Informationen darüber zu erhalten, welche Daten über sie gespeichert oder verarbeitet werden. Zusätzlich dazu haben sie die Möglichkeit, ergänzende Details vom Verantwortlichen zu erhalten, wie etwa Informationen über die Verarbeitungszwecke, die Herkunft der Daten (sofern diese nicht direkt von ihnen stammen) und die Empfänger, an die ihre Daten übermittelt werden.
Neu ist die Idee eines Verbandsklagerecht der ADS zur Verfolgung systemischer Verletzungen von Diskriminierungsverboten sowie eines Rechts zur Prozessstandschaft für Antidiskriminierungsverbände, um die Betroffenen von Diskriminierung besser bei der Rechtsdurchsetzung zu unterstützen und um strukturelle Ungleichgewichte abzubauen.
Augen auf bei der Auswahl der Trainingsdatensätze
Während die KI-Verordnung nach der vorläufigen Einigung voraussichtlich noch dieses Jahr in Kraft treten wird, ist der Weg für die KI-Haftungsrichtlinie noch länger. Auf nationaler Ebene kommen die Vorschläge für eine Anpassung des AGG im Hinblick auf KI zwar zunächst nur von der ADS, eine Evaluation des AGG ist aber auch im Koalitionsvertrag von 2021 festgehalten. Vor diesem Hintergrund sollten Arbeitgeber beim Einsatz von KI bereits heute der Transparenz eine hohe Priorität einräumen und Arbeitnehmer im Umgang mit KI schulen. Zum sicheren Umgang mit KI im Betrieb können auch die Festlegungen interner Unternehmensrichtlinien dienen. Um Diskriminierungen zu vermeiden, sollte zudem ein besonderer Fokus darauf gelegt werden, dass die Trainingsdatensätze für die eingesetzten KI-Systeme keine mittelbar diskriminierenden Merkmale aufweisen.
In unserem CMS-Blog halten wir Sie mit unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend zu diesem Thema auf dem Laufenden. Im Rahmen dieser Blog-Serie sind bereits Beiträge erschienen zu Themen wie: EU-Parlament: Grünes Licht für die KI-VO; Mithilfe Künstlicher Intelligenz plötzlich Urheber?; Robo Advisor als Zukunft der Geldanlage; Künstliche Intelligenz und der Journalismus der Zukunft; Wettbewerbsrechtliche Zulässigkeit von KI-gestützter Werbung. Sehen Sie zudem gern: Eigene KI-Sprachmodelle von Unternehmen (cms.law).
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
Unseren englischsprachigen Ausblick auf die KI-VO finden Sie hier: Looking ahead to the EU AI Act (cms.law).
This article is also available in English.
Jetzt registrieren und teilnehmen: AI Regulations in the EU, UK, and Asia: Essential Insights for HR and Employers
* Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.
