KI-Verordnung – Hoch­ri­si­ko-KI-Sys­te­me als re­gu­la­to­ri­scher Schwerpunkt

Die KI-Verordnung legt den regulatorischen Schwerpunkt auf Anforderungen an Hochrisiko-KI-Systeme und Pflichten für deren Anbieter*, Betreiber, Händler und Einführer sowie andere Beteiligte entlang der KI-Wertschöpfungskette.

Pflichten für Anbieter von Hochrisiko-KI-Systemen

Wird ein generatives KI-System als Hochrisiko-KI-System eingestuft, treffen seinen Anbieter umfangreiche und komplexe Pflichten, die in der praktischen Umsetzung einigen Verwaltungsaufwand und finanzielle Ressourcen erfordern werden. Als Anbieter (provider) gilt jede natürliche oder juristische Person, oder Behörde, Einrichtung oder sonstige Stelle, die ein Hochrisiko-KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich (Art. 3 Nr. 3).

Anbieter von Hochrisiko-KI-Systemen sind vor allem dazu verpflichtet, sicherzustellen, dass die nachfolgenden Anforderungen an Hochrisiko-KI-Systeme (Art. 8 ff.) während des gesamten Lebenszyklus eines KI-Systems eingehalten werden (Art. 16), was durch ein geeignetes Risikomanagementsystem (Art. 9) gewährleistet werden soll:

• Datenqualität (Art. 10): Für den Einsatz und die Entwicklung generativer KI-Systeme sind vor allem die Anforderungen an die Qualität der Datensätze, mit denen ein Hochrisiko-KI-System trainiert wird, relevant. Durch Daten-Governance- und Datenverwaltungsverfahren soll gewährleistet werden, dass Trainings-, Validierungs- und Testdatensätze im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ, fehlerfrei und vollständig sind, geeignete statistische Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll und gegebenenfalls, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen oder den Zusammenhängen, in denen das KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Außerdem sollen Überprüfungen auf und geeignete Maßnahmen zur Aufdeckung, Vorbeugung und Minderung möglicher Voreingenommenheit vorgenommen werden. Soweit zu diesem Zweck ausnahmsweise personenbezogene Daten verarbeitet werden müssen, stellt Art. 10 Anforderungen an Pseudonymisierung, Vertraulichkeit und die Datenverarbeitung auf.
• Dokumentation und Aufzeichnungspflichten (Art. 11, 12): Im Hinblick auf Entwicklung und Funktionsweise von Hochrisiko-KI-Systemen müssen Aufzeichnungen und aktuelle technische Dokumentationen geführt werden, die Informationen zu allgemeinen Merkmalen, Fähigkeiten und Grenzen des Systems, verwendeten Algorithmen, Daten, Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems enthalten.
• Transparenz und Bereitstellung von Informationen Für Betreiber (Art. 13): Betreiber sollen durch Bereitstellung einer Dokumentation und Gebrauchsanweisung in die Lage versetzt werden, die Ergebnisse der KI-Systeme zu interpretieren und angemessen zu verwenden.
• Menschliche Aufsicht (Art. 14): Vor dem Inverkehrbringen oder Inbetriebnehmen eines Hochrisiko-KI-Systemen müssen während der Konzeption und Entwicklung von dem Anbieter geeignete Maßnahmen zur Gewährleistung menschlicher Aufsicht mit hinreichender KI-Kompetenz festgelegt werden (z.B. integrierte Betriebseinschränkungen, Stopptaste).
• Genauigkeit, Robustheit und Cybersicherheit (Art. 15): Genauigkeit, Robustheit und Cybersicherheit sollen dem allgemein anerkannten Stand der Technik entsprechen.

Weitere Pflichten eines Anbieters von Hochrisiko-KI-Systemen sind insbesondere:

• Angabe von eingetragenen Handelsnamen oder eingetragener Handelsmarke und Kontaktanschrift auf dem Hochrisiko-KI-System selbst oder auf der Verpackung oder in der beigefügten Dokumentation angeben (Art. 16 b),
• Einrichtung eines Qualitätsmanagementsystems (Art. 17),
• Aufbewahrung von Dokumentation (Art. 18)
• Durchführung und Sicherstellen vorgeschriebener Konformitätsbewertungen (Art. 16 Abs. f, Art. 43),
• Aufbewahrung von Log-Daten (Art. 19),
• Korrekturmaßnahmen und Bereitstellung relevanter Informationen an Händler, Einführer, zuständige Behörden und, soweit möglich, Betreiber (Art. 20),
• Informations- und Kooperationspflichten (Art. 21),
• Erstellung und Bereithalten einer EU-Konformitätserklärung (Art. 47),
• Kennzeichnungspflichten (z.B. CE-Konformitätskennzeichnung, Art. 48),
• Registrierungspflicht (Art. 49),

Anbieter, die außerhalb der Union niedergelassen sind, müssen vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Europäischen Union (EU) niedergelassenen Bevollmächtigten (authorised representative) benennen und diesen mit hinreichenden Befugnissen und Ressourcen ausstatten, damit dieser seine Pflichten unter der KI-Verordnung erfüllen kann, insbesondere das Bereitstellen von Informationen an die zuständigen Behörden (Art. 22).

Den Anbieterpflichten unterliegt auch ein Produkthersteller (product manufacturer), wenn er Hochrisiko-KI-Systeme im Zusammenhang mit Produkten unter seinem Namen in Verkehr bringt oder in Betrieb nimmt (Art. 25).

Pflichten für Betreiber, Händler und Einführer von Hochrisiko-KI-Systemen

Neben den Pflichten für Anbieter legt die KI-Verordnung weitere Pflichten für andere Beteiligte entlang einer KI-Wertschöpfungskette fest.

Einführer(importer), in der Union befindliche oder niedergelassene natürliche oder juristische Personen, die ein KI-System, das den Namen oder die Marke einer in einem Drittland niedergelassenen natürlichen oder juristischen Person trägt, in der EU in Verkehr bringen oder in Betrieb nehmen (Art. 3 Nr. 6) müssen (Art. 23):

• sicherstellen, dass Hochrisiko-KI-Systeme die Vorschriften der KI-Verordnung einhalten, insbesondere, dass seitens des Anbieters des KI-Systems das betreffende Konformitätsbewertungsverfahren durchgeführt wurde, die technische Dokumentation erstellt wurde, dass das System mit der erforderlichen Konformitätskennzeichnung versehen ist und ihm die erforderlichen Unterlagen und Gebrauchsanweisungen beigefügt sind, gegebenenfalls ein Bevollmächtigter benannt wurde; bei einem Verdacht auf einen Verstoß gegen die Anforderungen der KI-Verordnung darf der Einführer das Hochrisiko-KI-System nicht auf den Markt bringen und muss gegebenenfalls die zuständige Behörde informieren,
• ihren eingetragenen Handelsnamen oder eingetragener Handelsmarke und Kontaktanschrift auf dem Hochrisiko-KI-System selbst oder auf der Verpackung oder in der beigefügten Dokumentation angeben,
• sicherstellen, dass Lagerungs- oder Transportbedingungen die Konformität mit den Anforderungen an Hochrisiko-KI-Systeme nicht beeinträchtigen,
• für einen Zeitraum von 10 Jahren ab dem ab dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ein Exemplar der von der notifizierten Stelle ausgestellten Bescheinigung sowie gegebenenfalls die Gebrauchsanweisungen und die EU-Konformitätserklärunen bereithalten,
• mit den zuständigen Behörden kooperieren.

Händler (distributor) als natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem Unionsmarkt bereitstellt, mit Ausnahme des Herstellers oder des Einführers (Art. 3 Nr. 7, Art. 24):

• müssen Hochrisiko-KI-Systeme auf erforderliche CE-Konformitätskennzeichnung, erforderliche Dokumentation und Gebrauchsanweisung sowie Einhaltung der Pflichten unter der KI-Verordnung durch Anbieter bzw. gegebenenfalls der Einführer überprüfen,
• dürfen diese bei einem Verdacht eines Verstoßes gegen die Anforderungen an Hochrisiko-KI-Systeme nicht auf den Markt bringen und sollen gegebenenfalls Anbieter oder Einführer oder die zuständige Behörde über ein Risiko informieren,
• müssen im Hinblick auf bereits auf den Markt gebrachte KI-Systeme, bei denen sie sie den Verdacht eines Verstoßes gegen die Anforderungen an Hochrisiko-KI-Systeme haben, notwendige Korrekturmaßnahmen vornehmen und gegebenenfalls Anbieter oder Einführer oder die zuständige Behörde über ein Risiko informieren,
• mit den zuständigen Behörden kooperieren.

Betreiber(deployer), natürliche oder juristische Personen oder Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System in eigener Verantwortung verwenden, es sei denn, das KI-System wird im Rahmen einer persönlichen nicht beruflichen Tätigkeit verwendet (Art. 3 Nr. 4, Art. 26) müssen unter anderem:

• KI-Systeme, insbesondere von Hochrisiko-KI-Systemen, gemäß der Gebrauchsanweisung nutzen,
• die Funktionsweise überwachen,
• gegebenenfalls Aufzeichnungspflichten erfüllen,
• abhängig von ihrer Kontrolle über das Hochrisiko-KI-System menschliche Aufsicht umsetzen, sicherstellen, dass mit dieser betraute natürliche Personen kompetent, ausreichend qualifiziert ,
• sich vor einer Inbetriebnahme oder Nutzung am Arbeitsplatz mit Arbeitnehmervertreter einigen und die betroffenen Arbeitnehmer informieren,
• unabhängig von Transparenzpflichten (Art. 50), betroffene natürliche Personen informieren, wenn es sich um ein Hochrisiko-KI-System handelt, dass Entscheidungen über natürliche Personen trifft oder dabei unterstützt,
• mit den zuständigen Behörden kooperieren,
• wenn es sich um eine Einrichtung des öffentlichen Rechts oder private Einrichtung, die öffentliche Dienste erbringt, handelt, eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchführen (Art. 27).

Pflichten treffen nicht nur Anbieter, Händler, Einführer und Betreiber von Hochrisiko-KI-Systemen

Die Anforderungen und Pflichten im Zusammenhang mit dem Einsatz und der Entwicklung von Hockrisiko-KI-Systemen sind komplex und umfangreich. Neben den Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Anbieter, Händler, Einführer und Betreiber werden weitere Pflichten und Verantwortlichkeiten entlang der Wertschöpfungskette von Hochrisiko-KI-Systemen geregelt und Anforderungen an GPAI sowie Pflichten für deren Anbieter festgelegt.

Auch vor der Rechtsberatung macht KI keinen Halt. Dies hat CMS bereits früh erkannt: Wie künstliche Intelligenz die Arbeit in Kanzleien verändert (cmshs-bloggt.de). Auf unserer Innovationen-Homepage und in unserem CMS-to-go-Podcast „KI für die Rechtsabteilung“ erhalten Sie weitere Informationen.

In unserem CMS-Blog informieren wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge informiert. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.

Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.

* Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.