Mit dem am 1. August 2024 in Kraft getretenen Artificial Intelligence Act (AI Act) wird eine Risikoeinstufung von Systemen der künstlichen Intelligenz (KI) eingeführt, die von „gering“ bis „inakzeptabel“ reicht. Systeme, die in Abschnitt 5 des AI Act als „mit inakzeptablem Risiko“ eingestuft sind, sind streng verboten, da sie als mit den Werten der Europäischen Union unvereinbar angesehen werden. Dieses Verbot gilt seit dem 2. Februar 2025.
Dies bedeutet, dass diese Systeme seit diesem Zeitpunkt in der Europäischen Union nicht mehr eingesetzt werden können und daher vor Gericht angefochten werden können, beispielsweise im Falle eines Schadens, der einem Dritten entstanden ist. Die CNPD möchte jedoch daran erinnern, dass die meisten dieser inakzeptablen Risiko-IAs im Übrigen im Hinblick auf mehrere Grundsätze der DSGVO, insbesondere im Hinblick auf den Grundsatz der Transparenz, problematisch wären. Unabhängig von der Rolle, die die CNPD im Rahmen der nationalen Bestimmungen über künstliche Intelligenz (insbesondere des Gesetzentwurfs Nr. 8476) spielen würde, könnten solche Systeme daher Anlass zu Beschwerden geben oder Gegenstand von Ermittlungen ihrerseits sein, wenn sie auf luxemburgischem Hoheitsgebiet eingesetzt würden.
So sind verboten:
- unterschwellige Techniken (Art. 5 Abs. 1 Buchst. a),
- Ausnutzung von Schwachstellen (Art. 5 Abs. 1 Buchst. b),
- die soziale Bewertung unter bestimmten Bedingungen, d. h., ob sie zu einer nachteiligen oder ungünstigen Behandlung führt, und im Falle ganz bestimmter Situationen (Art. 5 Abs. 1 Buchst. c),
- vorausschauende Polizeieinsätze, insbesondere ohne menschliches Eingreifen (Art. 5 Abs. 1 Buchst. d),
- KIs, die Gesichtserkennungsdatenbanken erstellen oder entwickeln, indem sie Gesichtsbilder aus dem Internet oder der Videoüberwachung nicht gezielt ernten (Art. 5 Abs.
- Einsatz von KIs zur emotionalen Anerkennung am Arbeitsplatz oder in Bildungseinrichtungen (Art. 5 Abs.
- biometrische Kategorisierung, bei der natürliche Personen einzeln kategorisiert werden, um Rückschlüsse oder Schlussfolgerungen in Bezug auf sensible Merkmale wie Rasse, politische Überzeugungen, sexuelle Orientierung zu ziehen (Artikel 5 Absatz 1 Buchstabe g),
- die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Gefahrenabwehr- und Strafverfolgungszwecken, es sei denn, dies ist für die Suche nach bestimmten Opfern, die Verhütung einer ernsthaften Bedrohung oder strafrechtliche Ermittlungen bei besonders schweren Straftaten unbedingt erforderlich (Artikel 5 Absatz 1 Buchstabe h). Detaillierte zusätzliche Bedingungen sind im AI Act für den letztgenannten Fall aufgeführt.
Eine Einzelfallanalyse ist erforderlich, da bestimmte KI-Praktiken nur in bestimmten Kontexten verboten sind (z. B. wird die Verwendung von AIS zur emotionalen Anerkennung nur am Arbeitsplatz oder in Bildungseinrichtungen als unannehmbares Risiko angesehen).
Die Europäische Kommission hat am 4. Februar 2025 ihre Leitlinien zu verbotenen KI-Praktiken veröffentlicht, in denen diese Praktiken genau definiert sind und auf die die CNPD für weitere Einzelheiten verweisen kann.
Im Folgenden werden nur einige der nach dem AI Act verbotenen Praktiken, wie sie oben aufgeführt sind, im Zusammenhang mit den bereits auf der Grundlage der DSGVO geltenden Grundsätzen veranschaulicht:
- Ausnutzung von Schwachstellen: KI, die auf die Schutzbedürftigkeit von Personen (je nach Alter, motorischen Fähigkeiten usw.) abzielt, um das Verhalten in einer Weise wesentlich zu beeinflussen, die einen erheblichen Schaden verursacht oder verursachen kann. Zum Beispiel wäre eine App verboten, die Kinder dazu verleiten soll, In-App-Käufe zu tätigen, indem sie ihr mangelndes Urteilsvermögen ausnutzt. In Artikel 8 der DSGVO sind jedoch bereits Bedingungen für die Einwilligung von Kindern in Bezug auf Dienste der Informationsgesellschaft festgelegt. Ebenso wäre ein KI-System, das den depressiven Zustand einer Person erkennt, um ihr einen personalisierten Urlaub zu verkaufen, problematisch. Im letztgenannten Fall sei die Verarbeitung, da es sich um Gesundheitsdaten handele, jedenfalls auf der Grundlage von Art. 9 DSGVO verboten, da keine der Voraussetzungen von Abs. 2 dieses Artikels auf einen solchen Fall anwendbar sei.
- das Inverkehrbringen, die Inbetriebnahme für diesen speziellen Zweck oder die Verwendung von KIs, die Gesichtserkennungsdatenbanken erstellen oder entwickeln, indem Gesichtsbilder aus dem Internet oder der Videoüberwachung nicht gezielt geerntet werden. Beispielsweise wäre ein System, das so viele Gesichter wie möglich im Internet sammelt oder entwickelt, um sie mit Gesichtern von Personen zu vergleichen, die zu Identifizierungszwecken einer Videoüberwachung unterzogen werden, auf der Grundlage des AI Act verboten. Es handele sich aber im Übrigen um eine Verarbeitung biometrischer Daten zur eindeutigen Identifizierung einer natürlichen Person, die nach Art. 9 DSGVO verboten sei und für die auch hier keine der Voraussetzungen des Abs. 2 dieses Artikels gelte.
- das Inverkehrbringen, die Inbetriebnahme für diesen speziellen Zweck oder die Verwendung von KIs, um die Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen abzuleiten, es sei denn, die Verwendung des AIS ist dazu bestimmt, aus medizinischen oder Sicherheitsgründen eingerichtet oder in Verkehr gebracht zu werden. Ein Beispiel hierfür wären AIS zur Analyse von Gesichtsausdrücken, Sprachtönen oder Gesten der Mitarbeiter, um das Engagement, die Zufriedenheit oder den Stress der Mitarbeiter zu messen und so das Wohlbefinden oder die Produktivität am Arbeitsplatz zu verbessern. Gegebenenfalls handele es sich um eine Maßnahme zur allgemeinen Überwachung der Beschäftigten, die auch im Hinblick auf mehrere Grundsätze der DSGVO, insbesondere in Bezug auf Rechtmäßigkeit, Transparenz und Datenminimierung, problematisch sei.
Seit dem 2. Februar 2025 betrifft eine weitere Verpflichtung aus dem FA Act Unternehmen, die künstliche Intelligenz nutzen. Artikel 4 der KI-Verordnung schreibt nämlich vor, dass alle am Betrieb und an der Nutzung von KI-Systemen beteiligten Personen über ein ausreichendes Maß an Kontrolle verfügen müssen. Diese Verpflichtung wird in einem weiteren Artikel näher ausgeführt, der demnächst von der CNPD auf ihrer Website veröffentlicht wird.