EU AI Act: Was Verantwortliche jetzt wissen müssen, Teil 2

Ein zentraler Aspekt der KI-Verordnung ist die Kategorisierung von KI-Systemen, basierend auf ihrem Risikopotenzial für Grundrechte und Menschenwürde. Der Rechtsrahmen der KI-Verordnung legt insgesamt vier Risikostufen fest:

• Inakzeptable Risiken

• Hohe Risiken

• Begrenzte Risiken

• Minimale Risiken/Kein Risiko

Einfache Bots, die vordefinierte Antworten liefern, werden wahrscheinlich geringere Risiken aufweisen als komplexe oder universelle Bots.

Mutmaßlich geringe Risiken bei Allzweck-KI

Wie bereits erwähnt, müssen Interaktionen von Benutzern mit KI-Systemen Transparenzanforderungen erfüllen. Jede Allzweck-KI (General Purpose AI, GPAI), die zur Erzeugung von Text, Audio, Bild oder Video dient, wird dem Benutzer also transparente Informationen zum angewendeten KI-System bereitstellen müssen. Da sich die Entwicklung von KI-Systemen im Kundenservice hin zu GPAI-basierten Systemen bewegt, um auf vielfältige Kundenanliegen möglichst effektiv zu reagieren und individuelle Antworten zu liefern, werden viele dieser moderneren Systeme voraussichtlich in diese Kategorie eingestuft werden. Darüber hinaus kann es jedoch Anwendungsfälle geben, bei denen KI-Systeme im Kundenservice als Hochrisiko-KI-Systeme eingestuft werden, sofern sie in den in der Verordnung aufgeführten Einsatzbereichen die festgelegten Kriterien erfüllen. Mutmaßlich wird dies jedoch eher selten der Fall sein.

Kundenservice: Spezifische Compliance-Anforderungen

Die KI-Verordnung legt umfassende Compliance-Anforderungen für Hochrisiko-KI-Systeme fest und fordert für KI-Systeme mit begrenztem Risiko, insbesondere solche, die mit mangelnder Transparenz bei der KI-Nutzung verbunden sind, Transparentverpflichtungen der Anbieter. Das heißt: Viele KI-Systeme im Kundenservice werden die Nutzer darüber in Kenntnis setzen müssen, dass sie mit einem KI-System kommunizieren. Die EU verfolgt mit diesen Regelungen das Ziel, dass Nutzer eine informierte Entscheidung darüber treffen können, ob sie mit der KI fortfahren oder von der Kommunikation zurücktreten möchten. Das heißt auch: Unternehmen, die solche Systeme einsetzen, werden Möglichkeiten schaffen müssen, damit ihre Kunden nahtlos zwischen Bots und Mitarbeitern wechseln können.

Pflichten bei Hochrisiko-KI-Systemen

Unternehmen, die Hochrisiko-KI-Systeme entwickeln, vertreiben oder anwenden, werden deutlich umfangreicher in die Pflicht genommen, ehe sie das entsprechende KI-System auf den Markt bringen dürfen. Dazu gehören insbesondere folgende Anforderungen:

• Risikobewertung und Risikominderung: Hochrisiko-KI-Systeme müssen eine gründliche Risikobewertung durchführen, um potenzielle Gefahren zu identifizieren. Basierend auf dieser Bewertung müssen angemessene Maßnahmen ergriffen werden, um Risiken zu minimieren oder zu kontrollieren.

• Qualität der Datensätze: Es wird erwartet, dass Hochrisiko-KI-Systeme hochwertige Datensätze verwenden, um das Risiko von Fehlfunktionen und diskriminierenden Ergebnissen zu minimieren. Die Qualität der Daten, die das System speist, ist von entscheidender Bedeutung für Leistung und Sicherheit. KI-Systeme dürfen keine diskriminierenden oder unfair bevorzugenden Entscheidungen treffen. Es muss sichergestellt sein, dass das System gleichermaßen alle Kunden fair behandelt und keine Vorurteile oder Voreingenommenheiten aufweist.

• Protokollierung und Rückverfolgbarkeit: Um die Aktivitäten des KI-Systems zu protokollieren sind entsprechende Mechanismen notwendig. Diese ermöglichen eine Rückverfolgbarkeit der Ergebnisse und erleichtert die Überprüfung im Falle von Fehlfunktionen oder Beschwerden.

• Dokumentation und Transparenz: Anbieter von Hochrisiko-KI-Systemen müssen umfassende Dokumentationen bereitstellen, die alle relevanten Informationen über das System und seinen Zweck enthalten. So können Behörden die Einhaltung der Vorschriften überprüfen und Benutzer sind in der Lage, das System zu verstehen und seine Auswirkungen zu bewerten.

• Informationen für Benutzer: Klare und angemessene Informationen sollen die Benutzer in die Lage versetzen, die Funktionsweise des KI-Systems zu verstehen und angemessen damit zu interagieren. Dies ist besonders wichtig, um das Risiko von Missverständnissen oder Fehlinterpretationen zu minimieren. KI-Systeme im Kundenservice müssen transparent gestaltet sein, damit Benutzern Entscheidungen und Funktionsweise verstehen. Dies kann die Bereitstellung von klaren Erklärungen über die Funktionsweise des Systems und seiner Entscheidungen sowie die Offenlegung von Trainingsdaten und -algorithmen umfassen.

• Menschliche Aufsicht und Kontrolle: Hochrisiko-KI-Systeme müssen künftig so gestaltet sein, dass sie angemessen von Menschen überwacht und kontrolliert werden können. Das soll das Risiko von Fehlfunktionen minimieren. Menschliche Überwachung kann auch dazu beitragen, potenziell problematische Entscheidungen des Systems zu erkennen und zu korrigieren.

• Robustheit, Sicherheit und Genauigkeit: Hochrisiko-KI-Systeme müssen hohe Standards in Bezug auf Robustheit, Sicherheit und Genauigkeit erfüllen,um unbeabsichtigte Schäden zu minimieren und gegen unbefugte Manipulationen geschützt zu sein. Und solche Systeme müssen zuverlässig und stabil arbeiten, um unerwartete Ausfälle oder Sicherheitslücken zu vermeiden. Dies erfordert möglicherweise die Implementierung von Sicherheitsmaßnahmen wie Verschlüsselung, Zugriffskontrollen und Datenschutzvorkehrungen.

• Schutz der Privatsphäre und Datenverarbeitung: Kundendaten müssen gemäß den geltenden Datenschutzvorschriften verarbeitet und geschützt werden. KI-Systeme müssen daher sicherstellen, dass personenbezogene Daten vertraulich behandelt und nur für die vorgesehenen Zwecke verwendet werden.

Herausforderungen bei Technik und Betrieb werden Geld kosten

Bestehende KI-Systeme an die Anforderungen des Gesetzes anzupassen, ist eine technische, wie betriebliche Herausforderung. Technische Anpassungen wie die Änderung von Algorithmen und Datenverarbeitungsprozessen sind erforderlich, um den gesetzlichen Vorgaben gerecht zu werden. Zudem müssen Unternehmen ihre Datenmanagementprozesse überprüfen und aktualisieren, um Datenschutzstandards zu erfüllen. Die Einhaltung der Datenschutzbestimmungen erfordert möglicherweise zudem Investitionen in Datenschutztechnologien und Schulungen. Die Forderungen nach Transparenz und Erklärbarkeit bedingen möglicherweise sogar eine Neugestaltung der Systeme, um ihre Funktionsweise besser nachvollziehbar zu machen.

Auch ist eine umfassende Risikobewertung notwendig, um KI-Systeme auf potenzielle Compliance-Risiken hin zu prüfen. Die Integration neuer Gesetzesanforderungen in betriebliche Abläufe wiederum erfordert interne Richtlinienanpassungen und Schulungen für die Mitarbeiter. Unternehmen müssen interne Kontrollmechanismen implementieren, um die Compliance zu überwachen und zu dokumentieren. Alle diese Anpassungen sind mit erheblichen Kosten und Ressourcen verbunden und erfordern eine sorgfältige Planung sowie die Zusammenarbeit verschiedener Unternehmensbereiche und Interessengruppen. Auch kann die Einbindung externer Rechtsberater kann erforderlich sein, um die komplexe Gesetzgebung zu interpretieren und umzusetzen. Darüber hinaus müssen Unternehmen Ressourcen für das Risikomanagement bereitstellen, um potenzielle Risiken zu identifizieren und zu minimieren. Schlicht gesagt: Compliance ist aufwändig und kann ziemlich teuer werden.

Datenschutz und Datensicherheit

In der KI-Verordnung spielen Datenschutz und Datensicherheit eine wesentliche Rolle, da sie dazu dienen, die Privatsphäre und die Rechte Einzelner zu schützen und das Vertrauen in KI-Systeme zu festigen. Die KI-Verordnung und die DSGVO werden parallel existieren, jedoch wird es Schnittstellen geben, an denen beide Verordnungen anwendbar sind. Dies wird insbesondere dann relevant sein, wenn personenbezogene Daten bei der Entwicklung oder dem Testen eines KI-Systems verwendet werden, oder wenn personenbezogene Daten bei der Nutzung Künstlicher Intelligenz verarbeitet werden. Heißt: In diesen Fällen müssen Anbieter sicherstellen, dass beide Verordnungen eingehalten werden. Die KI-Verordnung formuliert in Artikel 15. zu „Genauigkeit, Robustheit und Cybersicherheit” konkrete Anforderungen an Hochrisiko-KI-Systeme. Gleichzeitig werden aber auch KI-Systeme mit geringerem Risiko an diese Anforderungen gemessen werden, sollte es zu Vorfällen im Zusammenhang mit KI-Systemen kommen.

Chancen für Innovation, Verbesserung und Entwicklung

Die Stärkung des Vertrauens und der Zuverlässigkeit in KI-gesteuerte Kundenservicelösungen ist von entscheidender Bedeutung für Unternehmen, die auf KI setzen, um ihren Kundenservice zu optimieren. Durch die Bereitstellung hochwertiger und transparenter KI-gesteuerter Lösungen können Unternehmen das Vertrauen ihrer Kunden stärken und gleichzeitig die Kundenerfahrung kontinuierlich verbessern. Dies umfasst die Implementierung robuster Datenschutz- und Sicherheitsmaßnahmen, klare Kommunikation über den Einsatz von KI und die Gewährleistung einer reibungslosen Interaktion zwischen KI und menschlichen Kundendienstmitarbeitern.

Die Entwicklung neuer KI-Technologien innerhalb des regulatorischen Rahmens bietet Unternehmen die Möglichkeit, die Anforderungen der KI-Verordnung umzusetzen. Dazu bedarf es eines Managementsystems für Risiken und Qualität, das es Unternehmen ermöglicht, neue Technologien frühzeitig zu bewerten und die Qualität des KI-Systems sowie seiner Daten zu überwachen.

Gleichzeitig bergen neue KI-Technologien bei ihrem Einsatz natürlich weitere Risiken. Anpassungen des Anhangs der KI-Verordnung sind daher explizit vorgesehen, um neuartige Technologien ebenfalls in die Kategorie der hochrisikobehafteten KI-Systeme einzubeziehen. Allgemeine KI ist bereits in der KI-Verordnung mit risikoreichen Systemen verknüpft, sodass eine strengere Regulierung dieser Technologien durchaus möglich ist. Für Unternehmen bietet dieser regulatorische Rahmen aber die Möglichkeit, eine Infrastruktur zu schaffen oder zu nutzen, in der jegliche neue KI-Technologie und auch jegliche Verschärfung der Regulierung berücksichtigt werden kann.

Wenn Unternehmen ein Managementsystem für Risiken und Qualität etablieren, umfassende Dokumentationsregelungen einführen und KI-Systeme in einer Infrastruktur betreiben, in der eine Aufzeichnung der Aktivitäten der KI-Systeme immer gewährleistet ist, können die Aufzeichnungen kontinuierlich überwacht und von Mitarbeitern regelmäßig verifiziert werden. Auf diese Weise sind Unternehmen auch für den Einsatz hochriskanter KI-Systeme gerüstet. Unternehmen, die bereits heute solche Anpassungen vornehmen und ihre Aufbau- und Ablauforganisation sowie ihre Betriebsinfrastruktur für KI anpassen, sind auch für zukünftige Entwicklungen neuer KI-Technologien und Anpassungen der KI-Verordnung gerüstet.

Jetzt die Vorbereitung starten!

Die Einführung der KI-Verordnung steht kurz bevor. Unternehmen sollten daher jetzt zunächst damit beginnen, ihre KI-Systeme zu inventarisieren und zu bewerten. Das bildet die Grundlage, um die KI-Systeme in eine der vorgegebenen Kategorien gemäß der Verordnung einzuordnen. Es ist ebenfalls wichtig, den Einsatz von GPAI in den KI-Systemen zu dokumentieren, um den Transparenzanforderungen an GPAI-Systeme gerecht zu werden.

Managementsysteme für die Risikobewertung und das kontinuierliche Monitoring von Risiken beim Einsatz von KI sind wesentliche Bausteine, um entsprechende Maßnahmen zu ergreifen. Gleichzeitig bieten solche Managementsysteme auch die Möglichkeit, potenzielle Risiken für das Unternehmen zu identifizieren und zu reduzieren, selbst bei Systemen, die als nicht besonders risikoreich eingestuft werden. Ein Managementsystem für die Qualität von Daten ist für alle Unternehmen, die KI-Systeme für ihre individuellen Geschäftstätigkeiten anpassen wollen, ohnehin unabdingbar. Trainings-, Test- und Validierungsdaten müssen entsprechende Qualitätskriterien erfüllen, um den ethischen Prinzipien zu entsprechen.

Unterstützende Werkzeuge und Ressourcen für Compliance

Für den Einsatz von Hochrisiko-KI-Systemen ist eine Betriebsumgebung mit den erforderlichen Werkzeugen und Ressourcen erforderlich, um den Anforderungen der KI-Verordnung gerecht zu werden. Dies umfasst in erster Linie eine Infrastruktur, in der die Ein- und Ausgaben zwischen KI-Systemen und Anwendern, aber auch zwischen den KI-Systemen und anderen interagierenden Systemen (Datenbanken, CRM-Systeme usw.) aufgezeichnet werden. Diese Aufzeichnungen müssen kontinuierlich analysiert und bewertet werden, und bei Abweichungen von Grenzwerten ist eine Bewertung durch Menschen erforderlich. Besonders hilfreich sind zudem so genannte AI Gateways, die den sicheren Einsatz von KI ermöglichen.

Mit einem AI Gateway ist jedes Unternehmen schnell und sicher in der Lage, die Leistungsfähigkeit von Conversational AI für seinen speziellen Anwendungsfall zu nutzen. Ein AI Gateway dient u.a. als eine Art Auswahl- und Überwachungs-Gatekeeper zwischen Anwendung und KI-Modell und prüft jede Kundenanfrage auf genau diese Anforderungen. Erst dann wird die Anfrage an das am besten geeignete KI-Modell gesendet. So werden Daten anforderungsgemäß geschützt und Kosten transparent. AI Gateways ermöglichen es Unternehmen, das Potenzial von Conversational AI schnell, rechtskonform und sicher zu nutzen – also auch im Lichte des EU AI Acts!