KI-Erfolg ist ein Prozess, kein Sprung! KI verstehen, verbessern, absichern

Stand: 12.10.2026 07:40 Uhr

KI-Agenten arbeiten selbstständig, geben Auskunft und treffen Entscheidungen. Aber: Unternehmen müssen gewährleisten, dass sie auch regelkonform und korrekt arbeiten.KI-Agenten übernehmen dabei zunehmend mehr Aufgaben und beweisen sich beispielsweise im täglichen Kundenkontakt. Diese autonomen Softwaresysteme arbeiten als KI-Prozessagenten und lösen komplexe Aufgaben, ohne dass Menschen tätig werden müssen. Dabei repräsentieren sie die Marke. Doch was passiert, wenn etwas schiefläuft? KI ohne Aufsicht ist keine Lösung, sondern ein Risiko.

Blackbox-KI-Systeme vermeiden – Compliance mitdenken

Ein KI-Agent ohne Überwachung ist eine Blackbox, die keine regulatorischen Anforderungen erfüllt. Abweichungen bleiben unerkannt. Das bedeutet, es gibt keine Einblicke in die Herkunft von Antworten, keinen Nachweis im Streitfall, keine Grundlage für Verbesserungen und keine transparente Compliance.
Deshalb sollten KMU, die eine KI-Lösung implementieren wollen, diese von Anfang an regelkonform mit Blick auf den EU AI Act aufbauen. Dabei geht es immer um den Schutz der Bürger und ihrer Grundrechte. Um dieser Anforderung gerecht zu werden, sind Überwachungsparameter mitzudenken, menschliche Kontrollen einzuplanen und die grundlegenden Risiken der KI zu analysieren.

Ein wichtiges Thema ist dabei der Schutz vor so genannter Prompt Injection, einer Cyberangriffsmethode, bei der schädliche oder manipulierte Befehle in die Eingabe (Prompts) einer KI eingeschleust werden. Eine weitere Anforderung ist die Dokumentation, damit die Arbeit der KI transparent und nachvollziehbar wird. Unternehmen müssen in der Lage sein, die Funktionsweise der Algorithmen, die Architektur des Systems sowie die genutzten Trainingsdaten zu prüfen, um Diskriminierung oder Fehlerquellen zu identifizieren. Eine detaillierte Dokumentation umfasst daher auch die technischen Spezifikationen für den Nachweis, dass die Entwickler sich systematisch mit den potenziellen Gefahren des KI-Systems auseinandersetzen.

Menschliche Überwachung – Human Oversight

Um sicherzustellen, dass KI-Agenten transparent und regelkonform arbeiten, braucht es die so genannte Human Oversight. In der Praxis lässt sich das mit Lösungen wie VIER Human-in-the-Loop umsetzen. Dazu werden Stellen im Prozess definiert, an denen der AI Agent nachfragen, beenden oder an einen Mitarbeiter übergeben muss. Das sollte geschehen etwa wenn Entscheidungen kritisch und / oder Daten sensibel sind, wenn rechtliche oder finanzielle Risiken entstehen oder Ausnahmen auftreten, die nicht sauber klassifizierbar sind.

In der Praxis kann das bedeuten: KI bearbeitet 80 bis 90 Prozent der Anfragen eigenständig. Fällt ein Vorgang aus dem Muster, wird er automatisch einem Mitarbeiter übergeben - inklusive einer Zusammenfassung des Kontexts und eines Vorschlags für die nächste Aktion.
Human Oversight bzw. Human in the Loop stellt somit einen zentralen Bestandteil moderner KI-Architekturen dar, indem es Automatisierung mit menschlicher Expertise verbindet. Das sorgt nicht nur für mehr Sicherheit und Compliance, sondern verbessert auch kontinuierlich die Qualität der bereitgestellten Dienstleistung. Das Zusammenspiel von Mensch und KI führt zu schnellen, präzisen, empathischen und damit kundenfreundlichen Lösungen.

Mit VIER AI Studio, einer Low-Code-Plattform, können Unternehmen eigene KI-gestützte Agenten für den Kundenservice und das interne Wissensmanagement intuitiv erstellen und regelkonform betreiben. Es ermöglicht die Automatisierung von Dialogen über verschiedene Kanäle wie Telefon, Chat, WhatsApp und E-Mail. Jede Konversation wird dabei im Studio vollständig geloggt, so dass Protokollierung und Rückverfolgbarkeit gemäß des EU AI Acts gewährleistet sind. Für die menschliche Aufsicht sind Eskalationspfade und manuelle Eingriffe konfigurierbar. Echtzeit-Dashboards und eine Anomalie-Erkennung sorgen für Sicherheit. Die KI-Kennzeichnung und Guardrails als Leitplanken für die KI-Lösungen greifen über AI Studio und schaffen Transparenz gegenüber Kunden. Schließlich sorgen Evaluation, Warnmeldungen, Prompt-Optimierung und Audit Logs für ein zuverlässiges Risikomanagement. VIER AI Studio ist auf Datenschutz und DSGVO-Konformität ausgelegt, wird in Deutschland gehostet und lässt sich nahtlos in bestehende Systeme, wie CRM- oder ERP-Software, integrieren. Damit trägt diese Lösung auch zur Souveränität und Datenhoheit für europäische Lösung bei und vermindert die Abhängigkeit von US-Anbietern.

Klein einsteigen, dann wachsen

Ein pragmatischer und ausreichend sicherer KI-Ansatz für Mittelständler ist es, mit einem klaren, kleinen Anwendungsfall zu starten und damit den Grundstein für die KI-Strategie von morgen zu legen. Parellel werden die Schutzmaßnahmen nach und nach weiterentwickelt, wenn KI-Systeme wachsen. Das beinhaltet auch den Schutz vor sogenannter Schatten-KI, also der ungenehmigten Nutzung von KI-Lösungen durch Mitarbeitende.

Damit KI sicher betrieben wird, sollten zudem die KI-Kompetenz im Unternehmen durch Schulungen und die Etablierung verbindlicher Regeln erhöht werden. Bei den genutzten Plattformen sind KI-Transparenz und eine saubere Dokumentation zentrale Voraussetzungen für Compliance und Vertrauen - und, sofern ein Hochrisiko-System betrieben wird, auch für die CE-Kennzeichnung und den legalen Marktzugang in der EU.

Die vier Risikoklassen von KI-Systemen gemäß EU AI Act

• Inakzeptable Risiken/Höchste Risikostufe: Das sind z.B. Systeme, die manipulative oder täuschende Techniken einsetzen, Menschen anhand sensibler Merkmale wie Herkunft, religiöser oder politischer Überzeugung biometrisch kategorisieren, Emotionen am Arbeitsplatz oder in Bildungseinrichtungen erkennen (außer aus medizinischen oder Sicherheitsgründen) oder Social Scoring betreiben. Solche KI-Systeme sind in der EU verboten.

• Hohe Risiken: KI-Systeme, die in Bereichen wie der kritischen Infrastruktur, im Bereich Bildung, Personalwesen oder der Strafverfolgung eingesetzt werden. Sie unterliegen strengen Auflagen bzgl. Risikobewertung, Dokumentation und menschlicher Überwachung.

• Begrenzte Risiken: KI-Systeme, die direkt mit Menschen interagieren oder Inhalte wie Text, Audio, Bild oder Video erzeugen. Hier gilt eine Transparenzpflicht: Nutzer müssen wissen, dass sie mit einer KI agieren, und entscheiden können, ob sie fortfahren. Unternehmen sollten deshalb einen nahtlosen Wechsel zwischen Bot und Mitarbeiter ermöglichen, damit Kunden nicht abspringen. Hierzu zählen KI-Prozessagenten, die etwa in einer Servicehotline rund um die Uhr im Einsatz sind und auf Large Language Models (LLMs) basieren. Für die zugrunde liegenden universell einsetzbaren Modelle (General Purpose AI) gelten darüber hinaus eigene Pflichten des EU AI Act, etwa zu technischer Dokumentation und Urheberrecht, die unabhängig von diesen vier Risikostufen bestehen.

• Minimale Risiken: Das sind KI-Systeme, die kaum eine Gefahr für die Sicherheit oder Grundrechte der Nutzer darstellen. Dazu zählen z.B. Spamfilter, Rechtschreibprüfung, Fotofilter, Routenplaner u.v.m. Für diese KI-Systeme bestehen keine speziellen Anforderungen. Sie müssen aber andere Vorgaben wie die Einhaltung des Urheberrechts oder von Antidiskriminierungsvorschriften erfüllen.