Sie haben Ihren ersten KI-Agenten produktiv gesetzt. Er bearbeitet Kundenanfragen, priorisiert Support-Tickets oder leitet eingehende Leads weiter — und es funktioniert. Dann tut er eines Tages etwas Unerwartetes: Er erstattet einen Betrag, den er nicht hätte erstatten sollen, eskaliert zum falschen Ansprechpartner oder antwortet mit drei Monate alten Informationen. Niemand weiss, wer verantwortlich ist, und es gibt keinen Nachweis darüber, was der Agent entschieden hat oder warum.
Das ist ein Governance-Versagen. Und für KMU ist es einer der häufigsten Gründe, warum frühe KI-Deployments das Vertrauen der Geschäftsleitung verlieren und still und leise beerdigt werden.
KI-Agenten Governance muss nicht wie ein Enterprise-Compliance-Programm aussehen. Ein Unternehmen mit 25 Mitarbeitenden braucht weder ein Steering Committee noch ein Change-Control-Board. Aber jedes Unternehmen, das Agenten-KI einsetzt — unabhängig von der Grösse — braucht klare Antworten auf wenige grundlegende Fragen: Wer ist für den Agenten verantwortlich? Was darf er ohne Rückfrage tun? Wer greift ein, wenn etwas schiefläuft? Und wo ist der Audit-Trail?
Dieser Leitfaden gibt Ihnen das Framework. Passend für KMU, praxisnah genug, um es nächste Woche umzusetzen.
Warum Governance ein Wettbewerbsvorteil ist, kein Bremsblock
Governance zu überspringen, um schneller zu sein, ist ein falscher Kompromiss. Agenten, die ohne klare Grenzen operieren, erzeugen regelmässig Vorfälle — und jeder Vorfall löst genau jene Ad-hoc-Hektik aus, die weit mehr Zeit kostet, als eine einfache Freigabekette einzurichten.
Das Geschäftsargument für ein schlankes Governance-Framework:
- Vertrauen baut sich auf. Stakeholder, die saubere Audit-Trails und klare Verantwortlichkeiten sehen, geben der nächsten Automatisierung grünes Licht. Wer nicht erklären kann, was der Agent letzten Dienstag gemacht hat, wird bremsen.
- Das regulatorische Risiko ist real. Wenn Ihre Agenten personenbezogene Daten verarbeiten, befinden Sie sich bereits im Anwendungsbereich der DSGVO. Der EU AI Act fügt für bestimmte Anwendungsfälle weitere Klassifizierungsanforderungen hinzu. Details dazu finden Sie in unserem Artikel zu KI-Agenten und DSGVO.
- Fehler werden lernbar. Ein gesteuerter Agent hat Logs. Ein ungesteuerter hinterlässt nur ein Rätsel.
Das Ziel ist ein Framework, das von einem Agenten auf zehn skaliert, ohne die Regeln jedes Mal neu schreiben zu müssen.
Die vier Säulen einer KMU-gerechten KI-Agenten Governance
1. Ownership — wer trägt die Verantwortung für diesen Agenten?
Jeder Agent braucht einen namentlich benannten menschlichen Verantwortlichen. Kein Team. Eine Person.
Der Agent-Owner ist verantwortlich für:
- Die Definition, was der Agent tun darf (seinen Handlungsrahmen)
- Die Genehmigung von Änderungen an seinen Anweisungen oder Datenquellen
- Die Überprüfung gemeldeter Vorfälle innerhalb einer vereinbarten Frist
- Die Entscheidung, wann der Agent pausiert oder abgeschaltet werden soll
In einem kleinen Unternehmen ist das häufig die Leitung Operations, der Abteilungsleiter, dessen Workflow der Agent unterstützt, oder — in frühen Deployments — der CEO. Entscheidend ist, dass die Verantwortlichkeit eindeutig und schriftlich festgehalten ist. «Das IT-Team ist zuständig» ist keine Ownership.
Wenn Sie mit einem externen Entwicklungspartner arbeiten (siehe unseren Leitfaden zur Auswahl einer KI-Agenten-Entwicklungsfirma), muss die Übergabe der Verantwortlichkeit explizit geregelt sein: Wer hat nach dem Go-live die Kontrolle?
2. Perimeterdefinition — was darf der Agent ohne Rückfrage tun?
Dies ist die operativ wichtigste Governance-Entscheidung, die Sie treffen werden. Definieren Sie zwei Zonen:
Autonome Zone — Aktionen, die der Agent ohne menschliche Prüfung ausführen darf. Beispiele: FAQ beantworten, ein Support-Ticket erfassen, eine Bestätigungs-E-Mail senden, Informationen aus genehmigten Datenquellen abrufen.
Genehmigungszone — Aktionen, die eine menschliche Bestätigung vor der Ausführung erfordern. Beispiele: Rückerstattungen über einem Schwellenwert, Mitteilungen im Namen eines namentlich genannten Führungsmitglieds, Änderungen in einem führenden System, Eskalation an ein Compliance-Team.
Die Aufteilung ist nicht starr. Wenn der Agent sich bewährt, verschieben Sie Punkte aus der Genehmigungszone in die autonome Zone — bewusst, mit ausdrücklicher Freigabe des Agent-Owners. So bauen Sie begründetes Vertrauen auf, kein blindes.
Dokumentieren Sie die Zonen. Eine kurze Tabelle im internen Wiki genügt. Das Ziel: Jede Person im Team kann die Frage «Darf der Agent X tun?» beantworten, ohne ein Meeting einzuberufen.
3. Audit-Trails — was hat der Agent entschieden, und warum?
Ein KI-Agent, der Aktionen in Ihren Systemen ausführt, muss eine Aufzeichnung hinterlassen. Diese sollte mindestens enthalten:
- Zeitstempel der Aktion
- Input, der die Entscheidung ausgelöst hat (die Benutzernachricht, die eingehenden Daten, das Trigger-Ereignis)
- Entscheidung des Agenten und den eingeschlagenen Pfad
- Output — was er tatsächlich getan oder gesendet hat
- Eskalations-Flag — ob ein Mensch beteiligt war und wer
Viele Agenten-Plattformen protokollieren dies automatisch; individuell entwickelte Agenten können von Anfang an so konzipiert werden, dass sie strukturierte Logs in eine Datenbank, in Object Storage oder in ein Observability-Tool schreiben. Wenn Ihr aktueller Agent keine Logs produziert, ist das die erste Baustelle, bevor Sie seinen Handlungsrahmen erweitern.
Auch die Aufbewahrungsdauer ist relevant. Für die DSGVO-Konformität benötigen Logs, die personenbezogene Daten enthalten, eine definierte Aufbewahrungs- und Löschrichtlinie. Dreissig bis neunzig Tage sind ein vernünftiger Ausgangspunkt für rein operative Logs, aber die DSGVO verlangt eine zweckbasierte Begründung für jeden gewählten Zeitraum — Sicherheits- oder Accountability-Logs laufen in der Praxis oft zwischen 90 Tagen und 18 Monaten.
4. Incident Response — was passiert, wenn etwas schiefläuft?
Definieren Sie einen einfachen Ablauf, bevor Sie ihn brauchen:
- Erkennung: Wer wird benachrichtigt, wenn der Agent einen Fehler meldet, eine Eskalation auslöst oder einen Schwellenwert überschreitet?
- Triage: Der Agent-Owner prüft den Log und klassifiziert: falscher Output, falsche Aktion, Systemfehler, Grenzfall ausserhalb des definierten Rahmens.
- Eindämmung: Kann der Agent pausiert werden, ohne den unterstützten Workflow zu unterbrechen? Falls nicht, ist das ein Designproblem, das behoben werden muss.
- Behebung: War es ein Einzelfall oder ein Muster? Wiederkehrende Fehler erfordern ein Scope-Update oder einen Retraining-Trigger.
- Dokumentation: Jeder relevante Vorfall erhält einen Absatz im Agenten-Register — was passiert ist, was geändert wurde, wer entschieden hat.
Dafür brauchen Sie kein Ticketing-System. Ein gemeinsames Dokument und ein Slack-Kanal genügen bei fünf Agenten. Ab Agent zehn sollte es strukturierter sein — wie sich diese Entwicklung typischerweise vollzieht, erläutert KI-Agenten in der Produktion managen.
Ein praktisches Governance-Template für Ihren ersten Agenten
| Element | Was zu definieren ist | Beispiel |
|---|---|---|
| Agenten-Name | Eindeutiger Bezeichner | «Support Triage Agent v1» |
| Verantwortlicher | Namentlich benannte Person | Maria Rossi, Head of Operations |
| Perimeter (autonom) | Was er frei tun darf | Tickets klassifizieren, Bestellhistorie abrufen |
| Perimeter (Genehmigung) | Was eine Freigabe erfordert | Rückerstattungen > CHF 100 |
| Datenquellen | Genehmigte Inputs | Zendesk, Order-DB (nur lesend) |
| Audit-Log-Speicherort | Wo Entscheidungen gespeichert werden | AWS S3 / ops-logs Bucket |
| Eskalationskontakt | Wer bei Fehler benachrichtigt wird | Identisch mit Verantwortlichem |
| Prüfrhythmus | Wann der Verantwortliche die Performance kontrolliert | Monatlich |
| Vorfall-Schwellenwert | Was einen Vorfallseintrag auslöst | Jede unbeabsichtigte externe Aktion |
Was sich mit einem gesteuerten Agenten im Alltag verändert
Governance klingt nach Verwaltungsaufwand. In der Praxis bedeutet es, dass Ihr Agent einfacher zu vertrauen und einfacher zu erweitern ist.
Ein anschauliches Szenario: Ein Logistikunternehmen betreibt einen KI-Agenten für Lieferantenanfragen per E-Mail. Ohne Governance verbringt das Team einen halben Tag damit herauszufinden, was der Agent gesagt hat, an wen und warum — ohne Logs und ohne definierten Verantwortlichen ist jede Korrektur ein Ratespiel.
Mit einer definierten Governance — eine autonome Zone (Standard-FAQs beantworten, interne Verfügbarkeitsdaten abfragen) und eine Genehmigungszone (auf konkrete Daten festlegen, Konditionen verhandeln) — wird derselbe Vorfall zu einer fünfminütigen Log-Prüfung. Der Verantwortliche sieht den auslösenden Input, erkennt, dass die Agenten-Instruktionen die mehrdeutige Formulierung nicht abgedeckt haben, aktualisiert den Rahmen, und die Korrektur ist noch am selben Nachmittag live.
Der Unterschied liegt nicht in der Technologie. Er liegt darin, ob der Agent mit klaren Antworten auf vier einfache Fragen in Betrieb genommen wurde.
Für den Sicherheitsaspekt dieser Art von Setup behandelt Sicherheitsrisiken von KI-Agenten die Bedrohungsmodelle, die KMU kennen sollten — insbesondere Prompt-Injection- und Datenexfiltrations-Risiken, die Governance-Kontrollen helfen zu verhindern.
Für wen dieses Framework geeignet ist (und wo es Grenzen hat)
Dieses Framework passt für:
- KMU, die ein bis zehn Agenten in Geschäftsprozessen einsetzen
- Unternehmen, bei denen Agenten mit Kunden, Datensystemen oder externen Parteien interagieren
- Teams, die den KI-Einsatz ausweiten möchten, ohne eine formale Governance-Funktion aufzubauen
Dieses Framework reicht nicht aus für:
- Hochrisiko-KI-Anwendungen gemäss Anhang III des EU AI Acts (bestimmte HR-Screening-Systeme, Kreditwürdigkeitsprüfungen, Strafverfolgung (Kategorie 6) sowie — je nach Anwendungsfall — Migrationskontrolle/Grenzsicherung oder Rechtspflege (Kategorien 7–8)) — diese erfordern eine formale Konformitätsprüfung
- Regulierte Sektoren (Banking, Gesundheitswesen, Versicherungen), in denen branchenspezifische Vorschriften zusätzliche Anforderungen auferlegen
- Grosse Agenten-Flotten (20+), für die eine eigentliche MLOps/AgentOps-Praxis gerechtfertigt ist
Wenn Ihr Anwendungsfall in die Nähe dieser oberen Grenzen rückt, verschiebt sich die Frage von «Brauchen wir Governance?» zu «Welcher Governance-Standard gilt?». Unser Service KI-Strategie beginnt typischerweise genau mit dieser Abgrenzungsübung.
Nicht Governance verlangsamt Sie — sondern ihr Fehlen
Der häufigste Einwand gegen jede Governance-Diskussion ist, dass sie Reibung erzeugt. Die Unternehmen, die mit KI-Agenten am schnellsten vorankommen, sind nicht jene, die auf Struktur verzichten — es sind jene, die frühzeitig eine schlanke Struktur aufgebaut haben und nicht innehalten, sanieren oder Vertrauen nach einem vermeidbaren Vorfall wiederherstellen mussten.
Den ROI von KI-Agenten messen ist deutlich einfacher, wenn Sie saubere Logs und einen klaren Verantwortlichen haben. Ohne beides können Sie nicht einmal beurteilen, ob der Agent überhaupt funktioniert.
Wenn Sie Ihren ersten oder zweiten Agenten einsetzen und ihn von Anfang an richtig aufsetzen möchten — Perimeter, Ownership, Logs und Incident Response vor dem Go-live definiert — vereinbaren Sie ein 30-minütiges Gespräch mit Orange ITS. Wir analysieren Ihr aktuelles Setup, identifizieren, wo Governance-Lücken Risiken erzeugen, und erarbeiten einen konkreten Plan, der zu Ihrer Unternehmensgrösse passt.