Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Das Feedback-Schwungrad: Wie aus Korrekturen Ihrer Mitarbeitenden Regeln werden, die jeder Agent befolgt

Orange ITS — KI-Engineering-Team 9 Min. Lesezeit

Ihr Agent für die Kreditorenbuchhaltung bucht eine Rechnung auf die falsche Kostenstelle. Maria aus der Finanzabteilung korrigiert sie und macht weiter. In der Woche darauf unterläuft dem Agenten derselbe Fehler, und diesmal korrigiert ihn Luca. Niemand hat jemandem Bescheid gesagt, und der Agent erinnert sich an keine der beiden Korrekturen.

So sieht der Normalfall eines KI-Einsatzes ohne Feedback-Loop aus. Die Mitarbeitenden korrigieren, der Agent wiederholt den Fehler, und das Wissen darüber, was “richtig” heisst, bleibt auf Köpfe und Chatverläufe verteilt. Die Kosten fallen als stille Steuer bei jeder einzelnen Aufgabe an.

Dieser Artikel zeigt, wie Sie solche Korrekturen in gemeinsame Regeln verwandeln, die jeder Agent befolgt, und wie Sie die Routine mit einem kleinen Team betreiben. Wenn Sie Unterstützung bei der Anwendung auf einen laufenden Prozess wünschen, beginnt unsere Arbeit zur Prozessoptimierung genau mit einer solchen Analyse.

Ein KI-Feedback-Loop ist eine betreute Routine, die Korrekturen aus einzelnen Köpfen in gemeinsame Artefakte überführt, die die Agenten lesen. Der Zuwachs entsteht dadurch, dass Menschen entscheiden, was behalten wird. Das System bringt sich nichts selbst bei.

Hinweis zum Umfang: Dieser Beitrag behandelt die Korrekturroutine selbst. Zu den begleitenden Kennzahlen lesen Sie die KPIs, die belegen, dass Ihre KI-Agenten funktionieren, zur umfassenderen Betriebsdisziplin KI-Agenten im Produktivbetrieb steuern.


Warum Korrekturen verloren gehen

Jede Korrektur enthält drei Dinge: was der Agent getan hat, was er hätte tun sollen und warum. Wer eine Ausgabe korrigiert, kennt den dritten Punkt meist, ohne ihn aufzuschreiben. Gerade diese Begründung ist der wertvolle Teil, und sie verflüchtigt sich.

Drei Gewohnheiten verursachen den Grossteil des Verlusts:

  • Persönliche Umgehungslösungen. Eine Mitarbeiterin merkt, dass ein bestimmter Lieferant immer eine besondere Formulierung braucht, und schreibt den Prompt jedes Mal um. Das Können bleibt persönlich und geht mit der Person.
  • Korrekturen im Chatfenster. Eine Korrektur innerhalb einer Unterhaltung hält so lange wie die Unterhaltung. Die nächste Sitzung beginnt wieder beim leeren Blatt.
  • Stille Anpassungen. Das Team übernimmt die Ausgabe, passt sie von Hand an und sagt nichts. In jedem Bericht sieht die Genauigkeit des Agenten gut aus, weil die Aufgabe ja erledigt wurde.

Rahul Garg, Principal Engineer bei Thoughtworks, hat dieses Muster im April 2026 auf martinfowler.com beschrieben. Seine These: Teams entwickeln sich mit der Zeit auseinander, je nachdem, ob persönliches Lernen zur Fähigkeit des Teams wird. Er nennt das den Unterschied zwischen persönlicher Routine und Teamfähigkeit. Sein Beitrag enthält Praxisempfehlungen aus Softwareteams und keine Ergebnisdaten. Verstehen Sie ihn daher als gut begründete Methode und nicht als bewiesenes Resultat. Die Struktur lässt sich gut auf operative Arbeit übertragen und ist einfach genug, um sie innerhalb eines Monats auszuprobieren.


Die vier Signale, die es zu erfassen lohnt

Garg teilt das, was Mitarbeitende lernen, in vier Signalarten ein. Jede hat ein natürliches Zuhause, und die Sortierung nach Art verhindert, dass der Korrekturstapel zu einer undifferenzierten Liste wird.

SignalWoran man es erkenntWohin es gehört
KontextDem Agenten fehlte ein Fakt: ein Lieferantencode, die Version einer Preisliste, eine Ausnahme von der RichtlinieWissensdatenbank oder ständige Anweisungen des Agenten
AnweisungEine Formulierung, die spürbar bessere oder schlechtere Ausgaben lieferteEin gemeinsamer Prompt oder Befehl, den alle nutzen
WorkflowEine Abfolge von Schritten, die funktionierte, etwa den Vertrag zu prüfen, bevor die Antwort entstehtEin Playbook, das den Prozess beschreibt
FehlerEine falsche Ausgabe samt UrsacheEine Leitplanke, eine Regel oder ein dokumentiertes Anti-Pattern

Bei der letzten Zeile ist Garg unmissverständlich: Die Ursache zählt mehr als das Symptom. “Der Agent hat die Rechnung falsch gebucht” ist ein Symptom. “Der Agent kennt keine Regel für Rechnungen von Konzerngesellschaften, die im Auftrag einer Tochter fakturieren” ist eine Ursache, und aus einer Ursache lässt sich eine Regel machen.

Ein durchgerechnetes Beispiel

Nehmen wir den Fall aus der Kreditorenbuchhaltung, mit rein illustrativen Zahlen. Der Agent bucht 400 Rechnungen pro Monat, und das Team korrigiert 24 davon. Die Durchsicht der 24 zeigt, dass 15 dieselbe Ursache haben: Rechnungen der konzerninternen Servicegesellschaft gehören auf die Kostenstelle der Tochter, die im Text genannt wird. Das ist ein Fehlersignal mit einer Kontextlücke darunter.

Eine Regel kommt in die Anweisungen des Agenten, eine Zeile in die Lieferantentabelle, und zwei der echten Rechnungen werden zu Testfällen. Im Folgemonat werden dieselben 15 Rechnungen korrekt gebucht. Die verbleibenden neun sind der lange Schwanz, mit ihnen geht die Überprüfung weiter.

Dieses Ergebnis ist zur Veranschaulichung erfunden. Übertragbar ist der Mechanismus: Ein Bündel verwandter Korrekturen schrumpft zu einer einzigen Lösung.


Wo Korrekturen leben sollten

Eine Regel, die nur in den Notizen einer Person steht, hat dasselbe Problem wie eine Korrektur, die nur in ihrem Kopf steckt. Das Ziel muss ein Ort sein, den der Agent tatsächlich liest und den das Team einsehen kann.

Drei Arten von Artefakten decken die meisten Fälle ab:

  1. Regeln und Anweisungen. Ein kurzes, versioniertes Dokument, das der Agent zu Beginn jedes Laufs lädt. Halten Sie es knapp: Eine lange Anweisungsdatei konkurriert mit der Aufgabe selbst um die Aufmerksamkeit des Modells.
  2. Wissenseinträge. Fakten, die sich über die Zeit ändern und die der Agent bei Bedarf abruft: Preislisten, Lieferantenkonditionen, Produktspezifikationen. Falls Sie bereits ein Retrieval-Setup betreiben, zeigt KI-Agenten und Wissensmanagement, wie Sie es aktuell halten.
  3. Testfälle. Die echte Eingabe, die falsche Ausgabe und die korrigierte Ausgabe, gemeinsam abgelegt. Jeder behobene Fehler wird zur Regressionsprüfung, sodass eine spätere Änderung ihn nicht unbemerkt zurückbringen kann.

Gargs eigenes Beispiel führt ein Lernprotokoll im Repository, das spätere Sitzungen als Kontext laden. Dieselbe Idee funktioniert auch ausserhalb von Code: ein gemeinsames Dokument oder eine Tabelle mit einer Zeile pro Erkenntnis, einem Datum, einer verantwortlichen Person und einem Link zum Beispiel.

Eine Warnung gehört dazu. Jede Regel, die Sie hinzufügen, hat ihren Preis, denn sie belegt Platz im Kontext des Agenten und kann mit anderen Regeln kollidieren. Eine Regel, die letztes Jahr eine Schwäche des Modells ausglich, kann nach einem Modellwechsel überflüssig sein. Deshalb sieht die folgende Routine auch das Löschen vor.


Die Routine: klein genug, um zu überleben

Die meisten Feedback-Programme scheitern, weil sie zu viel verlangen. Ein Formular, das nach jeder Aufgabe auszufüllen ist, wird binnen zwei Wochen aufgegeben. Garg plant bewusst gegenteilig: Das aufwendigste Ritual, das er beschreibt, ist ein Fünf-Minuten-Punkt auf der Tagesordnung, und er schreibt, der Rhythmus sei wichtiger als die Strenge.

Eine Routine für ein Betriebsteam mit zehn Personen sieht so aus:

  • Im Moment der Korrektur (unter 30 Sekunden). Wer die Ausgabe korrigiert, markiert sie mit einem der vier Signale und einer kurzen Notiz zum Grund. Hängen Sie das an einen Schritt, den es schon gibt, etwa die Freigabe-Schaltfläche oder das Schliessen des Tickets.
  • Wöchentlich (15 Minuten). Die verantwortliche Person liest die markierten Fälle, führt Duplikate zusammen und weist jedem ein Ziel zu: Regel, Wissenseintrag, Testfall oder Verwerfen. Einmalige Fälle werden bewusst verworfen.
  • Monatlich (30 Minuten). Prüfen Sie die wiederkehrenden Korrekturen. Taucht derselbe Fehler nach dem Schreiben einer Regel erneut auf, ist die Regel unklar, am falschen Ort oder wird vom Agenten ignoriert.
  • Vierteljährlich. Löschen Sie Regeln, die nicht mehr gelten, kontrollieren Sie, ob die Artefakte noch gelesen werden, und testen Sie den Agenten erneut anhand der gespeicherten Fälle. Garg schlägt vor, die periodische Überprüfung durch den Quartalstermin oder durch das Gefühl einer Abweichung auszulösen.

Die verantwortliche Person ist wichtiger als der Terminplan. Pro Agent oder Prozess sollte eine benannte Person das letzte Wort haben, Garg überlässt das letzte Wort einem Tech Lead oder einer bestimmten verantwortlichen Person. Gremien erzeugen widersprüchliche Regeln.


Messen, ob es wirkt

Seien wir ehrlich, was die Beleglage betrifft. Garg selbst rät vom Bau eines Dashboards ab: “I would not recommend building a dashboard. I would recommend paying attention.” (Sinngemäss: Ich würde kein Dashboard empfehlen, sondern aufmerksames Hinschauen.) Veröffentlichte Ergebnisdaten zu Korrekturschleifen sind rar, und eine Aussage wie “Feedback-Loops halbieren die Fehler” liesse sich durch nichts belegen, was wir überprüfen könnten.

Einige Zahlen, die Ihnen ohnehin vorliegen, können Sie dennoch beobachten:

  • Akzeptanzquote beim ersten Durchlauf. Der Anteil der Ausgaben, die Ihr Team ohne Änderung übernimmt. Garg zählt sie zu seinen bevorzugten Indikatoren.
  • Korrekturen pro hundert Aufgaben. Gezählt anhand der Markierungen aus der oben beschriebenen Routine.
  • Wiederholte Korrekturen. Derselbe Fehler, der zweimal korrigiert wird, ist die aussagekräftigste Zahl, denn ein funktionierender Kreislauf sollte sie gegen null drücken.
  • Nacharbeit nach der Auslieferung. Wie oft eine akzeptierte Ausgabe später zur Korrektur zurückkommt.

Diese Werte passen gut zu den betrieblichen Kennzahlen in unserem Leitfaden zu KPIs für KI-Agenten. Legen Sie vor der ersten wöchentlichen Überprüfung eine Ausgangsbasis fest und vergleichen Sie nach acht Wochen. Sinken die Wiederholungen nicht, liegt es an der Routine, und meist erreichen die Regeln den Agenten nicht oder niemand verantwortet sie.


Was auch in einer fortgeschrittenen Pipeline bei Menschen bleibt

Man liest “Feedback-Loop” leicht als ein System, das sich automatisch verbessert. Das beste öffentliche Beispiel für einen ausgefeilten Kreislauf zeigt, wie viel menschliche Arbeit darunter steckt.

Im August 2026 beschrieben Shopifys Ingenieure, wie sie ihren Assistenten Sidekick verbessern. Die Pipeline bewertet den Live-Verkehr mit einem automatischen Prüfer, spielt gescheiterte Gespräche mit Reparaturhinweisen erneut ab und aktualisiert laut Shopify täglich die Modellgewichte. Die Angaben stammen vom Unternehmen selbst, die Ergebnisse sind also Behauptungen und keine unabhängigen Befunde. Entscheidend sind hier die menschlichen Anteile:

  • Das Produktteam legt das Raster fest. Wenige bewertete Kriterien (Vollständigkeit, Ausführung, Antwortqualität und Sicherheit) bestimmen, was als gut gilt.
  • Menschen kalibrieren den Prüfer. Zwei erfahrene Annotatoren bewerten unabhängig voneinander 25 zufällige Stichproben, und das Team misst, wie gut sie übereinstimmen. Shopify hält fest, dass ein sehr niedriger Übereinstimmungswert von etwa 0,2 bedeutet, dass das Raster mehrdeutig ist und das Team sich erneut treffen und es iterativ überarbeiten soll. Wie Sie ein solches Testset aus Ihren eigenen Support-Tickets aufbauen, zeigt KI-Evals aus echten Tickets.
  • Menschen übernehmen, was die Maschine nicht reparieren kann. Gespräche, die die automatische Kritik nicht beheben konnte, gehen an menschliche Annotatoren.

Shopify betont zudem, dass zuerst das Umfeld verbessert wird, bevor Gewichte angetastet werden. Prompts, Tool-Definitionen und umgebender Code kommen zuerst, was dem Kleinteam-Ansatz dieses Artikels entspricht. Der Beitrag schätzt, dass dasselbe Verkehrsaufkommen auf einem Frontier-Modell “could easily cost” 27 Millionen US-Dollar pro Jahr kosten könnte, gegenüber rund 1 Million für das feinabgestimmte Modell. Das sind Shopifys eigene Schätzungen ohne gezeigte Herleitung, und der Qualitätsvergleich beruht auf dem eigenen Prüfer. Nichts in dieser Pipeline ist unbeaufsichtigte Verbesserung. Es ist eine teurere Variante derselben Disziplin: definieren, was gut ist, den Prüfer prüfen und die schwierigen Fälle an Menschen weitergeben.

Für ein Schweizer KMU ist die Lehre massvoll. Für den Einstieg brauchen Sie kein Reinforcement Learning. Sie brauchen den wöchentlichen Termin, die verantwortliche Person und die Gewohnheit, Erkenntnisse aufzuschreiben. Was sich ohne Mensch im Kreislauf verbessern lässt und was nicht, lesen Sie in selbstlernende KI-Systeme.


Typische Stolpersteine des Kreislaufs

  • Regelflut. Dutzende sich überlappender Anweisungen verlangsamen den Agenten und schaffen Widersprüche. Führen Sie zusammen und räumen Sie jedes Quartal auf.
  • Keine verantwortliche Person. Markierungen sammeln sich in einer Tabelle, die niemand liest. Benennen Sie die Person vor dem Start.
  • Jede Änderung als Erkenntnis behandeln. Manche Korrekturen spiegeln persönlichen Geschmack und sagen nichts über einen Fehler aus. Die wöchentliche Sichtung dient auch dazu, sie auszusortieren.
  • Sensible Daten im Protokoll. Ein Lernprotokoll mit Kundennamen oder Personendaten wird zur Datenschutzfrage. Halten Sie das Muster und ein anonymisiertes Beispiel fest. Prüfen Sie die Vorgaben Ihrer Branche, bevor Sie echte Eingaben als Testfälle speichern.
  • Kein erneuter Test. Regeln, die nie gegen gespeicherte Fälle geprüft werden, können ein Problem lösen und ein anderes verursachen. Behalten Sie die Fälle und führen Sie sie nach jeder Änderung erneut aus, auch nach einem Modellwechsel.

Der Start am nächsten Montag

Wählen Sie einen Agenten mit sichtbarer Fehlerquote. Ergänzen Sie beim Freigabeschritt eine Markierung mit nur einem Etikett, benennen Sie eine verantwortliche Person und blocken Sie wöchentlich fünfzehn Minuten. Nach vier Sitzungen haben Sie eine kurze Liste wiederkehrender Ursachen, eine Handvoll Regeln und einen ersten Satz Testfälle aus Ihrer eigenen Arbeit. Diese kleine Sammlung ist ein unternehmensspezifischer Wert: Sie hält fest, wie Ihr Betrieb die Dinge erledigt haben will, in einer Form, die jeder künftige Agent und jedes künftige Modell lesen kann.

Häufige Fragen

Was ist ein KI-Feedback-Loop?

Ein KI-Feedback-Loop ist eine Routine, die erfasst, was Ihre Mitarbeitenden an der Ausgabe eines Agenten ändern oder ablehnen, und daraus etwas macht, das der Agent beim nächsten Mal liest, etwa eine Regel, einen Wissenseintrag oder einen Testfall. Das Modell selbst muss sich dafür nicht ändern. Die Verbesserung steckt in den Anweisungen, im Wissen und in den Kontrollen rund um das Modell.

Lernt ein KI-Agent automatisch aus Korrekturen?

Nein, standardmässig nicht. Eine Korrektur im Chatfenster verschwindet in der Regel, wenn die Sitzung endet. Der Agent wird nur besser, wenn jemand oder ein geprüfter Prozess die Erkenntnis in einem gemeinsamen Artefakt festhält, etwa in einer Regeldatei, einem Wissensartikel oder einem Evaluationsfall. Das Anpassen der Modellgewichte ist ein eigener und deutlich seltenerer Schritt.

Wie oft sollten wir Korrekturen an Agenten überprüfen?

Für die meisten Teams genügt ein wöchentlicher Rhythmus. Fünfzehn Minuten reichen, um die Korrekturen der Woche zu sichten, jeder ein Ziel zuzuweisen und eine verantwortliche Person zu benennen. Ergänzen Sie eine vierteljährliche Überprüfung, die veraltete Regeln löscht und kontrolliert, ob die Artefakte noch verwendet werden. Rahul Garg beschreibt das aufwendigste Ritual als Fünf-Minuten-Punkt auf der Tagesordnung.

Wer sollte die Regeln verantworten, die aus Korrekturen entstehen?

Eine namentlich benannte Person pro Agent oder Prozess, meist die Betriebsleitung, die den Workflow ohnehin verantwortet. Sie entscheidet, was zur gemeinsamen Regel wird, was eine einmalige Korrektur bleibt und was gelöscht wird. Ohne eine einzige verantwortliche Person häufen sich Regeln an, widersprechen sich und verschlechtern den Agenten unbemerkt.

Woran erkennen wir, dass der Feedback-Loop funktioniert?

Beobachten Sie die Akzeptanzquote beim ersten Durchlauf (den Anteil der Ausgaben, die Ihr Team ohne Änderung übernimmt), die Zahl der Korrekturen pro hundert Aufgaben und wiederkehrende Korrekturen derselben Art. Sinkende Wiederholungen sind das deutlichste Zeichen. Garg rät, auf diese Signale zu achten, statt ein Dashboard zu bauen, und öffentliche Ergebnisdaten zu Korrekturschleifen sind weiterhin dünn gesät.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.