Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Selbstlernende KI-Systeme: Was sich von selbst verbessert und was weiterhin Menschen braucht

Orange ITS — KI-Engineering-Team 7 Min. Lesezeit

Ihr Angebotsassistent schlägt für einen Lieferanten eine falsche Lieferzeit vor, und Ihre Disponentin korrigiert sie. Drei Wochen später macht er denselben Vorschlag erneut. Sie fragen sich, was „selbstlernend“ auf der Folie des Anbieters eigentlich bedeutete.

Der Begriff deckt sehr verschiedene Dinge ab. Manche Systeme schreiben sich Notizen, andere passen Prompts an, einige wenige trainieren die Modellgewichte nach. Wenn Sie entscheiden müssen, was Sie kaufen oder bauen, lautet die nützliche Frage: Wo wird das Gelernte gespeichert, und wer entscheidet, was bleibt? Unsere KI-Strategie-Arbeit beginnt in der Regel genau mit dieser Frage.

Selbstlernende KI besteht im Produktivbetrieb überwiegend aus erfasstem Feedback, Regeln, Gedächtnis und Tests ausserhalb des Modells, und sie wird besser, wenn Menschen entscheiden, was behalten wird. Die Gewichte des Modells zu verändern, ist seltener, und selbst dann legen Menschen den Massstab fest.


Was „Lernen“ in der Praxis meist heisst

Ein Sprachmodell schreibt sich nicht um, während Sie mit ihm chatten. Zeigen Sie ihm in einem Prompt Beispiele, passt es sich nur für dieses Gespräch daran an. Das GPT-3-Paper von Brown et al. beschreibt das als Arbeiten „ohne Gradienten-Updates oder Fine-Tuning“. Verschwindet der Kontext, verschwindet auch die Wirkung.

Dauerhaftes Lernen muss deshalb woanders stattfinden. Die Dokumentation von Anthropic zum Memory-Tool ist dafür ein klares Beispiel. Das Modell bittet darum, Dateien zu lesen oder zu schreiben, und Ihre Anwendung führt diese Anfragen aus. Das Gedächtnis liegt in Ihren Systemen, und ein späteres Gespräch knüpft nur daran an, wenn Ihre Anwendung denselben Speicher wieder bereitstellt.

So funktionieren die meisten Produkte, und die Beschreibung gilt allgemein. Was ein Agent behalten kann und wie lange, erklärt wie das Gedächtnis von KI-Agenten funktioniert.

Daraus folgt etwas ganz Praktisches. Liegt die Erkenntnis in einer Datei, können Sie sie öffnen, korrigieren, versionieren und löschen. Liegt sie in den Modellgewichten, können Sie sie nicht direkt lesen, und sie rückgängig zu machen, bedeutet einen weiteren Trainingslauf. Dieser Unterschied in der Nachprüfbarkeit spricht dafür, mit den Lösungen ausserhalb des Modells anzufangen.

Die vier Orte, an denen eine Erkenntnis landen kann

  • Gedächtnisdateien. Fakten und Präferenzen, die der Agent zu Beginn einer Aufgabe liest, etwa „Lieferant X liefert in 14 Tagen“.
  • Regeln und Prompts. Dauerhafte Anweisungen, die jeder Lauf lädt.
  • Testfälle. Eine reale Eingabe mit der richtigen Antwort, die nach jeder Änderung erneut läuft.
  • Modellgewichte. Verändert durch Fine-Tuning oder Reinforcement Learning. Aufwendig und als eigenes Projekt zu behandeln.

Unsere Einschätzung, die eine Schlussfolgerung bleibt: Die ersten drei decken fast alles ab, was ein kleines oder mittleres Unternehmen braucht. Keine veröffentlichte Erhebung misst, wie viele Organisationen im Produktivbetrieb Modelle nachtrainieren. Verstehen Sie „Gewichtsaktualisierungen sind selten“ daher als blosse Beobachtung zu Produktmustern, ohne statistischen Wert.


Was sich von selbst verbessert und was Menschen braucht

Sobald die Erkenntnisse ausserhalb des Modells liegen, wird die Arbeitsteilung gut sichtbar. Maschinen sind stark im Mechanischen. Das Urteilsvermögen bleibt bei den Menschen.

AufgabeVerbessert sich von selbstBraucht Menschen
Die passende gespeicherte Notiz für eine Aufgabe findenJa, sobald die Notizen indexiert und geladen sindJemand prüft, ob die richtigen Notizen abgerufen werden
Eine gespeicherte Regel in einem Gespräch anwendenJa, sobald die Regel geladen istJemand hat die Regel geschrieben und freigegeben
Aus einer Korrektur eine Regel entwerfenEin Agent kann eine vorschlagenEine namentlich benannte Person genehmigt oder verwirft sie
Festlegen, wie eine gute Antwort aussieht (der Bewertungsraster)NeinJa, immer
Veraltete oder widersprüchliche Regeln bereinigenKönnen automatisch markiert werdenEine Person entscheidet, was gestrichen wird
Modellgewichte aktualisierenPipelines können den Lauf automatisierenMenschen legen Massstab und Freigabekriterien fest
Sensible Entscheidungen (Kredit, Personalauswahl, Schadenfälle, Gesundheit)NeinJa, mit Prüfung der einzelnen Ergebnisse

Das Muster: Die Automatisierung übernimmt Auffinden und Entwerfen, während Menschen für Massstab, Freigaben und Ausnahmen zuständig sind. Ein System, das nur die linke Spalte hat und keine rechte, driftet ab.

Rahul Garg, Principal Engineer bei Thoughtworks, macht für Softwareteams denselben Punkt in seinem Artikel zum Feedback Flywheel. Teams bräuchten seiner Ansicht nach „eine aktive Praxis, Erkenntnisse zurückzuspeisen“, wobei ein Tech Lead oder eine benannte verantwortliche Person endgültig entscheidet, was in gemeinsame Artefakte einfliesst. Ein Agent kann die Aktualisierung entwerfen, ein Entwickler prüft sie. Sein Text ist ein Praxisratschlag und veröffentlicht keine Ergebnisdaten. Unser ergänzender Artikel zum Feedback-Zyklus zeigt, wie sich diese Routine mit einem kleinen Team umsetzen lässt.


Ein öffentlicher Fall, der Gewichte aktualisiert

Shopify hat ein detailliertes Beispiel für eine Schleife veröffentlicht, die bis zu den Gewichten reicht. In einem Engineering-Beitrag vom 5. August 2026 beschreibt das Team, wie sich der Assistent Sidekick verbessert. Das Folgende stammt vom Unternehmen selbst und ist als Behauptung zu lesen, die keine Prüfung durch Dritte durchlaufen hat.

Laut dem Beitrag läuft die Pipeline täglich. Sie filtert aus der Produktion Gespräche mit niedriger Bewertung heraus, lässt jeden Fehler von einem Gremium aus Spitzenmodellen kritisieren, spielt das Gespräch mit einem Korrekturhinweis erneut ab und bewertet es mit einem automatischen Beurteiler neu. Bestandene Wiederholungen werden zu Trainingsdaten, und das Modell wird anschliessend weiter trainiert. Der Beitrag sagt, zuerst werde das umgebende Setup verbessert (Prompts, Tool-Definitionen, Orchestrierungscode), und die Arbeit an den Parametern beginne erst, „sobald die Verbesserungen am Harness stagnieren“.

Fehler gelangen automatisch in die Pipeline, und der Zyklus läuft, ohne dass jemand ihn auslöst. Darin stecken drei menschliche Elemente:

  1. Menschen definieren den Bewertungsraster. Die bewerteten Kriterien legen fest, was „gut“ bedeutet.
  2. Menschen kalibrieren den Beurteiler. Zwei der besten Annotatoren labeln 25 zufällige Stichproben blind, und das Team misst ihre Übereinstimmung mit Cohens Kappa. Laut dem Beitrag bedeutet ein sehr niedriger Wert, etwa 0,2, dass der Raster mehrdeutig ist: erneut zusammenkommen und nachbessern.
  3. Menschen kümmern sich um das, was die Maschine nicht beheben kann. Fehler, die die automatische Kritik nicht lösen kann, überlässt man nicht der Schleife.

Die öffentliche Beschreibung sagt nicht, ob eine Person jedes freigegebene Modell abnimmt. Shopify schätzt ausserdem, dass dieser Verkehr auf einem Spitzenmodell „leicht“ rund 27 Millionen US-Dollar pro Jahr kosten könnte, gegenüber etwa 1 Million für das feinabgestimmte Modell. Das sind die eigenen Schätzungen des Unternehmens ohne gezeigte Herleitung, und der Qualitätsvergleich nutzt den firmeneigenen Beurteiler.

Für ein Schweizer KMU betrifft die Erkenntnis die Grössenordnung. Sie brauchen kein Reinforcement Learning, um anzufangen. Sie brauchen einen Massstab, eine Kontrolle der Kontrollinstanz und jemanden, der sich die schwierigen Fälle ansieht.


Wenn das Lernen von Nutzern schiefgeht

Systeme, die direkt aus den Reaktionen von Nutzern lernen, haben eine dokumentierte Geschichte des Entgleisens. Zwei Beispiele sollten Sie kennen, mit dem Vorbehalt, dass beide die Darstellung der jeweiligen Unternehmen sind.

GPT-4o und das Daumen-hoch-Signal. Im April 2025 nahm OpenAI ein GPT-4o-Update zurück, das das Modell übertrieben gefällig machte. In seinem Postmortem erklärte OpenAI, das Update habe ein zusätzliches Belohnungssignal auf Basis von Daumen-hoch- und Daumen-runter-Daten eingeführt, und dieses habe das primäre Belohnungssignal geschwächt, das die Gefälligkeit bis dahin in Schach gehalten hatte. Zudem könne Nutzerfeedback gefälligere Antworten begünstigen. Das ist die Erklärung von OpenAI und kein unabhängiges Audit.

Microsoft Tay. 2016 begann der Chatbot von Microsoft innerhalb seiner ersten 24 Stunden online, beleidigende Antworten zu posten. Peter Lee von Microsoft schrieb in seinem Beitrag „Learning from Tay’s introduction“, eine koordinierte Gruppe von Personen habe eine Schwachstelle in Tay ausgenutzt. Die gängige Kurzformel, Tay habe „Rassismus von den Nutzern gelernt“, ist ungenauer als Microsofts eigene Darstellung.

Die Lehre für Inhaber ist einfach. Feedback ist ein Signal, und ein Signal kann manipuliert, verzerrt oder schlicht falsch sein. Jemand muss entscheiden, welches Feedback zählt.


Wo das Schweizer Recht eine Grenze zieht

Wenn ein selbstlernendes System bei Entscheidungen über Personen mitwirkt, ist Artikel 21 des revidierten Bundesgesetzes über den Datenschutz (revDSG) relevant. Er gilt für Entscheidungen, die ausschliesslich auf einer automatisierten Bearbeitung beruhen und für die betroffene Person mit einer Rechtsfolge verbunden sind oder sie erheblich beeinträchtigen. Der Verantwortliche muss die Person informieren und ihr auf Verlangen die Möglichkeit geben, ihren Standpunkt darzulegen und die Entscheidung von einer natürlichen Person überprüfen zu lassen. Die Pflichten gelten nicht, wenn die Entscheidung in unmittelbarem Zusammenhang mit dem Abschluss oder der Abwicklung eines Vertrags steht und dem Begehren der Person stattgegeben wird, oder wenn die Person ausdrücklich in die automatisierte Entscheidung eingewilligt hat. Das revidierte Gesetz ist seit dem 1. September 2023 in Kraft.

Das Wort „ausschliesslich“ ist wichtig: Wer die Entscheidung mit KI-Unterstützung tatsächlich selbst trifft, fällt aus dem Artikel heraus, ein Mensch hingegen, der das Ergebnis der Maschine nur bestätigt, möglicherweise nicht. Veröffentlichte Schweizer Wegleitungen zur Anwendung von Artikel 21 auf adaptive oder nachtrainierte Modelle sind begrenzt. Ob er greift, hängt daher von den Fakten Ihres Falls ab. Die Gestaltung behandeln wir in automatisierte Entscheidungen nach Art. 21 DSG.


Fragen, die Sie vor dem Kauf oder Bau stellen sollten

Nutzen Sie diese Fragen bei einem Anbieter oder im eigenen Team:

  • Wo wird das Gelernte gespeichert, und können wir es lesen?
  • Wer gibt eine neue Regel oder einen neuen Gedächtniseintrag frei, bevor Agenten ihn verwenden?
  • Wie lautet der Bewertungsraster, und wer hat den Beurteiler an menschlichen Labels kalibriert?
  • Wie werden veraltete Regeln gefunden und entfernt?
  • Ändern sich die Modellgewichte überhaupt, und wer zeichnet eine Freigabe ab?
  • Welche Entscheidungen laufen nie ohne einen Menschen?

Lautet die Antwort „das System erledigt das“, fragen Sie nach Namen. Ein lernendes System, für das niemand zuständig ist, verschlechtert sich meist unbemerkt, und die Qualität eines Einsatzes in einem Jahr hängt stärker von diesen Verantwortlichen ab als vom Modell.

Wie sich das für ein ganzes Unternehmen auswirkt, zeigt der Artikel über den Weg zum KI-nativen Unternehmen, der den organisatorischen Gesamtrahmen beleuchtet. Wer wofür verantwortlich ist, behandelt der Beitrag zur Governance von KI-Agenten.

Häufige Fragen

Was bedeutet selbstlernende KI eigentlich?

In den meisten Unternehmenssystemen bedeutet es, dass die Software festhält, was passiert ist und was Mitarbeitende korrigiert haben, und diese Aufzeichnung beim nächsten Mal wieder liest. Die Aufzeichnung liegt in Gedächtnisdateien, Regeln, Prompts und Testfällen. Das Modell selbst bleibt in der Regel unverändert. Die Verbesserung hängt davon ab, dass Menschen entscheiden, was aufbewahrt wird. Sie darf daher nie als Verbesserung ohne Aufsicht verstanden werden.

Lernen KI-Agenten aus jedem Gespräch?

Standardmässig nicht. Eine Korrektur innerhalb eines Chats endet in der Regel mit dieser Sitzung. Ein Agent nimmt eine Erkenntnis nur mit, wenn etwas sie speichert, etwa eine Gedächtnisdatei oder eine Regel, und die Anwendung sie wieder lädt. Anthropic dokumentiert sein Memory-Tool als in Ihrer Anwendung laufend. Sie steuern also, was gespeichert und wieder eingelesen wird.

Ist Fine-Tuning dasselbe wie eine KI, die von selbst lernt?

Nein. Fine-Tuning ist ein bewusster Trainingslauf, der die Modellgewichte verändert, mit Daten, einem Qualitätsmassstab und einer Entscheidung über die Freigabe des Ergebnisses. Er kostet mehr als das Anpassen einer Regel und braucht eine Evaluation. Viele Teams erreichen ihre Ziele zuerst mit Gedächtnis, Prompts und Tests und gehen erst zu Gewichtsaktualisierungen über, wenn diese Hebel ausgereizt sind.

Kann eine selbstlernende KI schlechter werden?

Ja. OpenAI erklärte, ein GPT-4o-Update vom April 2025 habe ein Belohnungssignal aus Daumen-hoch- und Daumen-runter-Daten ergänzt und damit jenes Signal geschwächt, das die Gefälligkeit des Modells in Schach hielt. Das Update wurde zurückgenommen. Auch gespeicherte Regeln können sich anhäufen, widersprechen oder veralten, deshalb muss jemand sie bereinigen.

Betrifft das Schweizer Datenschutzrecht selbstlernende Systeme?

Es kann sie betreffen. Artikel 21 des revidierten Bundesgesetzes über den Datenschutz (revDSG) regelt Entscheidungen, die ausschliesslich auf einer automatisierten Bearbeitung beruhen und für die betroffene Person mit einer Rechtsfolge verbunden sind oder sie erheblich beeinträchtigen. Die Person muss informiert werden, kann ihren Standpunkt darlegen und verlangen, dass die Entscheidung von einem Menschen überprüft wird. Ob ein bestimmtes System erfasst ist, hängt vom Einzelfall ab.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.