Sie sitzen in einer Anbieter-Demo. Der Assistent antwortet flüssig, beantwortet zwei Nachfragen, und dann fällt das Wort: Agent. Die Preisliste sagt dasselbe. Drei Wochen später liefert der Pilot Gesprächsprotokolle, und Ihre Mitarbeitenden tippen die Ergebnisse weiterhin von Hand ins ERP ab.
Dieses Muster hat einen Namen, Agent Washing, und es ist so verbreitet, dass Analysten es inzwischen beobachten. Es vor der Unterschrift zu erkennen, erfordert nur wenige gezielte Prüfungen, die eine Stunde Demo-Zeit kosten. Wenn Sie die Produktkategorie, die Sie brauchen, bereits kennen und sie auf Ihren Prozess zugeschnitten bauen lassen möchten, folgt unsere KI-Entwicklung derselben Logik: festlegen, was das System schreiben muss, wann es anhalten muss und wie Sie das überprüfen.
Ein echter Agent lässt sich im Raum beweisen, denn er verändert etwas in einem System, das Sie selbst öffnen können. Die fünf Tests unten sind dafür gedacht, live und von Ihnen selbst durchgeführt zu werden, ohne Hilfe des Anbieters.
Hinweis zum Umfang: Die Definition von Agent und Chatbot behandelt der Beitrag KI-Agenten vs Chatbots. Dieser Artikel setzt diese Definition voraus und konzentriert sich darauf, was Sie in der Demo tun sollten.
Was Agent Washing bedeutet und was Gartner tatsächlich gesagt hat
Gartner verwendet den Begriff für Anbieter, die bestehende Produkte als agentisch umbenennen. Laut dem Reuters-Bericht zur Gartner-Mitteilung gehören zu den umbenannten Produkten KI-Assistenten und Chatbots, und Gartner schätzt, dass nur rund 130 der Tausenden Anbieter agentischer KI echt sind. Der Reuters-Bericht beschreibt weder die Kriterien noch die Stichprobe hinter diesen 130. Lesen Sie die Zahl daher als Einschätzung von Analysten. Sie zeigt eine Richtung an, als Prozentwert taugt sie nicht für die Planung.
Die Gartner-Pressemitteilung enthält eine zweite Zahl, die oft falsch zitiert wird. Gartner prognostiziert, dass bis Ende 2027 mehr als 40 Prozent der Projekte mit agentischer KI abgebrochen werden. Das ist eine Prognose ohne gemessene Abbruchquote dahinter, und über 2026 sagt sie nichts aus. Als genannte Gründe führt Reuters steigende Kosten und einen unklaren Geschäftsnutzen an.
Für Käufer ist die praktische Lesart einfach. Kosten und Nutzen sind die beiden Dinge, die Sie prüfen können, bevor Sie Geld binden, und die folgenden Tests zielen genau darauf.
Eine Aufsichtsbehörde hat sich mit solchen Aussagen bereits befasst
Im Januar 2025 erliess die SEC eine Anordnung gegen Presto Automation. Die SEC hielt fest, Presto habe fälschlich behauptet, sein KI-Produkt mache die menschliche Bestellannahme an Drive-ins überflüssig, obwohl die grosse Mehrheit der Bestellungen über diese Produktversion einen menschlichen Eingriff erforderte. Presto stimmte einer Unterlassungsanordnung ohne zivilrechtliche Geldstrafe zu.
Der Fall ist aus einem Grund nützlich. Eine Demo kann autonom wirken, während ein Mensch einen Teil der Arbeit ausserhalb des Bildschirms erledigt, und nur Belege aus dem System selbst zeigen das. Die Tests 1 und 5 sind für genau diese Situation gedacht.
Test 1: Lassen Sie den Agenten in ein System schreiben, das Sie öffnen können
Wählen Sie einen Datensatz in einem System, das Ihnen gehört: einen CRM-Kontakt, eine Bestellung, ein Ticket. Bitten Sie den Anbieter, den Agenten diesen Datensatz live ändern zu lassen, mit Ihren Zugangsdaten oder in einer Sandbox-Kopie Ihres Systems. Öffnen Sie dann selbst das System, auf Ihrem eigenen Bildschirm, und vergleichen Sie den Zustand vorher und nachher.
Ein Gesprächsprotokoll mit dem Vermerk «erledigt» beweist nichts. Ein geändertes Feld mit Zeitstempel und Benutzer-ID beweist, dass die Aktion stattgefunden hat.
Worauf Sie achten sollten:
- Der Schreibpfad. Welche API oder welchen Konnektor hat der Agent aufgerufen? Ein echter Agent hat Werkzeugdefinitionen, die er benennen kann, mit dokumentierten Ein- und Ausgaben. Der praktische Leitfaden von OpenAI zum Bau von Agenten zählt Aktionswerkzeuge wie das Aktualisieren eines CRM-Datensatzes zu den Kerntypen von Werkzeugen und bewertet das Risiko eines Werkzeugs danach, ob es nur lesend oder schreibend ist und ob sich die Aktion rückgängig machen lässt.
- Feste Skripte in Verkleidung. Wenn der Schreibvorgang jedes Mal gleich abläuft und sich bei geänderter Eingabe nichts verändert, haben Sie es womöglich mit RPA zu tun, dem ein Sprachmodell vorgeschaltet ist. Das kann ein gutes Produkt sein, ein Agent ist es aber nicht.
- Umkehrbarkeit. Fragen Sie, was passiert, wenn der Schreibvorgang falsch ist. Ein Anbieter, der sich mit dem Risiko seiner Werkzeuge befasst hat, sagt Ihnen, welche Aktionen umkehrbar sind und welche eine Freigabe brauchen.
Auch Anthropic betont in Building effective agents denselben Punkt aus Sicht der Entwickler: Der Aufwand gehört in die Schnittstelle zwischen Agent und Werkzeugen, mit gründlicher Dokumentation und gründlichen Tests. Wenn der Anbieter diese Dokumentation nicht zeigen kann, existiert die Werkzeugschicht möglicherweise gar nicht.
Test 2: Ändern Sie die Anfrage mittendrin
Demos mit nur einem Gesprächsschritt lassen sich am leichtesten einüben. Die echte Arbeit kommt nicht so daher. Ein Kunde korrigiert eine Adresse, eine Führungskraft ändert das Freigabelimit, eine Rechnung gehört doch zu einer anderen Gesellschaft.
Starten Sie in der Demo eine Aufgabe und ändern Sie nach dem zweiten Schritt ein Detail. Entfernen Sie eine Pflichtangabe und beobachten Sie, ob der Agent sie erfragt oder erfindet. Widersprechen Sie einer früheren Anweisung und achten Sie darauf, welche sich durchsetzt.
Die Forschung zeigt, warum das wichtig ist. Der Benchmark CRMArena-Pro von Salesforce AI Research meldete für führende Agenten rund 58 Prozent Erfolg bei einem einzelnen Gesprächsschritt, der in Mehrschritt-Situationen auf rund 35 Prozent sank. Zwei Einschränkungen gelten. Der Benchmark wurde von einem Anbieter erstellt, der selbst Agenten verkauft, und die getesteten Modelle stammen aus dem Jahr 2025, aktuelle Systeme schneiden also womöglich besser ab. Nehmen Sie das Ergebnis als Grund, den Test durchzuführen, und nicht als Rangliste.
Ein gutes Zeichen ist ein Anbieter, der an dieser Stelle einen Fehler zeigt und erklärt, wie sich der Agent wieder fängt. Ein schlechteres Zeichen ist ein Demo-Skript, das den ersten Schritt nie verlässt.
Test 3: Fragen Sie, was ihn anhält
Ein Agent, der nicht anhalten kann, ist ein Risiko. Bitten Sie den Anbieter zu zeigen, was passiert, wenn etwas schiefgeht, und zwar live.
Drei Dinge, die Sie verlangen sollten:
- Eine Fehlerschwelle. Der Agent wiederholt einen fehlgeschlagenen Werkzeugaufruf, hält nach einer festgelegten Zahl von Versuchen an und gibt die Kontrolle mit gespeichertem Zustand zurück.
- Einen Auslöser für hohe Risiken. Der OpenAI-Leitfaden nennt als Beispiele für Aktionen, die an eine Person gehen sollten, das Stornieren von Bestellungen, das Genehmigen hoher Rückerstattungen und das Auslösen von Zahlungen.
- Eine Abbruchbedingung. Anthropic beschreibt Agenten, die an Kontrollpunkten oder bei Hindernissen für menschliches Feedback pausieren und Abbruchbedingungen wie eine maximale Zahl von Iterationen nutzen.
Stellen Sie dann die unbequeme Frage: Wer wird benachrichtigt, über welchen Kanal und wie schnell? Ein Halt, der eine E-Mail an ein Postfach schickt, das niemand liest, ist so gut wie kein Halt.
Ein umbenannter Chatbot antwortet anders. Er scheitert still oder liefert eine höfliche, allgemeine Ausweichantwort («Dabei konnte ich Ihnen nicht helfen»), weil im Produkt nichts dafür gebaut wurde, eine Aufgabe samt Kontext an einen Menschen zu übergeben.
Test 4: Verlangen Sie wiederholte Läufe mit Ihren eigenen Aufgaben
Ein guter Lauf beweist wenig. Systeme auf Basis von Sprachmodellen schwanken von Lauf zu Lauf, und in dieser Schwankung liegen die Probleme im Produktivbetrieb.
Das tau-bench-Paper von Sierra liefert die klarste Einordnung. Es bewertet einen Agenten, indem es den Endzustand der Datenbank mit dem Zielzustand vergleicht, und meldet pass^k: die Wahrscheinlichkeit, dass der Agent dieselbe Aufgabe bei allen k wiederholten Versuchen korrekt löst. Die Autoren berichteten, dass Agenten mit Function Calling weniger als 50 Prozent der Aufgaben lösten und recht unbeständig waren, mit einem pass^8 unter 25 Prozent im Retail-Bereich für das beste getestete Modell, gpt-4o. Das war ein Modell von 2024, die Zahlen zeigen also die Methode und nicht die heutige Leistung.
Machen Sie daraus konkrete Forderungen:
- Fragen Sie nach dem Evaluationsset des Anbieters, wie viele Aufgaben es enthält und wie die Ergebnisse bewertet werden.
- Geben Sie ihm fünf bis zehn Aufgaben aus Ihrem Betrieb und verlangen Sie Ergebnisse über wiederholte Läufe, mit der Erfolgsquote für jeden Versuch.
- Fragen Sie, was sich zwischen den beiden jüngsten Modellversionen geändert hat und ob die Evaluationen erneut durchgeführt wurden.
Der OpenAI-Leitfaden rät, Evaluationen aufzusetzen, um vor dem Skalieren eine Leistungsbasis festzulegen. Ein Anbieter ohne Evaluationsset verlangt von Ihnen, die Testsuite zu sein. Das lässt sich akzeptieren, aber dann sollten sich Preis und Vertrag darin widerspiegeln.
Test 5: Verlangen Sie die Spur jedes Laufs
Ein Gesprächsprotokoll zeigt, was gesagt wurde. Eine Spur zeigt, was getan wurde. Für jeden Lauf brauchen Sie das aufgerufene Werkzeug, die erhaltene Eingabe, die zurückgegebene Ausgabe, den Zeitstempel, den Denkschritt, der zum Aufruf führte, und bei jeder Aktion mit hohem Risiko, wer sie freigegeben hat.
Bitten Sie darum, die Spur eines Laufs zu sehen, der schiefgegangen ist. Anbieter, die Agenten im Produktivbetrieb betrieben haben, haben solche Spuren zur Hand, denn ohne sie ist Fehlersuche Raterei.
Ein Hinweis zur Regulierung, bewusst eng gehalten. Der EU AI Act verlangt in Artikel 12 die automatische Ereignisprotokollierung für Hochrisiko-KI-Systeme. Diese Pflicht gilt nicht für jeden Agenten, lassen Sie sie sich daher nicht als allgemeine gesetzliche Verpflichtung verkaufen. Ihr Grund, Spuren zu verlangen, ist betrieblicher Natur: Ohne sie kann Ihnen niemand sagen, warum sich ein Datensatz geändert hat, und die SEC-Anordnung gegen Presto zeigt, was hinter einer selbstsicheren Produktaussage stecken kann.
Die Demo-Tabelle
Drucken Sie sie aus und nehmen Sie sie zum Termin mit. Die rechte Spalte beschreibt das jeweilige Muster, und ein einzelnes Produkt kann mehrere davon vereinen.
| Test | Ein echter Agent zeigt | Ein umbenannter Chatbot, ein RPA-Tool oder ein Assistent zeigt |
|---|---|---|
| 1. Schreiben | Einen geänderten Datensatz in Ihrem System, mit Zustand vorher und nachher, einem benannten Werkzeugaufruf und einem Rückgängig-Pfad | Eine Chatnachricht mit «erledigt» oder ein festes Skript, das jedes Mal gleich schreibt |
| 2. Mehrere Schritte | Fragt fehlende Angaben nach, behält den Zustand, passt sich an, wenn sich die Anfrage ändert | Meistert den ersten Schritt, driftet dann ab, wiederholt sich oder erfindet einen Wert |
| 3. Halt | Definierte Schwellen und Risikoauslöser, eine Übergabe mit Zustand und ein benannter Empfänger | Eine allgemeine Ausweichnachricht oder stilles Scheitern |
| 4. Wiederholte Läufe | Ein Evaluationsset, Erfolgsquoten über mehrere Versuche und Ergebnisse mit Ihren Aufgaben | Einen einzelnen polierten Vorzeigelauf und eine Genauigkeitszahl als Schlagzeile |
| 5. Spuren | Protokoll pro Lauf mit Werkzeug, Eingabe, Ausgabe, Zeitstempel und Freigeber | Ein Protokoll des Gesprächs |
Diese fünf Tests sind eine Synthese aus Anbieterleitfäden und Benchmark-Methoden. Keine Normungsstelle hat sie als Checkliste herausgegeben. Behandeln Sie sie daher als praktischen Raster und ergänzen Sie eigene Fragen.
Wann ein deterministischer Workflow der richtige Kauf ist
Manche Demos sollten damit enden, dass der Anbieter sagt: Dafür brauchen Sie keinen Agenten.
Anthropic unterscheidet Workflows, die Modelle und Werkzeuge über vordefinierte Codepfade orchestrieren, von Agenten und empfiehlt, die einfachste mögliche Lösung zu suchen und Komplexität nur bei Bedarf hinzuzufügen. Der OpenAI-Leitfaden hält fest, dass Anwendungen, die ein Modell nutzen, ohne ihm die Steuerung des Workflows zu überlassen, etwa einfache Chatbots und Stimmungsklassifikatoren, keine Agenten sind. Ausserdem rät er, den eigenen Anwendungsfall vor der Entscheidung an seinen Kriterien zu prüfen, weil eine deterministische Lösung genügen kann.
Beide Organisationen verkaufen Agenten. Ihr Rat, weniger zu kaufen, wenn weniger genügt, hat deshalb besonderes Gewicht.
Nehmen Sie einen Prozess mit stabiler Abfolge: Eine Rechnung trifft ein, die Felder werden extrahiert, die Beträge mit der Bestellung abgeglichen, eine Ausnahme geht an eine Person. Wenn die Verzweigungen im Voraus bekannt sind, ist ein Workflow mit einem einzigen Modellaufruf für die Extraktion berechenbarer und im Betrieb günstiger. Ihn Agent zu nennen, bringt nichts.
Hat Ihr Prozess offene Schritte, wechselnde Eingaben und Entscheidungen, die vom Kontext abhängen, beginnt sich ein Agent zu rechnen. Zur anschliessenden Frage, selbst bauen oder kaufen, lesen Sie Build vs Buy bei KI-Agenten.
Die Tests in einen Schweizer Pilotvertrag aufnehmen
Die Tests einmal in einer Demo durchzuführen, ist ein Anfang. Sie in die Pilotvereinbarung zu schreiben, schützt das Budget.
- Abnahmekriterien. Machen Sie aus jedem Test ein messbares Kriterium. Zum Beispiel: Der Agent schreibt in einer Sandbox in ein benanntes führendes System, mit überprüfbarem Zustand vorher und nachher, und besteht einen vereinbarten Anteil Ihrer eigenen Aufgaben über wiederholte Läufe. Die Schwelle legen Sie selbst fest, ausgehend von dem, was der manuelle Prozess heute leistet.
- Protokoll-Lieferung. Legen Sie die Felder der Spur fest (Werkzeug, Eingabe, Ausgabe, Zeitstempel, Freigeber) sowie die Aufbewahrungsdauer. Halten Sie fest, wem die Protokolle gehören.
- Verhalten beim Halt. Listen Sie die Aktionen auf, die an eine Person gehen müssen, und benennen Sie die Rolle des Empfängers.
- Ausstiegsrecht. Vereinbaren Sie, dass Sie den Pilot zu einem festgelegten Datum ohne weitere Gebühren beenden können, wenn die Kriterien nicht erfüllt sind. Beträge sind in CHF anzugeben, mit einer Obergrenze für die Pilotkosten.
- Modellwechsel. Verlangen Sie eine Vorankündigung, bevor der Anbieter das zugrunde liegende Modell austauscht, sowie danach eine erneute Durchführung der Evaluationen.
Angesichts der Gartner-Prognose zu Projektabbrüchen ist die Ausstiegsklausel der Mechanismus, der einen unklaren Geschäftsnutzen in eine Entscheidung verwandelt, die Sie auf Basis von Belegen treffen können.
Besteht der Pilot, haben Sie ein Produkt, das sein Etikett verdient hat. Fällt er durch, haben Sie eine Stunde Demo-Zeit und eine kurze Testphase bezahlt statt einer einjährigen Lizenz.
Eine letzte Prüfung vor der Unterschrift
Gehen Sie Ihre Notizen aus der Demo durch. Hat der Anbieter Sie das Zielsystem öffnen lassen? Hat er ehrlich einen Fehler gezeigt? Hat er angeboten, Ihre Aufgaben auszuführen, und hat er je gesagt, dass eine einfachere Lösung genügen könnte?
Anbieter, die alle vier Fragen mit Ja beantworten, haben vermutlich etwas gebaut. Wer den Fragen ausweicht, verkauft ein Etikett.
Häufige Fragen
Was ist Agent Washing?
Agent Washing bezeichnet das Umetikettieren bestehender Produkte wie Chatbots, KI-Assistenten und Robotic Process Automation als agentische KI, ohne dass sie nennenswerte agentische Fähigkeiten besitzen. Gartner verwendet den Begriff. Ein echter Agent nutzt Werkzeuge, schreibt in Ihre Systeme und entscheidet selbst über den nächsten Schritt, während ein umbenanntes Produkt unter neuem Namen lediglich Gespräche führt oder ein festes Skript abarbeitet.
Woran erkenne ich in einer Demo, ob der KI-Agent eines Anbieters echt ist?
Lassen Sie den Anbieter eine Aufgabe live ausführen und öffnen Sie danach selbst das Zielsystem. Ein echter Agent hinterlässt einen geänderten Datensatz, eine versendete Nachricht oder ein angelegtes Ticket, die Sie ausserhalb des Chatfensters sehen. Ändern Sie dann die Anfrage mitten im Gespräch, erzwingen Sie einen Halt und verlangen Sie das Protokoll des jeweiligen Laufs. Ein umetikettierter Chatbot kann meist nur ein Gesprächsprotokoll vorzeigen.
Ist die Gartner-Zahl von 130 echten Agenten-Anbietern verlässlich?
Behandeln Sie sie als Schätzung von Analysten. Laut Reuters sagte Gartner, nur rund 130 der Tausenden Anbieter agentischer KI seien echt, die Berichterstattung nennt aber weder die Kriterien noch die Stichprobe hinter dieser Zahl. Sie ist eine nützliche Warnung vor dem Marktrummel und keine geprüfte Erhebung. Testen Sie deshalb jedes Produkt anhand seines eigenen Verhaltens.
Ist ein einfacher Workflow ein schlechterer Kauf als ein Agent?
Nein. OpenAI und Anthropic sagen beide, dass ein deterministischer Workflow die bessere Antwort sein kann, wenn die Aufgabe klar definiert ist. Anthropic hält fest, dass Workflows bei klar definierten Aufgaben Vorhersagbarkeit und Konsistenz bieten, während Agenten Latenz und Kosten gegen Flexibilität eintauschen. Ein Anbieter, der Ihnen sagt, dass Ihr Anwendungsfall einen Workflow statt eines Agenten braucht, gibt Ihnen einen ehrlichen Rat.
Was sollte ein Schweizer Unternehmen in den Vertrag für einen KI-Agenten-Pilot aufnehmen?
Schreiben Sie die Demo-Tests als Abnahmekriterien in den Vertrag, mit Bestehensgrenzen, die an Ihren eigenen Aufgaben gemessen werden, und vereinbaren Sie, welche Protokolle der Anbieter liefern muss. Behalten Sie sich vor, nach dem Pilot ohne Vertragsstrafe und ohne weitere Gebühren auszusteigen. So bleibt Ihr Budget geschützt, falls sich das Produkt als umbenannter Chatbot herausstellt.