Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Evals zuerst: Bauen Sie Ihr Testset aus den echten Tickets des letzten Monats

Orange ITS — KI-Engineering-Team 11 Min. Lesezeit

Ihr Support-Agent läuft seit sechs Wochen. Jemand schlägt ein günstigeres Modell vor, einen neu geschriebenen System-Prompt oder eine neue Erstattungsregel. Bevor Sie etwas ändern, möchten Sie wissen, ob der Agent schlechter wird. Sie können es nicht beurteilen, denn der einzige Test, den Sie je durchgeführt haben, war die Demo.

Das Material für einen echten Test haben Sie aber bereits. Es liegt in Ihrem Ticketsystem: die tatsächlichen Anfragen von Kundinnen, Kunden und Mitarbeitenden aus dem letzten Monat, die Menschen schon beantwortet haben. Dieser Artikel zeigt, wie Sie aus diesen Tickets ein Regressionsset machen, das Sie vor jeder Änderung laufen lassen. Wenn Sie den Aufbau der Testumgebung lieber einem Team überlassen, gehört das zu unserer individuellen KI-Entwicklung.

Bauen Sie das Testset aus echten Tickets, bevor Sie den Agenten anfassen, und führen Sie es vor jeder Änderung an Prompt, Modell oder Regeln aus. Nachfolgend die Reihenfolge, die wir empfehlen, mit den umstrittenen Zahlen der jeweiligen Quelle zugeordnet und den Datenschutzfallen beim Namen genannt.

Hinweis zur Abgrenzung: KI-Agenten testen behandelt, was Käufer bei der Abnahme verlangen sollten. Dieser Beitrag ist die Bauanleitung für das Set selbst. Korrekturen, die Ihre Mitarbeitenden heute vornehmen, werden mit der Routine aus dem KI-Feedback-Loop zu den Testfällen von morgen.


Warum die Tickets des letzten Monats erfundene Testfälle schlagen

Erfundene Fälle sind aufgeräumt. Echte Tickets enthalten den Kunden, der drei Fragen in einer Nachricht stellt, die eingefügte Beschreibung eines Screenshots, einen abgebrochenen Satz und eine Erstattungsanfrage im vierten Absatz. Genau das wird Ihr Agent antreffen.

Der Evaluierungsleitfaden von OpenAI warnt direkt davor und nennt unter den häufigen Fehlern das «biased design»: Eval-Datensätze, die den Produktionsverkehr nicht abbilden. Das Engineering-Team von Anthropic gibt in seinem Leitfaden zu Agenten-Evals einen ähnlichen Rat. Es empfiehlt, von den manuellen Prüfungen auszugehen, die Sie vor einem Release ohnehin durchführen, sowie vom Bug-Tracker und der Support-Warteschlange.

Anthropic schreibt ausserdem, dass die Umwandlung von Nutzermeldungen zu Fehlern in Testfälle sicherstellt, dass die Suite die tatsächliche Nutzung abbildet. Tickets sind dafür die günstigste Quelle, denn jemand hat das Problem bereits benannt und jemand hat bereits geantwortet.


Schritt 1: Den ganzen Monat ziehen, nicht nur die interessanten Fälle

Holen Sie einen Monat geschlossener Tickets und ziehen Sie die Stichprobe aus allen. Verlockend ist es, die interessanten herauszupicken. Das ergibt ein Set voller schwieriger Fälle, das für die unspektakuläre Mitte, in der das meiste Volumen liegt, blind bleibt.

Wir empfehlen eine geschichtete Stichprobe. Das Schema stammt von uns, keine Quelle schreibt es vor. Gruppieren Sie den Monat nach Ticketkategorie und Kanal (E-Mail, Chat, Webformular, Telefonnotizen) und ziehen Sie aus jeder Gruppe ungefähr im Verhältnis zum Volumen. Fügen Sie bewusst einen zusätzlichen Anteil aus den Kategorien hinzu, in denen der Agent den geringsten Spielraum für Fehler hat, etwa Erstattungen oder Kontozugriff.

Für einen IT-Helpdesk heisst das: Passwort-Resets, VPN-Probleme, Hardwareanfragen und Onboarding-Fragen sind jeweils vertreten, dazu jedes Ticket, das eskaliert wurde. Unser Helpdesk-Artikel beschreibt diese Kategorien genauer.

Behalten Sie die mehrstufigen Tickets. Ein Verlauf mit sechs Wechseln und einer geänderten Anforderung ist für einen Agenten schwieriger als eine einzelne Frage. Der CRMArena-Pro-Benchmark von Salesforce AI Research meldet rund 58 % Erfolg im Einzelschritt und etwa 35 % in mehrstufigen Settings, über 19 von Experten validierte Geschäftsaufgaben. Es ist ein Herstellerbenchmark, er testet Modelle von 2025 in einer simulierten CRM-Umgebung, und die Zahlen sagen nichts über Ihren Agenten. Er stützt aber eine Entwurfsentscheidung: Filtern Sie Ihr Set nicht auf Einzelnachrichten herunter.


Schritt 2: Schwärzen, bevor andere die Daten sehen

Ein Ticket ist Freitext von Menschen, die Namen, Adressen, Vertragsnummern und manchmal Gesundheitsdaten hineinschreiben. Diesen Text in ein Testset zu überführen, ist eine neue Verwendung von Personendaten. Erledigen Sie zuerst die Schutzarbeit.

Was das DSG in der Praxis bedeutet

Wir sind keine Juristen, und das hier ist keine Rechtsberatung. Eine juristische Prüfung ist ratsam, bevor Sie danach handeln. Das vorausgeschickt, sind dies die Punkte, die wir Ihrer Juristin oder Ihrem Juristen vorlegen würden.

  • Bestimmbarkeit ist relativ. Husi-Stämpfli und Gubser lesen das DSG in einem Beitrag von 2026 in der Schweizer Zeitschrift AJP/PJA so, dass es darauf ankommt, ob eine Person mit den Mitteln und aus der Perspektive des Akteurs, der die Daten hält, bestimmbar ist. Pseudonymisierte Daten bleiben für den, der den Schlüssel hat, Personendaten. Das Gesetz selbst spricht nur von einer bestimmbaren Person, der relative Massstab stammt also aus Lehre und Rechtsprechung. Ihre Lesart ist wissenschaftlicher Kommentar, lassen Sie sie daher von einer Fachperson bestätigen.
  • Zweck und Risiko. Die Tickets wurden erhoben, um den Kunden zu bedienen. Ihre Wiederverwendung als Testdaten ist ein neuer Zweck, den Datenschutzerklärung und Verzeichnisse abdecken sollten. Der umfangreiche Einsatz sensibler Inhalte kann zudem eine Datenschutz-Folgenabschätzung erfordern.
  • Vor der Nutzung anonymisieren. Wenn Sie identifizierende Inhalte entfernen können, bevor die Tickets ins Testset gelangen, sinkt die Exposition. Die Autoren ergänzen, dass Pseudonymisierung das Risiko nur graduell senkt.
  • Schwärzung ist ein Bemühen nach bestem Können. Das Microsoft-Projekt Presidio hält fest, dass es keine Garantie gibt, alle sensiblen Informationen zu finden, und dass zusätzliche Systeme und Schutzmassnahmen eingesetzt werden sollten. Betrachten Sie jeden automatischen Durchlauf als ersten Filter.
  • Zugriff beschränken. Legen Sie das Set an einem Ort mit namentlich bekannten Nutzern und Protokoll ab, getrennt von allgemeinen Projektordnern.
  • Ein externer LLM-Judge verändert die Lage. Liest ein gehostetes Modell die Tickets, um Antworten zu bewerten, übermitteln Sie Daten an einen Dienstleister. Derselbe Kommentar nennt einen Auftragsbearbeitungsvertrag als Voraussetzung für diese Konstellation und hält fest, dass die Bekanntgabe ins Ausland davon abhängt, ob das Empfängerland einen angemessenen Schutz bietet oder, falls nicht, andere Garantien wie Vertragsklauseln bestehen. Ob Ihr konkreter Anbieter und Ihre Region diese Prüfung bestehen, ist eine Frage für Ihre Rechtsberatung und die aktuellen Bedingungen des Anbieters.

Eine Schwärzungsroutine, die trägt

Lassen Sie einen Recognizer wie Presidio über jedes Ticket laufen, ersetzen Sie Namen, E-Mail-Adressen, Telefonnummern und Kennungen durch typisierte Platzhalter und lesen Sie danach eine Stichprobe der Ausgabe von Hand. Fünfzig geschwärzte Tickets sind eine vernünftige Stichprobenkontrolle. Suchen Sie, was das Werkzeug übersieht: einen Spitznamen, einen Firmennamen, der eine Person identifiziert, einen seltenen Vorfall, den nur ein einziger Kunde so hätte schildern können.

Lässt sich ein Ticket nicht bereinigen, nehmen Sie es aus dem Set. Ein kleineres, sauberes Set nützt Ihnen mehr als ein grösseres, riskantes.


Schritt 3: Lesen und labeln, bevor Sie ein Raster schreiben

Widerstehen Sie dem Drang, Metriken vorab festzulegen. Hamel Husains Leitfaden zur Verbesserung von KI-Produkten plädiert dafür, zuerst Traces zu lesen und die Fehlertaxonomie aus dem Gesehenen aufzubauen, statt mit generischen Scores wie «Halluzination» oder «Hilfsbereitschaft» zu beginnen, die domänenspezifische Probleme oft verfehlen.

Lesen Sie also. Öffnen Sie die geschwärzten Tickets neben dem, was der Agent dazu erzeugt, und notieren Sie knapp jedes unerwünschte Verhalten. Nach einigen Dutzend zeichnen sich Muster ab: Der Agent nennt eine veraltete Rückgabefrist, übergeht die zweite Frage einer Nachricht, verspricht einen Rückruf, den er nicht einplanen kann.

Machen Sie aus jedem Muster einen benannten Fehlermodus und labeln Sie dann jedes Ticket für jeden zutreffenden Modus mit bestanden oder nicht bestanden. Husains LLM-as-Judge-Leitfaden bevorzugt binäre Labels gegenüber numerischen Skalen und nennt Bewertungen auf Basis von 1-bis-5-Punkten einen Fehler. Diese Sicht ist umstritten: Der Produktionskreislauf von Shopify nutzt vier bewertete Kriterien mit definierten Ankern für jede Stufe. Ein gestuftes Raster kann funktionieren, sobald ein Team es kalibriert hat. Für ein erstes Set würden wir Pass/Fail wählen, denn über eine binäre Entscheidung streiten zwei Personen weniger.


Schritt 4: Referenzantworten und Negativfälle ergänzen

Jeder Fall braucht einen Vergleichsmassstab. Der Leitfaden von Anthropic empfiehlt für jede Aufgabe eine Referenzlösung, also eine bekannte funktionierende Ausgabe, die alle Grader besteht. Bei einem Ticket ist das die Antwort, die ein sorgfältiger Experte geben würde, einmal aufgeschrieben.

Ergänzen Sie dann die Fälle, in denen der Agent nichts tun, ablehnen oder an einen Menschen übergeben soll. Anthropic sagt es klar: Testen Sie sowohl die Fälle, in denen ein Verhalten auftreten soll, als auch jene, in denen es ausbleiben soll, denn einseitige Evals führen zu einseitiger Optimierung. Belohnt jedes Ticket in Ihrem Set Handeln, trimmen Sie einen Agenten, der bei allem handelt.

Der menschliche Mitarbeiter kann falsch gelegen haben

Die Antwort im Ticketverlauf ist die naheliegende Referenz, und sie ist eine Falle. Mitarbeitende antworten unter Zeitdruck. Manchmal war die Antwort falsch, manchmal war sie richtig für einen Kunden mit einer Ausnahme, die das Ticket nicht zeigt.

Anthropics Test für eine gute Aufgabe lautet, dass zwei Fachexperten unabhängig zum selben Bestanden-oder-nicht-Urteil kämen. Wenden Sie ihn hier an. Weichen Ihr Label und die historische Antwort voneinander ab, soll eine zweite Fachperson entscheiden und die Begründung am Fall festhalten. Diese Abweichungen gehören oft zu den nützlichsten Einträgen im ganzen Set.


Schritt 5: Das Set aufteilen und ehrlich über seine Grösse sein

Teilen Sie die gelabelten Tickets in einen Entwicklungsteil, an dem Sie optimieren, und einen zurückgehaltenen Teil, den Sie selten ausführen. Husains Judge-Leitfaden schlägt etwa 10 bis 20 % für Trainingsbeispiele und je 40 bis 45 % für Dev und Test vor, wobei das Test-Set nur einmal am Ende läuft. Für die Rechnung unten runden wir auf 10/45/45. Ohne Aufteilung korrigieren Sie den Agenten genau für die Tickets, die Sie ständig ansehen.

Nun zur Grössenfrage, bei der die Quellen auseinandergehen.

QuelleEmpfohlene GrösseZweck
Anthropic Engineering20 bis 50 einfache Aufgaben aus realen FehlernEin Anfang, ohne auf Hunderte zu warten
Husain und Shankar, Evals-FAQMit 100 vielfältigen Traces beginnen; 100 bis 200 Beispiele pro Fehlermodus labelnLesen zur Fehlerentdeckung, danach Judge-Validierung
Husain, Judge-LeitfadenEtwa 30 bis 50 Pass- und 30 bis 50 Fail-Beispiele je für Dev und TestValidierung eines LLM-Judge

Das ist ebenso ein Unterschied im Zweck wie in der Meinung. Keine Seite veröffentlicht Ergebnisdaten zu ihren Zahlen, nehmen Sie sie daher als fundierte Praxis.

Hier unsere eigene Rechnung, als solche gekennzeichnet. Hundert Tickets mit dieser Aufteilung lassen etwa 40 bis 45 für die Entwicklung. Husains Regel von 30 bis 50 Pass und 30 bis 50 Fail allein im Dev-Teil verlangt 60 bis 100 gelabelte Fälle, und zwar pro Fehlermodus, den Sie beurteilen wollen. Hundert Tickets ergeben also ein Smoke-Set, das offensichtliche Regressionen findet. Einen validierten Judge liefern sie nicht. Machen Sie Ihrer Geschäftsleitung klar, welches von beidem Sie gebaut haben.


Schritt 6: Den Judge kalibrieren, bevor Sie ihm vertrauen

Hunderte Antworten vor jedem Release von Hand zu bewerten, skaliert nicht, weshalb viele Teams ein zweites LLM als Judge einsetzen. Der Judge muss gegen Menschen geprüft werden, denn LLM-Judges zeigen laut dem MT-Bench-Paper von 2023 von Zheng und Kollegen Positions-, Ausführlichkeits- und Selbstbevorzugungsverzerrungen.

Das Engineering-Team von Shopify beschreibt in seinem Sidekick-Beitrag eine konkrete Kalibrierung. Die zwei besten Annotatoren oder Produktexperten labeln 25 zufällige Stichproben blind, und das Team misst die Übereinstimmung mit Cohens Kappa. Laut dem Beitrag bedeutet ein sehr niedriger Wert um 0,2, dass das Raster mehrdeutig ist und das Team sich erneut zusammensetzen und nachbessern sollte. Ein akzeptables Niveau definiert Shopify nicht.

Lesen Sie das genau. Ein Kappa nahe 0,2 ist das Signal, das Raster zu korrigieren. Es ist weder eine Schwelle, die Sie anpeilen, noch eine Bestehensgrenze. Sobald Ihre Menschen untereinander übereinstimmen, vergleichen Sie den Judge mit deren Labels.

Achten Sie dabei auf die Klassenverteilung. Husains Beispiel ist ein Judge, der immer Pass sagt: Sind 5 % der Beispiele echte Fehler, stimmt er trotzdem in 95 % der Fälle mit den Menschen überein. Husain empfiehlt, den Judge an seiner Rate richtig positiver und richtig negativer Urteile zu messen statt an der rohen Übereinstimmung.


Schritt 7: Vor jeder Änderung ausführen und das Set am Leben halten

Das Set zahlt sich in einem Moment aus: bevor Sie einen Prompt ändern, ein Modell tauschen oder eine Geschäftsregel anpassen. Führen Sie es aus, notieren Sie die Erfolgsquote pro Fehlermodus, nehmen Sie die Änderung vor und führen Sie es erneut aus. Ein Rückgang bei einem einzelnen Modus zeigt Ihnen, wo Sie suchen müssen. Dasselbe Set ist die Voraussetzung, wenn Sie später Fine-Tuning gegenüber Prompting abwägen.

Die Pflege ist der Teil, den Teams auslassen. Anthropic beschreibt eine Eval-Suite als lebendiges Artefakt, das laufende Aufmerksamkeit und klare Zuständigkeit braucht, und warnt vor Sättigung: Der Agent besteht alle lösbaren Aufgaben, und die Suite lehrt Sie nichts mehr. Wie eine Feedback-Routine Korrekturen der Mitarbeitenden in neue Testfälle verwandelt, lesen Sie in selbstlernende KI-Systeme.

In der Praxis heisst das:

  • Bestimmen Sie eine verantwortliche Person für das Set, wie bei jedem anderen Vermögenswert.
  • Füttern Sie es monatlich. Nehmen Sie neue Fehler aus laufenden Tickets und aus Korrekturen Ihrer Mitarbeitenden auf und streichen Sie Fälle, die zu Ihren Produkten oder Richtlinien nicht mehr passen.
  • Prüfen Sie die Schwärzung erneut, sobald Sie Daten hinzufügen.

Es folgt eine Richtwerttabelle für den Aufwand des ersten Aufbaus. Es sind eigene Schätzungen zur Veranschaulichung für 100 Tickets und keine Messung, bewerten Sie sie zu Ihrem internen Satz.

AufgabeAufwand (Richtwert)
Stichprobe ziehen und exportieren2 bis 3 Stunden
Schwärzungsskript und Stichprobenkontrolle von rund 50 Ausgaben4 bis 8 Stunden Engineering
Labeling von Einzelnachrichten-Tickets zu je 3 bis 5 Minuten5 bis 8 Stunden
Zweiter Labeler bei 25 Tickets für den Kappa-CheckEtwa 2 Stunden
Aufbau und Kalibrierung des Judge1 bis 2 Tage
Mehrstufige Verläufe zu je 20 bis 40 Minuten, 100 Verläufe33 bis 67 Stunden

Die letzte Zeile übernimmt ihre Grössenordnung aus dem TRAIL-Paper, das für die Annotation einer einzelnen Agenten-Trace etwa 30 bis 40 Minuten angibt. Das waren mehrstufige Engineering-Traces, gelabelt von Experten, Support-Verläufe sollten daher schneller gehen. Dennoch bestimmt das mehrstufige Labeling Ihr Budget, wenn Sie viele Verläufe aufnehmen.


Was die Tickets des letzten Monats nicht verraten

Ein Ticketset hält fest, was Kunden gefragt haben, und übergeht, was sie nie gefragt haben, weil der alte Prozess sie davon abhielt. Es veraltet ausserdem: Eine Richtlinienänderung, ein neues Produkt oder eine saisonale Spitze machen einen Teil binnen eines Quartals hinfällig.

Unbekannte Risiken deckt es ebenfalls nicht auf. Die Prompt Injection, die noch niemand versucht hat, steht in keinem Ticket, Sicherheitstests brauchen deshalb eigene Fälle. Und ein bestandener Lauf beweist nicht, dass der Agent gut ist. Er beweist, dass der Agent bei den Fehlern, die Sie bereits kennen, nicht schlechter geworden ist, eine engere und dennoch wertvolle Aussage.

Bauen Sie das Set klein, labeln Sie es sorgfältig und schützen Sie die Daten. Dann kann jedes spätere Gespräch über ein günstigeres Modell oder einen neuen Prompt von einer Zahl ausgehen statt von einer Meinung.

Häufige Fragen

Wie viele Tickets brauche ich für ein Testset eines KI-Agenten?

Für einen Regressionstest beginnen Sie mit 20 bis 50 Fällen, dem Bereich, den die Ingenieure von Anthropic nennen. Wollen Sie einen LLM-Judge validieren, raten Husain und Shankar dazu, rund 100 Traces zu lesen und 100 bis 200 Beispiele pro Fehlermodus zu labeln. Beide Angaben sind Praxiserfahrung. Wählen Sie nach Zweck und erweitern Sie das Set, sobald neue Fehler auftauchen.

Darf ich echte Kundentickets nach Schweizer Datenschutzrecht zum Testen eines KI-Agenten verwenden?

Nur mit Sorgfalt. Nach dem DSG hängt es von den Mitteln dessen ab, der die Daten hält, ob eine Person bestimmbar ist; ein geschwärztes Ticket kann also weiterhin Personendaten enthalten. Anonymisieren Sie vor der Nutzung, beschränken Sie den Zugriff und lassen Sie die Rechtslage von einer Juristin oder einem Juristen bestätigen, bevor ein externes Modell die Tickets sieht. Dieser Artikel ist keine Rechtsberatung.

Genügt es, Namen und Nummern in Tickets zu schwärzen, damit man sie bedenkenlos weitergeben kann?

Für sich allein nicht. Schwärzungswerkzeuge arbeiten nach bestem Können, und Microsoft gibt an, dass es keine Garantie gibt, dass Presidio alle sensiblen Informationen findet. Freitext verrät die Identität zudem über den Kontext, etwa durch eine seltene Berufsbezeichnung oder einen einmaligen Vorfall. Prüfen Sie eine Stichprobe der Ausgabe von Hand, halten Sie den Zugriff eng und behandeln Sie das Set als sensibel.

Was bedeutet ein Cohens Kappa von 0,2 für einen LLM-Judge?

Es bedeutet, dass Ihre beiden Labeler nur geringfügig stärker übereinstimmen, als es der Zufall täte, das Bewertungsraster also vermutlich mehrdeutig ist. Shopify beschreibt einen sehr niedrigen Wert um 0,2 als den Punkt, an dem man sich erneut zusammensetzt und das Raster überarbeitet. Es ist ein Warnsignal, und Shopify definiert es nicht als akzeptables Niveau.

Soll die Antwort des menschlichen Mitarbeiters als richtige Antwort gelten?

Nein, behandeln Sie sie als Indiz. Anthropic hält fest, dass eine gute Aufgabe eine ist, bei der zwei Fachexperten unabhängig voneinander zum selben Urteil kämen, und eine hastige oder fehlerhafte Antwort besteht diesen Test nicht. Lassen Sie jede Abweichung zwischen der menschlichen Antwort und Ihrem Label von einer zweiten Fachperson prüfen und halten Sie die Entscheidung beim Fall fest.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.