Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Harness Engineering: gleiches Modell, bessere Ergebnisse und das Gerüst, das Sie wieder abbauen können

Orange ITS — KI-Engineering-Team 10 Min. Lesezeit

Ein neues Modell erscheint, Ihr Agent verhält sich anders, und die Hälfte der Regeln in Ihrem Prompt wirkt plötzlich wie Aberglaube. Jede wurde nach einer schlechten Woche ergänzt. Niemand weiss mehr, welche noch zählen.

Das ist das praktische Problem hinter Harness Engineering, dem Handwerk, einen Agenten zu verbessern, indem man alles um das Modell herum ändert und das Modell selbst unangetastet lässt. Die Ergebnisse können gross sein, und die Anbieter, die entsprechende Werkzeuge verkaufen, sagen inzwischen öffentlich, dass vieles davon nur vorübergehend ist.

Wenn Sie ein Team suchen, das dies rund um Ihre eigenen Systeme aufbaut und bei jedem Modellwechsel überprüft, ist das der Kern unserer Arbeit im Bereich Forward-Deployed AI Engineering.

Die ehrliche Zusammenfassung: Arbeit am Harness kann Ergebnisse stark verschieben, die bekannteste Zahl ist ein schwächerer Beleg, als sie wirkt, und das meiste sollten Sie so bauen, dass Sie es später löschen können. Dieser Beitrag zeigt, was die Belege hergeben, was ein Zugewinn in Franken wert sein könnte und wie Sie entscheiden, welches Scaffolding bleibt.

Hinweis zum Umfang: Die sechs Bestandteile eines Harness behandelt Architektur von Agent Harnesses. Hier geht es darum, was ihre Änderung wert ist und wann Sie sie entfernen sollten.


Was sich änderte, als sich nur das Harness änderte

Der bekannteste Fall stammt von LangChain. In einem Beitrag vom 17. Februar 2026 beschreibt Vivek Trivedy, wie er einen Coding-Agenten auf Terminal-Bench 2.0 von 52,8% auf 66,5% brachte, ein Plus von 13,7 Punkten, wobei gpt-5.2-codex in allen Läufen unverändert blieb. Laut dem Beitrag rückte der Agent von knapp ausserhalb der Top 30 der Rangliste in die Top 5.

Was wurde geändert? Dem Beitrag zufolge umfasst die Liste:

  • Eine Build-and-Verify-Schleife im System-Prompt, gedacht für einen Agenten, der seinen eigenen Code erneut las, ihn für gut befand und aufhörte.
  • Eine Middleware, die den Agenten vor dem Beenden abfängt und einen weiteren Verifikationsdurchgang gegen die Aufgabe verlangt.
  • Eine Übersicht über das Arbeitsverzeichnis und die verfügbaren Werkzeuge, die zu Beginn bereitgestellt wird.
  • Einen Hinweis auf Zeitbudgets.
  • Eine Schleifenerkennung, die Änderungen an derselben Datei zählt und nach wiederholten Versuchen vorschlägt, den Ansatz zu überdenken.
  • Einen Plan für den Denkaufwand: hoch bei der Planung, niedriger während des Bauens und wieder hoch bei der Verifikation.

Das meiste davon ist nicht exotisch. Es sind die Prüfungen, die ein sorgfältiger Kollege von sich aus vornehmen würde, fest im System verankert, damit das Modell sie nicht überspringen kann. Auch der Wortschatz verdient Beachtung: In diesem Beitrag nennen wir diese Bausteine Scaffolding (Gerüst), weil sie etwas stützen, solange es gebaut wird.


Wie weit Sie dieser Zahl trauen sollten

Klar gesagt: Es ist der Lauf eines einzelnen Anbieters auf einem einzelnen Benchmark. LangChain verkauft Werkzeuge für Agenten. Soweit der Beitrag es beschreibt, wurde das Harness auf demselben Benchmark abgestimmt, auf dem es bewertet wurde. LangChain nennt nicht, wie viele Durchläufe pro Konfiguration stattfanden, und schlüsselt nicht auf, wie viele Punkte jede Änderung beitrug. Der einzige isolierte Vergleich betrifft den Denkaufwand.

Der Benchmark umfasst 89 Aufgaben, daher entsprechen 52,8% rund 47 Aufgaben und 66,5% rund 59. Das sind etwa 12 zusätzlich bestandene Aufgaben. Unsere eigene Überschlagsrechnung, die einen Lauf pro Konfiguration annimmt und die Korrelation zwischen Aufgaben ignoriert, setzt einen Standardfehler dieser Differenz bei rund 7 Punkten an, woraus sich ein 95-Prozent-Bereich von etwa 0 bis 28 Punkten ergibt. Eine Differenz von 13,7 ist damit ein Hinweis und liegt unterhalb eines Nachweises. Betrachten Sie diese Schätzung als unsere und nicht als die von LangChain.

Für Käufer am nützlichsten ist, was die Autoren selbst über ihre Arbeit schreiben. Sie halten fest, dass «Änderungen, die sich zu stark an eine Aufgabe anpassen, der Generalisierung schaden und in anderen Aufgaben zu Rückschritten führen können». Ausserdem schreiben sie, dass sich «diese Leitplanken mit der Zeit fast sicher auflösen werden».

Der Befund ist also bescheiden und dennoch wertvoll. Änderungen am Harness können viel ausmachen, ein Anbieter mit Interesse an dieser Aussage hat einen Fall gezeigt, und derselbe Anbieter erwartet, dass seine eigenen Ergänzungen überflüssig werden. Werte aus verschiedenen Terminal-Bench-Versionen sind zudem nicht vergleichbar. Stellen Sie diese Zahl daher nicht neben Werte aus späteren Releases.


Was ein Zugewinn allein durch das Harness für Sie wert sein könnte

Benchmark-Punkte sind keine Geschäftsergebnisse. Es gibt keinen veröffentlichten Test dazu, ob sich ein Zugewinn auf einem Coding-Benchmark auf Rechnungsabgleich, Ticket-Triage oder Dokumentenverarbeitung übertragen lässt. Was folgt, ist Arithmetik, und sie ist illustrativ.

Nehmen Sie einen Workflow mit 200 Fällen im Monat.

Unbeaufsichtigter ErfolgFälle ohne Prüfung erledigtFälle, die eine Person brauchen
Vorher52,8%etwa 106etwa 94
Nachher66,5%etwa 133etwa 67

Die Differenz beträgt etwa 27 Fälle im Monat. Kostet jeder eskalierte Fall 20 Minuten Arbeitszeit zu CHF 60 pro Stunde, sind das CHF 20 pro Fall, also etwa CHF 540 im Monat oder rund CHF 6,500 im Jahr.

Um diese Zahl herum gibt es drei Vorbehalte. Sie lässt Aufbaukosten, Token-Kosten und Wartung aus. Sie nimmt an, dass sich der Zugewinn übertragen lässt, was niemand gezeigt hat. Und sie hängt stark vom Fallvolumen ab: Bei 2,000 Fällen im Monat ergeben dieselben Annahmen das Zehnfache an Einsparung, bei 40 Fällen im Monat amortisiert sich die Arbeit am Harness vermutlich nie.

Verlässlichkeit zählt ebenso viel wie der Durchschnitt. Die Evaluations-Hinweise von Anthropic halten fest, dass eine Erfolgsquote von 75% pro Versuch auf etwa 42% fällt, wenn dieselbe Aufgabe dreimal hintereinander gelingen muss. Ein Prozess, der jedes Mal stimmen muss, braucht eine andere Messlatte als einer, bei dem eine Person jedes Ergebnis prüft.

Auch die Kosten gehören auf dieselbe Seite. Eine Studie der ETH Zürich zu Anweisungsdateien, arXiv 2602.11988, berichtet, dass Kontextdateien den Aufgabenerfolg im Allgemeinen nicht verbesserten und die Inferenzkosten im Schnitt um über 20% erhöhten. Zusätzliches Scaffolding ist nicht kostenlos und bringt manchmal nichts.


Scaffolding mit Verfallsdatum

Drei Quellen beschreiben dasselbe Muster aus dem Inneren der Unternehmen, die die Modelle bauen.

Anthropic. Lance Martin schreibt für das Claude-Platform-Team am 2. April 2026, dass Harnesses Annahmen darüber enthalten, was das Modell nicht allein kann, und dass diese Annahmen mit besseren Modellen veralten. Sein Beispiel: Sonnet 4.5 neigte dazu, vorzeitig abzuschliessen, wenn es sein Kontextlimit nahen spürte, weshalb Anthropic Kontext-Resets ergänzte. Mit Opus 4.5 war das Verhalten verschwunden, und die Resets waren totes Gewicht geworden. Sein Rat lautet, das Harness abzuspecken und zu fragen, worauf man verzichten kann.

Das Claude-Code-Team. In einem von Simon Willison transkribierten Gespräch sagte Thariq Shihipar, das Entfernen von Beispielen aus dem Prompt sei äusserst hilfreich gewesen, die früheren Modelle der Opus-4-Klasse hätten viele Beispiele gebraucht, und das Team strebe nun weniger harte Vorgaben, mehr Kontext und insgesamt weniger Anweisungen an. Cat Wu sagte, das Team pflege inzwischen pro Modell einen eigenen System-Prompt. Thariq ergänzte, der Trend gehe zu weniger Werkzeugen. Cat schilderte, wie sie eine absolute Regel abschwächte, nachdem sich herausgestellt hatte, dass eine Aussage, die in 90% der Fälle stimmt, in den übrigen 10% falsch war.

Vercel. In einem Beitrag über den internen Text-to-SQL-Agenten beschreibt Andrew Qu, wie 17 spezialisierte Werkzeuge durch eines ersetzt wurden, ein Bash-Werkzeug (neben einem SQL-Executor), um eine dokumentierte semantische Schicht zu erkunden. Bei fünf Testabfragen stieg der Erfolg von 4 von 5 auf 5 von 5. Das ist eine winzige Stichprobe, und der Autor betont, der Ansatz habe funktioniert, weil die semantische Schicht bereits gut dokumentiert war. Eine schwache Datenschicht, warnt der Beitrag, würde wohl schnellere, aber weiterhin falsche Abfragen liefern.

Das Muster ist in allen drei Fällen gleich: Regeln, Beispiele und Werkzeuge, die eine Schwäche abdecken sollten, überleben diese Schwäche tendenziell. Sie zu behalten kostet Token und Einschränkungen, die das neuere Modell nicht mehr braucht. Die Claude-Code-Mitarbeitenden erwähnten ausserdem, dass die Verhaltens-Evaluationen, mit denen sich solche Entscheidungen prüfen lassen, noch im Aufbau sind und nicht alles abdecken. Daran knüpft der nächste Abschnitt an.


Verfallendes und dauerhaftes Scaffolding

Nicht alles in einem Harness hat ein Verfallsdatum. Manche Teile gibt es wegen dessen, was das Modell nicht kann, und sie schrumpfen mit besseren Modellen. Andere gibt es wegen dessen, was Ihr Unternehmen nachweisen können muss, und sie bleiben.

ScaffoldingVoraussichtlicher Verfall?Grund
Kontext-Resets gegen vorzeitigen AbschlussVerfälltFür eine Modellgeneration gebaut, bei der nächsten totes Gewicht (Anthropic)
Lange Regellisten und durchgespielte BeispieleVerfälltNeuere Modelle brauchen laut Aussage weniger davon (Claude-Code-Team)
Absolute Regeln wie «immer verifizieren»Verfällt oder braucht neue FormulierungMit neuen Modellen tauchen Ausnahmen auf (Claude-Code-Team)
Prüfungen vor Abschluss und SchleifenerkennungVerfällt wahrscheinlichLangChain erwartet, dass sich seine Leitplanken auflösen, nennt aber keinen Effekt pro Änderung
Lange Werkzeuglisten und AuswahlregelnSchrumpftClaude Code geht zu weniger Werkzeugen über, und Vercel meldete mit weniger ein besseres Ergebnis
Berechtigungsgrenzen und SandboxingDauerhaftEin Prompt ist keine Kontrolle, und Zugriffsgrenzen bestimmen, was eine Aktion erreichen kann
Eng gefasste Zugangsdaten, Audit-Logs, Freigabe für nicht umkehrbare AktionenDauerhaftRechenschaft hängt nicht von der Modellqualität ab
Ihr Evaluationsset mit realen FällenDauerhaftEs ist der Test, der zeigt, ob das Löschen von etwas unbedenklich ist
Schriftliche Definition eines korrekten ErgebnissesDauerhaftJedes Modell braucht ein Ziel

Die Einordnung in dieser Tabelle ist unsere Lesart der Quellen. Keine davon veröffentlicht eine solche Liste als Befund, passen Sie sie also an Ihren eigenen Workflow an.


Die skeptische Sicht

Nicht alle halten das Harness für besonders wichtig. Fabio Akita argumentiert in einem Blogbeitrag vom August 2026, dass das Harness bei einem Frontier-Modell nur Rauschen sei und dass grosse Ausschläge zwischen Setups meist Fehler in der Infrastruktur verraten, etwa einen Transportfehler, und keinen echten Harness-Effekt. Sein Benchmark ist selbst durchgeführt und wurde nicht unabhängig reproduziert, und er bewirbt eigene Werkzeuge, weshalb wir seine Zahlen als ungeprüft behandeln.

Seine Warnung bleibt dennoch nützlich. Bevor Sie einer Harness-Änderung einen Zugewinn zuschreiben, suchen Sie in den Logs nach etwas Banalem: einem fehlgeschlagenen API-Aufruf, einer abgeschnittenen Antwort, einem Werkzeug, das stillschweigend einen Fehler warf. Bei einem grossen Sprung oder Einbruch ist zuerst nach einem Fehler zu suchen.

Auf der anderen Seite besagt die Zusammenfassung eines Workshop-Papers der ICML 2026, «How good is your harness?», von Jiwoo Han und Yuekai Sun, dass das Harness ebenso viel zählt wie das Modell, dass der Gewinn durch die Wahl des besten Harness mit dem Gewinn durch die Wahl des besten Modells vergleichbar ist und dass die Effekte je nach Modell variieren.

Um danach zu handeln, muss der Streit nicht entschieden werden. Ist der Effekt gross, wollen Sie ihn nutzen. Ist er klein, wollen Sie nicht für die Pflege von Scaffolding zahlen, das wenig bewirkt. Beide Sichtweisen führen dazu, an Ihren eigenen Fällen zu messen.


Harness Engineering und Prompt Engineering

Prompt Engineering ist eine Teilmenge. Ein Prompt bestimmt, was dem Modell gesagt wird, ein Harness entscheidet zusätzlich, welche Werkzeuge es gibt, was geprüft wird, bevor der Agent fertig sein darf, wie Schleifen unterbrochen werden und was der Agent berühren darf. Wenn Sie einen zugekauften Copiloten gegen ein eigenes Harness abwägen, behandelt Eigenes KI-Harness oder SaaS-Copilot genau diese Entscheidung.

Dieser Unterschied verschiebt, wo Sie Aufwand einsetzen. Ein Satz im Prompt, der den Agenten bittet, seine Arbeit zu verifizieren, ist eine Bitte, ein Middleware-Schritt, der den Abschluss blockiert, bis ein Verifikationsdurchgang gelaufen ist, ist ein Mechanismus. Letzterer lässt sich testen und protokollieren. Er lässt sich auch sauberer entfernen, weil er an einer einzigen Stelle sitzt und nicht über Absätze von Anweisungen verteilt ist.

Für technische Verantwortliche ist es eine nützliche Gewohnheit, bei jeder Regel zu fragen, ob sie im Prompt oder im Code lebt, wer sie geschrieben hat und welchen Fehler sie verhindern sollte. Eine Regel, hinter der kein dokumentierter Fehler steht, ist ein Kandidat zum Löschen.


Eine Regel entfernen, die Evaluationen neu laufen lassen

Hier ist der Test, den wir empfehlen. Es ist eine Empfehlung von Orange ITS, und keine Quelle beschreibt genau dieses Verfahren. Es folgt dem Geist von Lance Martins Rat, Annahmen im Harness zu testen, und der Nutzung von Verhaltens-Evaluationen durch das Claude-Code-Team.

  1. Halten Sie ein Set realer Fälle mit vereinbarten Bestehensgrenzen bereit. Zwanzig bis fünfzig Fälle aus früheren Fehlschlägen sind ein tragfähiger Anfang, und unser Leitfaden zu Tests und Evaluationen für KI-Agenten zeigt, wie Sie es aufbauen.
  2. Wählen Sie eine Regel, ein Beispiel, ein Werkzeug oder eine Prüfung und entfernen Sie sie.
  3. Lassen Sie das Set auf dem neuen Modell erneut laufen, mehrfach, wenn die Ergebnisse zwischen den Läufen schwanken.
  4. Vergleichen Sie die Erfolgsquote. Ist sie gesunken, stellen Sie die Regel wieder her und notieren, warum sie wichtig ist. Hat sie gehalten, lassen Sie die Regel weg.
  5. Wiederholen Sie das Ganze beim nächsten Kandidaten, jeweils eine Änderung auf einmal, und erneut bei jedem Modellwechsel.

Zwei Vorsichtspunkte gelten. Ein zu kleines Set erkennt einen kleinen Rückgang nicht, sodass eine scheinbar harmlose Regel einen seltenen Fall schützen könnte. Und das Evaluationsset selbst muss vertrauenswürdig sein, das heisst, Ergebnisse werden im realen System geprüft, statt der Behauptung des Agenten zu glauben, er sei erfolgreich gewesen.

Bauen Sie das Scaffolding mit diesem Gedanken. Legen Sie jede Regel an einer benannten Stelle ab, halten Sie den Fehler fest, auf den sie antwortet, und ergänzen Sie ein Prüfdatum. Löschen wird dann zu einer Routineänderung statt zu einer Ausgrabung.

Das Scaffolding, das jeden Durchgang überlebt, ist der Teil, den zu besitzen sich lohnt: das Evaluationsset, die Berechtigungen, die Logs und der schriftliche Massstab für ein korrektes Ergebnis. Der Rest hat das Modell nur gestützt, bis es allein stehen konnte.

Häufige Fragen

Was ist Harness Engineering?

Harness Engineering ist die Gestaltung von allem, was ein Sprachmodell umgibt und das Verhalten eines Agenten bestimmt: Anweisungen, Werkzeuge, Prüfungen, Wiederholungen und Grenzen. Das Modell bleibt gleich, während sich der umgebende Code und die Konfiguration ändern. LangChain verwendet den Begriff für einen Lauf, bei dem sich nur diese Teile änderten und der Benchmark-Wert von 52,8% auf 66,5% stieg.

Worin unterscheidet sich Harness Engineering vom Prompt Engineering?

Prompt Engineering feilt an der Formulierung von Anweisungen, während Harness Engineering das gesamte System um das Modell umfasst, darunter Werkzeuge, Prüfschritte, Schleifenerkennung und Berechtigungen. Ein Prompt ist nur ein Bestandteil eines Harness. In der Praxis lassen sich Änderungen am Harness im Code durchsetzen und an Ergebnissen testen, was ein Satz im Prompt nicht garantieren kann.

Steigert ein besseres Harness die Erfolgsquote meines Agenten um 13 Punkte?

Nach keiner zitierbaren Regel lässt sich das zusichern. Der Zugewinn von 13,7 Punkten stammt von LangChain, auf einem Coding-Benchmark, mit Abstimmung auf genau diesen Benchmark, von einem Unternehmen, das Werkzeuge für Agenten verkauft. Keine Quelle prüft, ob sich Benchmark-Punkte auf Rechnungsabgleich, Ticket-Triage oder andere Geschäftsworkflows übertragen lassen. Messen Sie den Effekt daher an Ihren eigenen Fällen, bevor Sie darauf planen.

Welche Teile eines Harness werden mit besseren Modellen überflüssig?

Am ehesten verfallen Teile, die eine Modellschwäche ausgleichen, etwa Kontext-Resets, lange Regellisten, durchgespielte Beispiele und Verifikationshinweise. Anthropic und LangChain sagen das beide über ihre eigenen Harnesses. Berechtigungen, Audit-Logs, eng gefasste Zugangsdaten und Ihr Evaluationsset bleiben tendenziell bestehen, weil sie der Rechenschaft dienen und keine Modellgrenzen ausgleichen.

Woran erkenne ich, welche Regel ich löschen kann?

Entfernen Sie eine Regel, lassen Sie Ihr Evaluationsset auf dem neuen Modell erneut laufen und vergleichen Sie die Erfolgsquote. Sinkt sie nicht, war die Regel totes Gewicht und kann entfallen. Das ist eine Empfehlung von Orange ITS und kein veröffentlichter Befund, und sie funktioniert nur, wenn Sie bereits reale Fälle mit vereinbarten Bestehensgrenzen haben. Anthropic sagt, dass Annahmen im Harness in diesem Sinne getestet werden sollten.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.