Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Agent-Harness-Architektur: Die sechs Bausteine, die Ihr Unternehmen selbst besitzen sollte

Orange ITS — KI-Engineering-Team 11 Min. Lesezeit

Ihr Agenten-Pilot läuft. Dann erscheint ein Modell-Update, ein Kollege ändert einen Prompt, und die Ergebnisse beim Rechnungsabgleich vom letzten Monat verschieben sich unbemerkt. Niemand kann sagen, welches der Teile rund um das Modell die Ursache ist, weil niemand aufgeschrieben hat, um welche Teile es sich überhaupt handelt.

In dieser Lage befindet sich die technische Leitung, wenn die Geschäftsführung fragt: «Was genau haben wir bezahlt, und können wir es behalten?» Das Modell ist gemietet. Alles, was es umgibt, ist der Ort, an dem Ihre Investition steckt, und ein guter Teil davon sollte Ihnen gehören.

Für Teams, die diese Hülle um ihre eigenen Systeme gebaut haben möchten, ist unser Forward-Deployed AI Engineering der Ort, an dem wir das umsetzen.

Ein Agent Harness besteht aus sechs Bausteinen, und das Unternehmen sollte jeden davon besitzen und dokumentieren, denn zusammen bestimmen sie die Nachvollziehbarkeit, wie leicht Sie das Modell wechseln können und wie viel Nacharbeit bei Ihren Mitarbeitenden landet. Dieser Artikel geht die sechs Bausteine durch, zeigt, woran jeder scheitern kann, und nennt die Reihenfolge, in der Sie sie aufbauen.

Hinweis zur Abgrenzung: Zur Frage Kaufen oder Selbstbauen lesen Sie eigener KI-Harness oder SaaS-Copilot.


Was ein Agent Harness ist

Das Engineering-Team von Anthropic (Demystifying evals for AI agents) definiert den Agent Harness (auch Scaffold genannt) als das System, das ein Modell als Agent handeln lässt: Es verarbeitet Eingaben, orchestriert Tool-Aufrufe und gibt Ergebnisse zurück. Daraus folgt laut dem Leitfaden etwas Praktisches: Wer einen Agenten bewertet, bewertet Harness und Modell im Zusammenspiel. Tauscht man eines von beiden aus, kann sich das Ergebnis ändern.

Die Anbieter verwenden unterschiedliche Begriffe, doch die Teile decken sich. Kontext, Tools, Gedächtnis, Guardrails, Evals und Orchestrierung umfassen, was die Quellen beschreiben, und die folgende Tabelle ist die Fassung, die wir mit Kunden verwenden.

BausteinAufgabeWas Sie besitzen solltenTypischer Fehler
KontextEntscheidet, was das Modell in jedem Schritt siehtAnweisungsdateien und Abrufregeln in KlartextAufgeblähte oder veraltete Anweisungen, die Kosten erhöhen, ohne die Genauigkeit zu verbessern
ToolsLässt den Agenten reale Systeme lesen und verändernTool-Definitionen, Berechtigungen und der IntegrationscodeVage Tool-Beschreibungen, sodass der Agent die falsche Aktion wählt
GedächtnisTrägt den Zustand von Sitzung zu Sitzung weiterDie gespeicherten Dateien in einem exportierbaren FormatVeraltete Notizen werden als wahr behandelt, oder sensible Daten landen im Speicher
GuardrailsBegrenzen, was der Agent erreichen oder freigeben darfRichtlinie, Sandbox und FreigaberegelnSchriftliche Regeln ohne technische Kontrolle dahinter
EvalsBewerten, ob die Arbeit korrekt warTestfälle, Grader und der Verlauf der ErgebnisseEin fehlerhafter Grader meldet selbstsicher den falschen Wert
OrchestrierungOrdnet Schritte, Wiederholungen und ÜbergabenDie Workflow-Definition und ihre LogsKomplexität kommt hinzu, bevor ein einzelner Agent als unzureichend gezeigt wurde

Der Rest des Artikels nimmt sie der Reihe nach vor.


Kontext: Auswählen, was das Modell liest

Modelle verarbeiten unbegrenzte Textmengen nicht gleich gut. Anthropics Leitfaden zum Context Engineering beschreibt «Context Rot»: Die Trefferquote beim Abrufen sinkt, je mehr Tokens im Fenster stehen, das Ziel ist daher die kleinste Informationsmenge, die für die Aufgabe noch reicht. Zu den Techniken zählen das Nachladen von Material erst bei Bedarf, das Verdichten langer Verläufe, strukturierte Notizen und das Delegieren von Teilaufgaben. Der Leitfaden nennt auch die Kosten. Die Erkundung zur Laufzeit ist langsamer als vorab berechnetes Retrieval, und zu aggressives Verdichten kann feinen, aber entscheidenden Kontext verlieren. Was Sie vor dem Kürzen behalten, löschen und ablegen sollten, behandelt der Beitrag zu Context Engineering für Agenten.

Anweisungsdateien sind die sichtbarste Form von Kontext. AGENTS.md ist das offene Format dafür, und die zugehörige Website beschreibt es als README für Agenten. Es gibt praktische Grenzen: Laut der Dokumentation von OpenAI Codex nimmt es standardmässig keine weiteren Anweisungsdateien mehr auf, sobald deren Gesamtgrösse 32 KiB erreicht.

Die Befunde dazu, wie viel man schreiben sollte, sind gemischt. In einer Studie der ETH Zürich (arXiv 2602.11988) stellten die Autoren fest, dass Kontextdateien den Aufgabenerfolg im Allgemeinen nicht verbesserten und die Inferenzkosten im Schnitt um über 20 % erhöhten. Die Agenten befolgten die Anweisungen durchaus. Repository-Übersichten, die Modellanbieter oft empfehlen, halfen schlicht nicht. Nützlich fanden die Autoren die Dateien, um nicht standardmässige Vorgehensweisen festzulegen, und von Entwicklern geschriebene Dateien schnitten besser ab als vom Modell erzeugte.

Was das für Sie bedeutet: Halten Sie die Datei kurz, nehmen Sie nur auf, was der Agent aus Ihrem Code oder Ihren Dokumenten nicht ableiten kann, und testen Sie sie an Ihren eigenen Aufgaben. Der geschäftliche Nutzen liegt in geringeren Token-Kosten und weniger merkwürdigen Ausgaben. Bewahren Sie die Datei in Ihrem eigenen Repository auf, als Klartext, damit sie mit Ihnen umzieht.


Tools: Die Schnittstelle wie ein Produkt behandeln

Ein Tool ist jede Aktion, die der Agent ausführen kann: das ERP abfragen, ein Postfach lesen, ein Ticket anlegen. Anthropics Leitfaden «Building effective agents» sagt, Tool-Definitionen verdienten genauso viel Prompt-Engineering-Aufmerksamkeit wie der Haupt-Prompt, und rät, eine Tool-Beschreibung wie einen Docstring für einen Nachwuchsentwickler zu verfassen. Ausserdem empfiehlt er, Fehler schon im Entwurf zu erschweren. Sein Beispiel: Die Vorgabe absoluter Dateipfade führte dazu, dass ein Modell ein Tool zuverlässig nutzte.

Der Fehler ist hier leise. Ein Tool mit mehrdeutigem Namen oder überlappendem Zweck stürzt nicht ab. Der Agent greift bei einem Teil der Läufe einfach zum falschen. Lassen Sie, wie der Leitfaden rät, viele Beispieleingaben laufen, lesen Sie die Fehlschläge und passen Sie die Definition an.

Bei den Besitzverhältnissen gehören Tool-Definitionen und Integrationscode Ihnen. Liegen sie im visuellen Builder eines Anbieters, verlangen Sie vor der Festlegung einen Export. Unser Artikel zu MCP und Agenten-Tools behandelt das Standardprotokoll, das Tools zwischen Agenten-Laufzeitumgebungen portabel macht.


Gedächtnis: Dateien, die Sie lesen und löschen können

Gedächtnis ist alles, was Sitzungen überdauert. Die Dokumentation zu Anthropics Memory-Tool hält fest, dass das Tool clientseitig arbeitet: Das Modell fordert Dateioperationen an, und Ihre Anwendung führt sie aus. Die Sicherheitsarbeit liegt damit bei Ihnen. Die Dokumentation weist Entwickler an, jeden Pfad zu validieren, um Directory Traversal zu verhindern, Dateigrössen zu begrenzen, lange nicht abgerufene Dateien ablaufen zu lassen und sensible Daten vor dem Schreiben zu entfernen.

Für ein Unternehmen ist das überwiegend eine gute Nachricht. Gedächtnis als Dateien in Ihrem Speicher lässt sich einsehen, löschen und exportieren, was bei Datenschutzanfragen und Audits zählt. Es scheitert zudem vorhersehbar: Eine alte Notiz wird als aktuelle Tatsache behandelt. Geben Sie Gedächtnisdateien einen Verantwortlichen und eine Ablaufregel.

In einem Beitrag vom April 2026 berichtet Anthropic, dass ein Memory-Ordner Sonnet 4.5 auf BrowseComp-Plus von 60,4 % auf 67,2 % hob. Das ist ein einzelner Lauf des Anbieters ohne unabhängige Replikation, werten Sie ihn daher als ermutigendes Indiz, das sich erst noch bestätigen muss. Unser Artikel zum Gedächtnis von KI-Agenten behandelt die Entwurfsentscheidungen ausführlicher.


Guardrails: Regeln brauchen eine Kontrolle dahinter

Guardrails begrenzen, was der Agent erreichen und ohne menschliche Freigabe tun darf. Die Dokumentation von Claude Code ist bemerkenswert offen über die Grenzen ihrer eigenen Berechtigungsmodi. Sie sagt, der freizügigste Modus biete keinen Schutz vor Prompt Injection oder unbeabsichtigten Aktionen, und der Auto-Modus verringere Berechtigungsabfragen, ohne Sicherheit zu garantieren. Die Dokumentation trennt zwei Fragen: Berechtigungsmodi entscheiden, ob der Agent nachfragt, während Sandboxes und äussere Isolation entscheiden, was eine Aktion nach ihrer Ausführung erreichen kann.

Anthropics Beitrag zum Sandboxing nennt eine Senkung der Berechtigungsabfragen um 84 % im internen Einsatz und hält fest, dass wirksames Sandboxing sowohl Dateisystem- als auch Netzwerkisolation braucht. Diese Zahl ist Anthropics eigene Messung, und die Laufzeitumgebung wurde damals als Beta-Research-Preview veröffentlicht.

Eine schriftliche Regel ist keine Kontrolle. Ein Preprint von Ting Yan (arXiv 2608.23550) untersuchte 481 öffentliche CLAUDE.md-Dateien und schätzte, dass unter dem strengsten Zuordnungsmassstab nur 4,4 % der Sicherheitsregeln eine entsprechende eingebaute Kontrolle hatten. Es ist eine Einzelautorenstudie über öffentliche Dateien, und sie zeigt nicht, dass die Verfasser jede Zeile durchgesetzt sehen wollten. Die Lehre bleibt gültig: Lautet die Regel «nie die Produktion anfassen», muss etwas anderes als der Prompt dafür sorgen.

Was das für Sie bedeutet: Geben Sie dem Agenten eigene Zugangsdaten mit engen Rechten, protokollieren Sie jede Aktion und verlangen Sie eine Freigabe für alles Unumkehrbare. Die Nachvollziehbarkeit, die Ihre Compliance-Verantwortlichen wünschen, entsteht aus diesen Logs und Berechtigungen.


Evals: Der Wert, der das Modell überdauert

Evals sind die Tests, die zeigen, ob der Agent die Arbeit erledigt hat. Anthropics Beitrag zu Evals definiert eine Aufgabe, einen Trial, einen Grader und ein Ergebnis und besteht darauf, dass das Ergebnis der Endzustand der Umgebung ist (existiert die Buchung in der Datenbank?), gleichgültig, was der Agent über sich berichtet. Sein Rat für den Einstieg ist konkret: 20 bis 50 einfache Aufgaben aus realen Fehlschlägen sind ein guter Start, und Evals werden umso schwerer aufzubauen, je länger man wartet.

Zwei Details aus diesem Beitrag sind für Führungskräfte wichtig. Erstens die Konsistenz. Eine Erfolgsquote von 75 % pro Trial ergibt rund 42 %, wenn alle drei von drei Versuchen gelingen müssen. Ein Agent, der eine Rechnung in drei von vier Fällen richtig bearbeitet, ist für unbeaufsichtigte Arbeit nicht bereit. Zweitens können Grader falsch liegen. Der Beitrag sagt, Bewertungen könnten in die Irre führen, wenn Grader fehlerhaft oder Aufgaben mehrdeutig seien, und beschreibt einen Benchmark, bei dem Bewertungsprobleme den Anfangswert eines Modells drückten.

Evals sind ausserdem der portabelste Teil des Harness. Ein Set realer Fälle mit vereinbarten Bestehensgrenzen funktioniert mit jedem Modell und jeder Laufzeitumgebung. Bringt ein Anbieter ein neues Modell heraus, lassen Sie das Set erneut laufen und entscheiden an einem Nachmittag. Ohne das Set bleibt ein Modellwechsel Ansichtssache. Unser Leitfaden zu Tests und Evals für KI-Agenten zeigt, wie Sie das erste Set aufbauen.


Orchestrierung: Struktur erst ergänzen, wenn ein Agent scheitert

Die Orchestrierung legt fest, wie Schritte geordnet, wiederholt und übergeben werden. Anthropic unterscheidet Workflows, in denen vordefinierte Codepfade das Modell lenken, von Agenten, in denen das Modell seinen eigenen Ablauf steuert. Es nennt fünf verbreitete Muster: Prompt Chaining, Routing, Parallelisierung, Orchestrator-Workers und Evaluator-Optimizer. Der Rat lautet, die einfachstmögliche Lösung zu suchen, weil Agenten höhere Kosten und das Risiko sich aufschaukelnder Fehler mit sich bringen.

Bei Multi-Agenten-Entwürfen ist zusätzliche Skepsis angebracht. Im Beitrag zu langlaufenden Agenten sagt Anthropic, es sei weiterhin unklar, ob ein einzelner universeller Coding-Agent am besten abschneidet oder eine Multi-Agenten-Architektur. Der Beitrag vom April 2026 berichtet, dass das Starten von Subagenten mit Opus 4.6 die BrowseComp-Ergebnisse um 2,8 % gegenüber den besten Einzelagenten-Läufen verbesserte, ein Anbieterergebnis bei einer engen Aufgabe. Ehrlich gesagt sind die Gewinne vieler zusammenarbeitender Agenten unbewiesen, und die zusätzlichen Rollen bringen Kosten, mehr Logs zum Lesen und mehr Stellen, an denen etwas schiefgehen kann.


Die Dateien, die langlaufende Agenten auf Kurs halten

Eine Aufgabe, die Stunden dauert, erstreckt sich über viele Sitzungen, und jede neue Sitzung beginnt ohne Erinnerung an die vorige. Anthropics Beitrag zu langlaufenden Harnesses beschreibt eine einfache Antwort aus gewöhnlichen Dateien. Eine fünfte ergänzen wir, sie ist unsere eigene Empfehlung und nicht Teil dieses Beitrags:

  • Eine Kartendatei (unsere Ergänzung) wie AGENTS.md oder CLAUDE.md, die jeder neuen Sitzung sagt, wo was liegt und welche Regeln gelten.
  • Ein Init-Skript, das der Beitrag als init.sh beschreibt, das den Entwicklungsserver startet und eine grundlegende Ende-zu-Ende-Prüfung ausführt.
  • Eine JSON-Funktionsliste, in der jede Funktion zunächst als fehlgeschlagen geführt wird. Der Beitrag berichtet, das Modell ändere JSON seltener unzulässig, Agenten dürften nur das Feld passes bearbeiten, und das Entfernen oder Ändern von Tests werde als inakzeptabel erklärt. In der Demo umfasste sie über 200 Funktionen.
  • Ein Fortschrittsprotokoll, eine Textdatei, die festhält, was jede Sitzung getan hat, damit die nächste daran anknüpfen kann.
  • Git-Verlauf mit aussagekräftigen Commit-Nachrichten, damit sich fehlerhafte Änderungen zurücknehmen lassen.

Die Arbeit schreitet Funktion für Funktion voran. Die Autoren sagen, die Demo sei auf Full-Stack-Webentwicklung abgestimmt, und sie vermuten lediglich, dass die Erkenntnisse auf andere Bereiche übertragbar sind.

Diese Artefakte sind für das Unternehmen wertvoller, als sie aussehen. Sie sind der Prüfpfad: was versucht wurde, was bestanden hat, wer wann was geändert hat. Sie sind auch Ihr Ausstiegsweg. Ein neues Modell oder ein neuer Lieferant kann dieselben Dateien lesen und weitermachen.


Aufbaureihenfolge und Prüfdaten

Was zuerst gebaut wird und was entfallen kann

Die Reihenfolge zählt mehr als die Vollständigkeit. Eine Abfolge, die für einen ersten Workflow funktioniert:

  1. Wählen Sie einen eng umrissenen Workflow und schreiben Sie auf, wie ein korrektes Ergebnis aussieht.
  2. Bauen Sie das Eval-Set auf, beginnend mit 20 Fällen aus realen früheren Fehlschlägen oder Korrekturen.
  3. Definieren Sie die Tools, die der Workflow braucht, mit engen Berechtigungen und Protokollierung.
  4. Schreiben Sie die kürzeste nützliche Anweisungsdatei und prüfen Sie dann, ob jeder Abschnitt Ihren Eval-Wert verbessert.
  5. Ergänzen Sie Guardrails und Freigaben für alles Unumkehrbare, gestützt auf technische Kontrollen.
  6. Ergänzen Sie Gedächtnis, sobald Sitzungen die Arbeit der jeweils vorigen fortsetzen müssen.
  7. Ergänzen Sie Orchestrierung nur, wenn der einzelne Agent nachweislich gescheitert ist.

Lassen Sie alles weg, was Ihre Plattform bereits abdeckt. Verzichten Sie auf Multi-Agenten-Teams, bis Schritt 7 die Frage aufwirft.

Bausteine veralten, planen Sie Prüfungen ein

Das stärkste Argument gegen hohe Investitionen kommt von den Anbietern selbst. Lance Martin von Anthropic schreibt in einem Beitrag von 2026, Harnesses kodierten Annahmen darüber, was das Modell allein nicht kann, und diese Annahmen veralteten, wenn Modelle besser werden. Er nennt Kontext-Resets, die für eine Modellgeneration gebaut wurden und mit der nächsten zu Ballast wurden. LangChain schreibt im selben Sinne, seine Guardrails würden mit besseren Modellen voraussichtlich überflüssig. Was ein reiner Harness-Gewinn wert sein kann und wie Sie testen, welche Regeln entfallen dürfen, lesen Sie in Harness Engineering.

Das eigene Ergebnis von LangChain steht dazu in Spannung. In seinem Beitrag zum Harness Engineering hoben allein Änderungen am Harness einen Coding-Agenten bei konstantem Modell auf Terminal-Bench 2.0 von 52,8 % auf 66,5 %. Das ist ein Anbieter, ein Benchmark, auf diesen Benchmark abgestimmt, und LangChain trennt nicht aus, wie viel jede Änderung beitrug. Die Autoren warnen auch, dass Änderungen, die zu stark auf eine Aufgabe zugeschnitten sind, bei anderen Rückschritte verursachen können.

Beides kann stimmen. Harness-Arbeit zahlt sich heute aus, und ein Teil davon ist nach dem nächsten Modell überholt. Daher der Rat vom Anfang: Besitzen Sie die Bausteine, die an Ihr Geschäft gebunden sind (Testfälle, Tool-Zugriff, Logs, schriftliche Standards), und behandeln Sie generisches Scaffolding als Wegwerfware. Versehen Sie jeden Baustein mit einem Prüfdatum und lassen Sie das Eval-Set bei jedem Modellwechsel erneut laufen.

Wenn Sie heute nicht sagen können, wer jeden der sechs Bausteine besitzt, ist das der erste Befund jeder Harness-Prüfung. Der günstigste nächste Schritt ist ein einseitiges Inventar: für jeden Baustein, wo er liegt, wer ihn pflegt und ob Sie ihn morgen exportieren könnten.

Häufige Fragen

Was ist ein Agent Harness?

Ein Agent Harness ist der Code samt Konfiguration rund um ein Sprachmodell, der es zum Agenten macht. Anthropic beschreibt ihn als das System, das ein Modell als Agent handeln lässt, indem es Eingaben verarbeitet, Tool-Aufrufe orchestriert und Ergebnisse zurückgibt. In unserer Gliederung umfasst er Kontext, Tools, Gedächtnis, Guardrails, Evals und Orchestrierung, während das Modell das Schlussfolgern beisteuert.

Was ist AGENTS.md und brauchen wir eine solche Datei?

AGENTS.md ist ein offenes Format in einfachem Markdown, mit dem Coding-Agenten Projektanweisungen erhalten, oft als README für Agenten beschrieben. Sie brauchen sie nur, wenn Sie Coding-Agenten auf eigenen Repositories einsetzen. Halten Sie sie kurz, denn OpenAI Codex liest Anweisungsdateien standardmässig nur bis zu einer Gesamtgrösse von 32 KiB, und prüfen Sie, ob jede Zeile tatsächlich hilft.

Welchen Baustein des Harness sollten wir zuerst aufbauen?

Beginnen Sie mit einem kleinen Eval-Set und danach mit Tools und Kontext für einen eng umrissenen Workflow. Anthropic nennt 20 bis 50 einfache Aufgaben aus realen Fehlschlägen als guten Start. Ohne dieses Set lässt sich nicht beurteilen, ob eine spätere Änderung an Kontext, Gedächtnis oder Orchestrierung etwas gebracht hat, und alles Weitere entsteht im Blindflug.

Brauchen wir mehrere Agenten?

Am Anfang meist nicht. Anthropic rät, die einfachstmögliche Lösung zu suchen, und warnt, dass Agenten höhere Kosten und das Risiko sich aufschaukelnder Fehler mit sich bringen. Im Beitrag zu langlaufenden Agenten räumt das Unternehmen ein, dass noch unklar sei, ob ein allgemeiner Agent oder ein Multi-Agenten-Aufbau besser abschneidet. Ergänzen Sie Rollen erst, wenn ein einzelner Agent nachweislich scheitert.

Machen bessere Modelle den Harness überflüssig?

Teilweise ja. LangChain sagt, seine Guardrails würden mit besseren Modellen voraussichtlich überflüssig, und Anthropic hält fest, dass die Annahmen eines Harness veralten. Nützlich bleibt, was an Ihr Geschäft gebunden ist: Testfälle, Tool-Zugriffe, Audit-Logs und die schriftliche Definition eines korrekten Ergebnisses. Prüfen Sie jeden Baustein bei jedem Modellwechsel neu.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.