Skip to content
Mit einem KI-Agenten chatten
Grundlagen

Context Engineering für KI-Agenten: Kontext kuratieren, Kompaktierung mit Bedacht, Fakten bewahren

Orange ITS — KI-Engineering-Team 10 Min. Lesezeit

Ein Support-Agent arbeitet seit zwei Stunden an einem Kundenfall. Er hat den Vertrag gelesen, drei Systeme abgefragt und eine Antwort entworfen. Dann nennt er einen Erstattungsbetrag aus der falschen Rechnung, und niemand kann sagen, warum, obwohl jeder benötigte Fakt irgendwo in der Sitzung vorhanden war.

Teams reagieren meist, indem sie ein grösseres Kontextfenster kaufen oder den Verlauf stärker kürzen. Beides kann helfen, und beides kann genau den Fehler auslösen, den es verhindern sollte. Die Disziplin dazwischen heisst Context Engineering: Schritt für Schritt entscheiden, was das Modell sieht.

Für Teams, die Modelle auf eigener Hardware betreiben, wird das Thema in unserer Arbeit zur lokalen Inferenz zur Hardware-Frage, denn jedes Token im Kontext belegt GPU-Speicher, solange die Sitzung besteht.

Kuratierter Kontext und sorgfältige Kompaktierung können die Genauigkeit erhöhen und die Kosten senken, doch zu aggressive Kompaktierung entfernt unbemerkt die Fakten, die ein Agent braucht. Die Aufgabe besteht darin, festzulegen, was überleben muss, und dann zu prüfen, dass es überlebt. Dieser Artikel stellt die Evidenz, die Zielkonflikte und eine Checkliste vor, die ein technischer Leiter noch diese Woche anwenden kann.

Hinweis zum Umfang: Die sechs Bestandteile eines Agent Harness, einschliesslich eines kurzen Abschnitts zum Kontext, behandeln wir in Architektur des Agent Harness. Hier gehen wir allein auf den Kontext tiefer ein.


Warum ein grösseres Fenster keinen besseren Recall bedeutet

Context Rot ist die informelle Bezeichnung dafür, dass die Qualität der Ausgabe sinkt, wenn die Eingabe wächst. Der sorgfältigste öffentliche Test ist Chromas Context-Rot-Bericht vom Juli 2025. Er wertete 18 Modelle aus und hält fest, dass die Leistung mit zunehmender Eingabelänge durchgängig nachlässt, selbst bei einfachen Retrieval-Aufgaben. Ziele mit geringerer Ähnlichkeit verschlechterten sich schneller, und ein einzelner Distraktor beeinträchtigte die Genauigkeit, vier taten es stärker. Chroma entwickelt eine Vektordatenbank, der Bericht ist also als Herstellerforschung zu lesen, auch wenn seine Methoden ausführlich dargelegt sind.

Eine zweite Evidenzlinie liefert der NoLiMa-Benchmark, veröffentlicht auf der ICML 2025. Er testete 13 Modelle, die mindestens 128K Tokens unterstützen sollen, mit Fragen, die sich nicht durch den Abgleich von Schlüsselwörtern beantworten lassen. Laut den Autoren fiel GPT-4o von 99,3 % bei kurzen Längen auf 69,7 % bei 32K Tokens, und 11 der 13 Modelle sanken bei 32K unter die Hälfte ihrer Baseline im kurzen Kontext.

Die Position innerhalb des Fensters ist umstrittener. Liu et al. stellten fest, dass Modelle am besten abschneiden, wenn die relevante Information am Anfang oder Ende der Eingabe steht. In ihrem Test mit 20 Dokumenten fiel GPT-3.5-Turbo von 75,8 % auf 53,8 %, als die Antwort in die Mitte rückte. Diese Studie betrifft Modelle von 2023. Chroma, das neuere Modelle testete, meldete keine nennenswerte Abhängigkeit von der Position der Nadel. „Lost in the middle“ ist daher eine Annahme, die Sie an Ihrem eigenen Modell prüfen sollten.

Eine Vorsicht bei den Daten. Alles bisher Genannte wurde an Modellen von 2025 oder älter gemessen. Stand November 2026 nennt Anthropic für seine aktuellen Modelle ein Fenster von 1M Tokens, und die oben genannten Recall-Tests stammen aus der Zeit davor. Kapazität ist eine Spezifikation. Recall muss man messen.


Was Context Engineering umfasst

Anthropics Leitfaden zu wirksamem Context Engineering beschreibt Kontext als endliche Ressource mit abnehmendem Grenznutzen. Die Dokumentation zur Kompaktierung besagt, dass der aktive Kontext klein gehalten wird, weil die Antwortqualität mit wachsender Konversation nachlässt. Das sind Positionen eines Herstellers, doch sie decken sich mit den oben genannten unabhängigen Messungen.

Die Techniken lassen sich auf wenige reduzieren, jede mit eigener Fehlerart.

TechnikWas sie bewirktWo sie scheitert
Just-in-time-RetrievalLädt Dokumente oder Datensätze erst, wenn ein Schritt sie brauchtLangsamer als vorab berechnetes Retrieval, und der Agent kann schlecht suchen
Löschen von Tool-ErgebnissenEntfernt alte Tool-Ausgaben, sobald sie verwendet wurdenGelöschte Inhalte sind für das Modell verschwunden
KompaktierungFasst einen langen Verlauf zusammen und macht mit der Zusammenfassung weiterDetails, Kennungen und frühere Anweisungen können verloren gehen
Strukturierte NotizenSchreibt den Zustand in eine Datei ausserhalb des FenstersNotizen veralten, oder der Agent vergisst, sie zu lesen
SubagentenÜbergibt eine Teilaufgabe an einen frischen Kontext und nimmt ein kurzes Ergebnis zurückZusatzkosten, und die zurückgegebene Zusammenfassung kann Wesentliches auslassen

Anthropics Beitrag sagt über Kompaktierung dasselbe mit eigenen Worten: Übermässig aggressive Kompaktierung kann subtilen, aber kritischen Kontext verlieren. Der Rest dieses Artikels dreht sich grösstenteils darum, wo diese Grenze verläuft.


Was Kuratierung an Geld spart

Die Kosten sind die besser gemessene Seite des Arguments. Jedes Token im Kontext wird als Input berechnet und belegt bei selbst gehosteten Setups zusätzlich Speicher.

Gehostete Modelle. Die Dokumentation von Anthropic (Stand November 2026) nennt für Cache-Lesezugriffe das 0,1-Fache des Basis-Input-Preises, bei Opus 5.5 und Sonnet 5.5 das 0,05-Fache, bei einer Standard-Cache-Dauer von fünf Minuten. Ein stabiles Präfix aus Anweisungen lässt sich daher günstig erneut senden. Die Dokumentation von Anthropic zum Context Editing warnt, dass das Löschen alter Tool-Ergebnisse zwischengespeicherte Prompt-Präfixe ungültig macht. Die gelöschte Menge muss also gross genug sein, um das Neuschreiben des Caches zu rechtfertigen. Preise und Beta-Funktionen ändern sich, prüfen Sie sie deshalb, bevor Sie sich auf ein Design festlegen.

Selbst gehostete Modelle. Der Speicher für vergangene Tokens, der KV Cache, wächst linear mit dem Kontext. Sebastian Raschkas durchgerechnetes Beispiel für Qwen3-8B (36 Layer, 8 KV-Heads, Head-Dimension 128, bf16) ergibt 144 KiB pro Token. Bei 32.768 Tokens sind das rund 4,5 GiB für eine einzelne Sequenz. Das ist die logische Grösse des Caches, ohne Allocator-Overhead, Fragmentierung, Batching und Quantisierung, reale Deployments weichen also ab. Dennoch zeigt es, warum eine Sitzung, die 30.000 Tokens veralteter Tool-Ausgaben behält, GPU-Speicher belegt, den eine andere Sitzung nutzen könnte. Unser Artikel zur Kostenkontrolle bei selbst gehosteter KI zeigt, wo diese Kosten in einem vollständigen Budget stehen.

Gemessene Einsparungen. Die JetBrains-Studie Complexity Trap verglich Strategien für einen Software-Engineering-Agenten auf SWE-bench Verified über fünf Modellkonfigurationen. Observation Masking, das alte Tool-Ausgaben ausblendet, aber das Reasoning und die Aktionen des Agenten behält, senkte die Kosten pro Instanz in den meisten Konfigurationen um 50 bis 57 %. LLM-Zusammenfassung senkte die Kosten in den meisten Konfigurationen um 41 bis 55 %. Das Kostenergebnis ist belastbar. Das Genauigkeitsergebnis ist es nicht, wie der nächste Abschnitt zeigt.

Anthropic berichtete in seinem Beitrag zum Context Management vom September 2025, dass Memory plus Context Editing die Leistung in der internen Agentic-Search-Evaluation um 39 % verbesserten, Context Editing allein um 29 %, und dass der Token-Verbrauch in einem Websuche-Test mit 100 Runden um 84 % sank. Das sind Anthropics eigene Auswertungen. Der Beitrag nennt keinen öffentlichen Benchmark und gibt die Baseline nicht an. Lesen Sie die Zahlen als Hinweis auf eine Richtung, weit entfernt von einer Prognose für Ihre Arbeitslast.


Wo Kompaktierung Fakten verliert

Kompaktierung tauscht Detail gegen Platz, und das Detail, das sie verwirft, wäre selten dasjenige, das Sie selbst gewählt hätten.

Factorys Auswertung der Kompression, veröffentlicht im Dezember 2025, bewertete drei Zusammenfassungsmethoden über Sitzungen mit insgesamt 36.611 Nachrichten auf einer Skala von 0 bis 5 mit einem LLM als Richter. Die Gesamtwerte lagen bei 3,70 für Factory, 3,44 für Anthropic und 3,35 für OpenAI. Die Dimension Artifact, die erfasst, welche Dateien und Objekte der Agent berührt hat, war bei allen am niedrigsten: 2,45, 2,33 und 2,19. Der Artikel selbst hält fest, dass Artifact Tracking ein ungelöstes Problem bleibt. Zwei Einschränkungen gelten. Factory bewertete das eigene Produkt gegen zwei Wettbewerber, und der Richter war ein Sprachmodell.

JetBrains fand dieselbe Anfälligkeit aus einer anderen Richtung. LLM-Zusammenfassung senkte die Lösungsquote von Gemini 2.5 Flash mit Thinking von 40,4 % auf 31,4 % und die von Qwen3-32B von 17,0 % auf 16,0 %, einen Rückgang, den die Studie nicht als signifikant einstuft. Die Autoren berichten ausserdem, dass Zusammenfassung durchgängig zu längeren Verläufen führt, was sie darauf zurückführen, dass Zusammenfassungen Fehlersignale verdecken und den Agenten zum Weitermachen ermuntern. Auch Masking war nicht unbedenklich: Es senkte die Lösungsquote bei Qwen3-32B und bei Gemini 2.5 Flash mit Thinking und erhöhte sie bei anderen Konfigurationen.

Anthropics Beitrag zu langlaufenden Agenten kommt zu einem praktischen Schluss. Er würdigt Kompaktierung als Fähigkeit des Kontextmanagements und hält dennoch fest, dass sie für langlaufende Arbeit nicht ausreicht. Als Abhilfe dienen gewöhnliche Dateien: ein Initialisierungsschritt, eine Fortschrittsdatei und die Git-Historie, damit eine neue Sitzung aus dem geschriebenen Zustand heraus weiterarbeiten kann. Eine Kartendatei wie AGENTS.md, die jeder Sitzung sagt, wo was liegt, ist eine eigene Ergänzung von Orange ITS und kein Teil von Anthropics Rezept.

Wie sieht das in einem Geschäftsprozess aus? Die Fakten, die ein Agent nie verlieren darf, sind meist klein und exakt: eine Kundennummer, ein genehmigter Rabatt, eine Regel wie „diesen Kunden nie telefonisch kontaktieren“. Eine Zusammenfassung ist ein schlechter Ort, um sie aufzubewahren.


Eine Checkliste zum Kontextbudget für technische Leiter

Betrachten Sie das Fenster als Budget mit vier Konten. Legen Sie vor dem Lauf des Agenten fest, was auf welches Konto gehört, und prüfen Sie es anschliessend.

Immer im Kontext behalten

  • Die Aufgabendefinition und die Regeln, die der Agent befolgen muss, knapp gehalten.
  • Die Beschreibungen der tatsächlich genutzten Tools. Entfernen Sie die übrigen.
  • Der aktuelle Schritt und das unmittelbar vorherige Ergebnis.

Bei Bedarf abrufen

  • Richtliniendokumente, Produktdaten, Vertragstexte und Kundenhistorie. Holen Sie den relevanten Abschnitt, wenn ein Schritt ihn braucht, und verwerfen Sie ihn danach.
  • Referenztabellen. Fragen Sie den Datensatz ab, statt die Tabelle einzufügen.
  • Alles, was einige tausend Tokens übersteigt und nur von einem Schritt benötigt wird.

Nach Gebrauch löschen

  • Grosse Tool-Ausgaben wie vollständige Suchergebnisse, Dateilisten und API-Antworten. Anthropics Context Editing (Stand November 2026 eine Beta-Funktion) löscht alte Tool-Ergebnisse bei einem konfigurierbaren Schwellenwert. Die dokumentierten Standardwerte sind ein Auslöser bei 100.000 Input-Tokens und das Behalten der drei jüngsten Tool-Aufrufe. Der Client behält den vollständigen Verlauf, das Modell sieht das Gelöschte jedoch nicht mehr.
  • Sackgassen und abgebrochene Versuche, also die Art von Ablenkung, die Chroma als schädlich ermittelte.

In Notizen ausserhalb des Fensters schreiben

  • Entscheidungen, offene Fragen und den Status jeder Teilaufgabe.
  • Kennungen, die der Agent wieder braucht, in einer strukturierten Datei.
  • Ein Fortschrittsprotokoll, damit die nächste Sitzung oder das nächste Modell ohne den Verlauf weitermachen kann.

Nie einer Zusammenfassung überlassen

  • Anweisungen und Verbote, die eine Person während der Sitzung erteilt hat.
  • Kennungen wie Kundennummern, Bestell-IDs, Rechnungsnummern und Dateipfade.
  • Beträge, Daten und Schwellenwerte, die eine Entscheidung bestimmen.
  • Freigaben, mit Angabe, wer sie erteilt hat und was sie umfassten.

Schreiben Sie diese in eine Notiz oder ein Datenbankfeld, das der Harness kontrolliert, und fügen Sie sie nach jeder Kompaktierung erneut ein. Das Modell soll sie dort nachlesen, statt sich auf sein Gedächtnis zu verlassen.

Kompaktierung wie jede andere Änderung testen

Stellen Sie eine kleine Menge von Fällen zusammen, in denen ein früh eingeführter Fakt spät verwendet werden muss, und führen Sie sie vor und nach jeder Änderung von Kompaktierungseinstellungen, Modell oder Anweisungen aus. Leiten Sie die Fälle aus echten Fehlern ab, wie in unseren Leitfäden zu Tests und Evals für KI-Agenten und zum Aufbau von Evals aus echten Tickets beschrieben. Bewerten Sie das Ergebnis, etwa den korrekten Erstattungsbetrag, und ignorieren Sie, wie flüssig die Zusammenfassung wirkt.

Zwei Messgrössen lohnt es sich von Anfang an zu verfolgen. Die eine ist der Anteil der zu erhaltenden Fakten, die nach der Kompaktierung noch stimmen. Die andere sind die Kosten pro abgeschlossener Aufgabe, denn ein günstigerer Lauf, der mehr Schritte braucht, ist insgesamt womöglich nicht günstiger.


Was weiterhin umstritten ist

Zwei Fragen sind nicht abschliessend geklärt, und ein vernünftiger Plan berücksichtigt beide.

Zusammenfassung oder Masking. Factory bevorzugt strukturierte Zusammenfassungen, und die eigene Auswertung stützt das. JetBrains stellte fest, dass Masking in seinen Tests die LLM-Zusammenfassung bei geringeren Kosten erreichte oder übertraf, doch die Lösungsquoten wechselten je nach Konfiguration das Vorzeichen, sodass keiner der beiden Ansätze eindeutig gewinnt. Factorys Auswertung nutzt das eigene Produkt und die eigene Bewertung. Eine faire Lesart lautet, dass Masking für Agenten mit vielen Tool-Aufrufen der günstigere Standard ist und Zusammenfassungen die oben beschriebenen Tests brauchen. Ihre Arbeitslast kann von SWE-bench abweichen, messen Sie deshalb daran.

Kontextdateien. Eine Studie der ETH Zürich (Gloaguen et al., arXiv 2602.11988) testete Kontextdateien für Coding-Agenten. Sie ergab, dass diese die Inferenzkosten im Schnitt um über 20 % erhöhten und den Aufgabenerfolg nicht generell verbesserten. LLM-generierte Dateien kosteten bei zwei Benchmarks 20 % und 23 % mehr, von Entwicklern geschriebene Dateien höchstens 19 % mehr. Letztere brachten im Schnitt 2,4 % Gewinn, ein Unterschied, den die Autoren als nicht signifikant ausweisen. Sie fügen hinzu, dass solche Dateien nützlich sind, um nicht standardmässige Vorgehensweisen festzulegen. Die Belege betreffen Python-Repositories und Coding-Agenten. Die Studie deckt andere Agenten-Arbeitslasten nicht ab, es gibt also weder eine Grundlage, das Ergebnis auf einen Support- oder Finanz-Agenten zu übertragen, noch es zu verwerfen.

Anweisungsdateien werden in Praktiker-Texten breit empfohlen, was im Spannungsverhältnis zur Studie steht. Beides kann zutreffen: Eine kurze Datei, die festhält, was der Agent nicht ableiten kann, hilft, und eine lange Übersicht, die den Code wiederholt, verursacht Mehrkosten. Die praktische Regel lautet, dass sich jede Zeile ihren Platz verdienen muss, und ob sie das tut, zeigt Ihr Eval-Set mit und ohne sie.


Messen, bevor Sie kürzen

Context Engineering wird leicht als Tuning-Übung behandelt, und die Evidenz deutet eher auf einen Handel hin, bei dem beide Seiten einen messbaren Preis haben. Weniger Tokens senken die Kosten und verringern in manchen Setups die Ablenkung, die Antworten verschlechtert. Weniger Tokens bedeuten aber auch weniger Stellen, an denen eine Kundennummer oder eine Freigabe stehen kann.

Daraus ergibt sich eine klare Reihenfolge. Legen Sie fest, welche Fakten überleben müssen, speichern Sie sie ausserhalb des Fensters, wenden Sie die günstigste Kürzung an, die Ihre Tests zulassen, und führen Sie dasselbe Testset erneut aus, sobald sich Modell, Fenster oder Kompaktierungseinstellung ändern. Ein Team, das belegen kann, dass seine Erstattungsbeträge und Freigaben eine Kompaktierung überstehen, hat einen Agenten, dem es längere Sitzungen anvertrauen kann. Ein Team, das es nicht belegen kann, hat eine Kosteneinsparung, die es noch nicht verifiziert hat.

Häufige Fragen

Was ist Context Engineering?

Context Engineering bedeutet, bei jedem Schritt zu entscheiden, welche Informationen ein KI-Agent sieht und welche nicht. Anthropic beschreibt Kontext als endliche Ressource mit abnehmendem Grenznutzen. Ziel ist deshalb die kleinste Informationsmenge, mit der die Aufgabe noch gelingt. Dazu gehören Anweisungen, abgerufene Dokumente, Tool-Ergebnisse, Notizen und der Verlauf, der weitergetragen wird.

Was ist Context Rot?

Context Rot bezeichnet den Qualitätsverlust der Antworten, wenn die Eingabe wächst. Chroma testete 18 Modelle und stellte fest, dass die Leistung mit der Eingabelänge durchgängig nachlässt und Distraktoren den Effekt verstärken. Die Ergebnisse stammen von Modellen aus dem Jahr 2025 und aus kontrollierten Aufgaben. Messen Sie den Effekt an Ihrem eigenen Agenten, bevor Sie Ihr Design darauf ausrichten.

Löst ein grösseres Kontextfenster das Problem?

Nein. Stand November 2026 nennt Anthropic für seine aktuellen Modelle ein Fenster von 1M Tokens, doch die Fenstergrösse misst die Kapazität und sagt nichts über den Recall aus. Chroma und die Autoren von NoLiMa fanden beide, dass die Genauigkeit bei Modellen von 2025 mit wachsender Eingabe sinkt. Ein grösseres Fenster bedeutet zudem mehr Tokens, die bezahlt werden müssen, sodass Kuratierung die Kosten weiterhin senkt.

Ist Kontext-Kompaktierung für produktive Agenten sicher?

Nur mit Tests. Kompaktierung senkt die Kosten, aber Zusammenfassungen lassen Details weg. Factory bewertete das Artifact Tracking mit jeder evaluierten Methode am schlechtesten, und JetBrains sah, dass LLM-Zusammenfassungen die Lösungsquote in einigen Konfigurationen senkten. Schützen Sie Anweisungen, Kennungen, Beträge und Freigaben, indem Sie sie in externe Notizen schreiben, und prüfen Sie per Test, dass diese Fakten die Kompaktierung überstehen.

Sollten wir für unseren Agenten eine lange Anweisungsdatei schreiben?

Halten Sie sie kurz und testen Sie sie. Eine Studie der ETH Zürich zu Coding-Agenten ergab, dass Kontextdateien die Inferenzkosten im Schnitt um über 20 % erhöhten und den Aufgabenerfolg nicht generell verbesserten. Von Entwicklern geschriebene Dateien schnitten besser ab als generierte und halfen bei nicht standardmässigen Vorgehensweisen. Die Studie deckt nur Programmierung ab, führen Sie deshalb einen eigenen Vergleich durch.

Insights

Setzen Sie diese Ideen um

Ein 30-minütiges Gespräch genügt, um herauszufinden, ob ein KI-Agent zu Ihrem Workflow passt — und was er einbringen würde.