Das System rund um KI entwickeln
Aus Modellfähigkeiten eine kontrollierte, beobachtbare, produktionsreife Ausführung machen.
Ein KI-Modell kann über eine Aufgabe nachdenken, doch zuverlässige Ausführung braucht mehr als einen Prompt: Kontext, Tools, State Management, Laufzeitkontrollen, Verifikation, Berechtigungen und Recovery-Mechanismen.
Wir entwickeln die operative Schicht, die KI-Modelle mit realen Geschäftsumgebungen verbindet.
Was ist Agent Harness Engineering?
Die Software-Infrastruktur rund um ein KI-Modell
Ein Agent Harness ist die Software-Infrastruktur rund um ein KI-Modell, die seine Ausführung und seine Interaktion mit der Außenwelt koordiniert.
Er steuert die Schleife, in der ein Modell Kontext erhält, Aktionen vorschlägt, Tools aufruft, Ergebnisse verarbeitet und entscheidet, ob es weitermacht, sich erholt oder abschließt.
Ein hilfreiches Denkmodell
KI-AgentModellHarnessToolsUmgebung
- Modell
- Liefert die Fähigkeit zum Schlussfolgern und Generieren.
- Harness
- Steuert die Ausführung.
- Tools
- Stellen erlaubte Aktionen bereit.
- Umgebung
- Liefert die Daten, Schnittstellen, Richtlinien und Betriebsbedingungen, in denen der Agent arbeitet.
Die genaue Architektur variiert je nach Anwendungsfall, doch das Engineering-Problem bleibt gleich: Wie machen wir KI-Verhalten für eine konkrete Geschäftsaufgabe ausreichend zuverlässig, sicher, beobachtbar und wirtschaftlich?
Die Komponenten, die wir entwickeln
Acht Schichten zwischen einem Modell und verlässlicher Arbeit
Ausführungslaufzeit
Steuern, wie die Arbeit voranschreitet.
Ausführungsschleifen, strukturierte Aufgabenzustände, Timeouts, Wiederholungen, Abbruch, Nebenläufigkeitsgrenzen und explizite Abschlussbedingungen umsetzen.
Bei Workflows, die vorhersehbares Verhalten erfordern, sollte die Ausführung definierten Übergängen folgen, statt unbegrenzte, offene Aktionen zuzulassen.
Context Engineering
Dem Modell die Informationen geben, die es braucht – dann, wenn es sie braucht.
Systemanweisungen, Gesprächsverlauf, abgerufenes Wissen, Aufgabenstatus, Tool-Ausgaben und Grenzen des Kontextfensters steuern.
Mit Zusammenfassungen, Retrieval, strukturierten Aufgabenartefakten und schrittweiser Offenlegung irrelevante Informationen reduzieren und kritische Anforderungen über längere Aufgaben hinweg bewahren.
Tool-Orchestrierung
Schlussfolgern mit autorisierten Fähigkeiten verbinden.
APIs, Datenbankoperationen, interne Anwendungen, Umgebungen zur Codeausführung und externe Services über kontrollierte Tool-Schnittstellen bereitstellen.
Tools sollten explizite Eingabeschemata, Berechtigungsgrenzen, dokumentiertes Verhalten und angemessene Fehlerbehandlung haben.
Wo sinnvoll, kann das Model Context Protocol (MCP) die Verbindungen zwischen KI-Anwendungen und Tools standardisieren.
State- & Memory-Management
Kontinuität über Ausführungsschritte hinweg wahren.
Temporären Arbeitskontext von dauerhaftem Aufgabenstatus und längerfristigem Memory trennen.
Relevanten Fortschritt, Zwischenergebnisse, Entscheidungen und Checkpoints speichern, damit eine Aufgabe nach einer Unterbrechung fortgesetzt werden kann, ohne sich allein auf den Gesprächsverlauf zu stützen.
Die Speicherdauer sollte sich nach den Anforderungen der Anwendung an Datenschutz, Sicherheit und Aufbewahrung richten.
Planen–Ausführen–Prüfen
Arbeit validieren, bevor sie als erledigt gilt.
Bei geeigneten Aufgaben gliedert sich die Ausführung in drei Phasen:
- Planen: Geplante Schritte, Randbedingungen und erwartete Ergebnisse festlegen.
- Ausführen: Autorisierte Operationen ausführen und ihre Ergebnisse erfassen.
- Prüfen: Ergebnisse gegen explizite Anforderungen prüfen, bevor es weitergeht oder der Abschluss gemeldet wird.
Die Verifikation kann Schemavalidierung, deterministische Geschäftsregeln, eine unabhängige Modellprüfung, Quellenprüfungen, Tests oder menschliche Freigaben umfassen.
Identität, Berechtigungen & Guardrails
Begrenzen, was ein Agent tun darf.
Identitäts- und Zugriffsmanagement, Least-Privilege-Berechtigungen, toolspezifische Autorisierung, isolierte Ausführung, Freigabeschritte und Einschränkungen für sensible Aktionen integrieren.
Ein Agent sollte nur die Fähigkeiten erhalten, die seine aktuelle Aufgabe erfordert. Folgenreiche Aktionen können eine ausdrückliche menschliche Freigabe erfordern.
Observability & Evaluierung
Agentenverhalten nachvollziehbar und verbesserbar machen.
Ausführungs-Traces, Tool-Aufrufe, Fehler, Latenz, Tokenverbrauch, Kosten und Evaluierungsergebnisse erfassen.
Mit repräsentativen Testfällen und Feedback aus dem Betrieb wiederkehrende Fehler, Regressionen, ineffiziente Ausführungspfade und Leistungsveränderungen erkennen.
Recovery & lang laufende Ausführung
Auf Unterbrechungen und Fehler auslegen.
Checkpoints, wo sinnvoll idempotente Operationen, begrenzte Wiederholungen, Fehlerklassifizierung und kontrolliertes Fortsetzen unterstützen.
Lang laufende Aufgaben brauchen explizite Fortschrittsverfolgung und dauerhaften Zustand – nicht nur einen immer längeren Gesprächsverlauf.
Harness Engineering und die KI-Control-Plane
Von einer Ausführungsschleife zu einem Agenten-Ökosystem
Wenn Organisationen mehr Agenten über verschiedene Teams und Anwendungen hinweg einsetzen, reicht die Herausforderung über einzelne Ausführungsschleifen hinaus.
Eine KI-Control-Plane sorgt für organisationsweite Koordination und Governance des Agenten-Ökosystems.
Agent HarnessSteuert die Ausführung eines Agenten oder Workflows
KI-Control-PlaneKoordiniert Agenten und Richtlinien in der gesamten Organisation
Agent HarnessKontrolliert Kontext, Tools, Zustand und Aufgabenfortschritt
KI-Control-PlaneVerwaltet Register, gemeinsame Governance und organisationsweite Transparenz
Agent HarnessBehandelt Wiederholungen, Verifikation und Fehler auf Aufgabenebene
KI-Control-PlaneUnterstützt flottenweites Monitoring, Richtliniendurchsetzung und Kostenzuordnung
Agent HarnessSetzt Berechtigungen auf Ausführungsebene durch
KI-Control-PlaneKoordiniert Identitäts- und Zugriffsrichtlinien über integrierte Systeme hinweg
Agent HarnessMisst die Leistung auf Aufgabenebene
KI-Control-PlaneAggregiert Betriebs- und Geschäftskennzahlen über alle Deployments
Diese Schichten können sich überschneiden, und nicht jede Organisation braucht ein eigenes Control-Plane-Produkt. Die Architektur sollte zu Umfang, Risiko und betrieblicher Komplexität des Einsatzes passen.
Die Wirtschaftlichkeit zuverlässiger KI
Die Modellwahl ist nur ein Faktor der KI-Betriebskosten.
Engineering auf Harness-Ebene kann die Wirtschaftlichkeit verbessern durch:
Kontexteffizienz: Unnötige Eingabetokens und übergroße Tool-Antworten reduzieren.
Modell-Routing: Aufgaben Modellen zuweisen, die zu ihrer Komplexität und ihrem Risiko passen.
Caching: Geeignete Ergebnisse oder stabile Prompt-Präfixe wiederverwenden, wenn Korrektheit und Anbieterverhalten es erlauben.
Begrenzte Ausführung: Wiederholte Aufrufe, unkontrollierte Schleifen und unnötige Delegation an Agenten verhindern.
Verifikationsstrategie: Validierungsaufwand nach Aufgabenrisiko und Fehlerkosten verteilen.
Leistungsmonitoring: Kosten pro erfolgreich erledigter Aufgabe verfolgen statt nur den Tokenverbrauch.
Wir bewerten diese Techniken an der tatsächlichen Arbeitslast. Kosteneinsparungen und Latenzverbesserungen hängen von Modell, Anbieter, Cache-Verhalten, Aufgabendesign und Produktionsverkehr ab – sie werden nicht vorab angenommen.
Environment Engineering
Machen Sie Ihre Systeme für KI verständlich
Agenten werden nicht nur durch die Fähigkeiten des Modells begrenzt, sondern auch durch die Qualität der Umgebung, in der sie sich bewegen.
Unklare APIs, undokumentierte Geschäftsregeln, inkonsistente Datenschemata, mehrdeutige Berechtigungen und unvorhersehbare Nebenwirkungen erhöhen Ausführungskomplexität und Fehlerrisiko.
Environment Engineering löst diese Probleme, indem es Unternehmenssysteme expliziter und zugänglicher macht durch:
Klar definierte APIs und Tool-Verträge.
Klare Datenbankschemata und Datenwörterbücher.
Maschinenlesbare Dokumentation und Workflow-Definitionen.
Konsistente Fehlerbehandlung und Statusmeldungen.
Explizite Geschäftsregeln und Validierungsanforderungen.
Testumgebungen und repräsentative Evaluierungsdatensätze.
Sichere, prüfbare Schnittstellen zu Altsystemen.
Ziel ist nicht, KI uneingeschränkten Zugriff auf bestehende Infrastruktur zu geben, sondern kontrollierte Schnittstellen zu schaffen, über die KI nützliche Arbeit leisten kann.
Selbst bauen oder einkaufen
Standard wiederverwenden. Das Unterscheidende entwickeln.
Wir unterscheiden zwischen wiederverwendbarer Infrastruktur und Fähigkeiten, die Ihr Geschäft auszeichnen.
Wo sinnvoll, etablierte Infrastruktur nutzen
Model-Serving-Plattformen, Agenten-Frameworks, Tracing-Systeme, Identitätsdienste und standardisierte Integrationsprotokolle.
Die geschäftsspezifische Schicht entwickeln
Domänen-Tools, Workflow-Logik, Evaluierungsdatensätze, spezialisierte Wissensmodelle, Umgebungskarten, Integrationen und Entscheidungsregeln.
So bauen wir keine Standardkomponenten neu, ohne die Kontrolle über die Fähigkeiten aufzugeben, die die Lösung wertvoll machen.
Wann brauchen Sie Harness Engineering?
Wenn ein KI-System:
Mehr als eine einzelne Prompt-und-Antwort-Interaktion ausführen muss.
Mit privaten Unternehmensdaten oder authentifizierten Systemen arbeiten muss.
Zustand über mehrere Schritte oder Sitzungen halten muss.
Sich von Fehlern und Unterbrechungen erholen muss.
Ergebnisse liefern muss, die explizite Qualitätsanforderungen erfüllen.
Innerhalb strenger Sicherheits-, Compliance- oder Freigabegrenzen arbeiten muss.
Messbare Ziele für Latenz, Zuverlässigkeit und Kosten erreichen muss.
Für eine einfache Textgenerierungsfunktion ist eine vollständige Harness-Architektur womöglich unnötig. Wir entwickeln genau so viel Infrastruktur, wie die Anwendung tatsächlich braucht.
Unser Vorgehen
Sechs Schritte vom Ziel zum Betrieb
Definieren
Ziel und Betriebsgrenzen des Agenten definieren.
Kartieren
Tools, Datenabhängigkeiten und Umgebung kartieren.
Entwerfen
Mechanismen für Ausführung, Kontext, Zustand und Verifikation entwerfen.
Umsetzen
Berechtigungen, Monitoring und Recovery umsetzen.
Bewerten
Realistische Aufgaben, Fehlermodi, Latenz und Kosten bewerten.
Betreiben
Ausrollen, überwachen und anhand vereinbarter Leistungskriterien verbessern.
Weiter entdecken
Verwandte Leistungen
- Enterprise-KI-InfrastrukturKI-Tools & IntegrationenVerbinden Sie KI mit CRM, ERP, Datenbanken, Dokumenten und Betriebssystemen – über kontrollierte APIs, das Model Context Protocol (MCP) und sichere Ausführungsgrenzen.
- Enterprise-KI-InfrastrukturKI-Control-Plane & GovernanceKI in der gesamten Organisation steuern: Agenten- und Modellregister, Identität und Zugriff, Richtliniendurchsetzung, Observability, Release-Management und Kostenkontrolle.
KI bauen, der man die Arbeit anvertrauen kann
Der Unterschied zwischen einer beeindruckenden Demo und einer verlässlichen KI-Anwendung liegt oft im Engineering rund um das Modell.