News / Model Watch · Agenten-Infrastruktur
HarnessPro: Agenten, die ihr eigenes Harness entwickeln — besser und billiger
Ein von Tsinghua/Zhipu geführtes Team (Jie Tang Co-Korrespondent) hat HarnessPro freigegeben — ein label-freies Framework, in dem ein Agent sein eigenes Harness (Instruktionen, Tools, Laufzeit-Policies) rekursiv verbessert, mit Task-Performance und Ausführungskosten gemeinsam optimiert. Die Idee trifft exakt den Beat dieser Seite: Kostendisziplin als Architektur. Statt mehr Qualität durch mehr Exploration zu teurerem Preis zu kaufen, diagnostiziert HarnessPro jede Runde der Ausführungsspuren nach beiden Seiten — Fehlmustern und Budget-Verschwendung — und liefert drei Pareto-selektierte Betriebspunkte (Lite, Medium, Heavy) statt eines einzigen Harness. Repo (MIT, neun Harnesses über drei Benchmarks plus Eval-Skripte) und arXiv-Abstract wurden direkt verifiziert; die Benchmark-Tabellenzahlen unten sind dem Paper zugeschrieben, wie vom AINLP-Resümee übermittelt.
Direkt verifiziert: Das Repo pzs19/HarnessPro (MIT, erstellt 2026-09-24) liefert neun Harnesses — Terminal-Bench 2, SWE-bench Pro und ProgramBench je Lite/Medium/Heavy — mit Laufzeit-Policies, Hooks und Eval-Skripten (runtime/policy.json hält die Zahlen zu Reasoning-Intensität und Tool-Budgets). Das arXiv-Abstract gibt den Kopfwert: Mit GPT-5.5×Codex erreicht der Heavy-Modus im Schnitt +2,0 Prozentpunkte Pass Rate bei −26,1% Kosten pro Task vs RHO, und der Vorsprung hält mit GLM-5.2×Claude Code. Die Bewertung während der Optimierung nutzt LLM-generierte Tests — keine Referenzlösungen, keine offiziellen Tests.
Aus den Paper-Tabellen (attribuiert): Terminal-Bench 2 Heavy 76.3%→80.8% bei $1.09→$0.72 pro Task; SWE-bench Pro Medium 79% bei $1.26 vs RHO 80% bei $2.68; GLM-5.2 Heavy auf TB2 78.0%→81.4% bei $1.00→$0.62; Ablation des Testsynthesizers −3.4 bis −10 Punkte.
Nicht im Release: Die evolvierten GLM-5.2-Konfigurationen — der README-Quickstart zeigt gpt-5.5-Befehle, und das AINLP-Resümee hält fest, dass die GLM-5.2-Konfigurationen noch nicht publiziert sind. Benchmark-Daten, Task-Umgebungen und Modellzugang bringt man selbst mit.
Die Fakten, gestuft (2. Nov.)
- Das Repo, per Direktlektüre verifiziert.
pzs19/HarnessPro: MIT, erstellt 2026-09-24, neun selektierte Harnesses mit Tier-Links, Laufzeit-Policies und Hooks, Verifizierungs-Helfer und vollständige Eval-Skripte für drei Benchmarks. Der Quickstart braucht Linux, Python 3.12/3.13, uv, Docker und die Codex CLI (0.147.0 in ihren Runs); eine Live-Demo-Seite ist verlinkt. - Das Paper, per Abstract verifiziert. arXiv 2610.26770, „HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs“ (Zhuoshi Pan, ZhiYuan Feng et al.; Jie Tang im Autorenverzeichnis). Aggregat: Mit GPT-5.5×Codex erreicht Heavy über drei Benchmarks im Schnitt +2.0 Punkte Pass Rate und −26.1% Kosten pro Task vs RHO; derselbe Vorsprung hält mit GLM-5.2×Claude Code.
- Zahlen pro Benchmark (Paper-Tabellen via AINLP, konsistent mit dem Abstract-Aggregat): TB2 Heavy 76.3%→80.8%, $1.09→$0.72 (−34%); SWE-bench Pro Medium 79% bei $1.26 (−53% Kosten, −1 Punkt) und Heavy 80.7% bei $1.97 gegen RHOs 80% bei $2.68; Lite 72.3% bei $0.80 und schlägt damit das Serien-Codex-Setup (59% bei $1.88); GLM-5.2×Claude Code auf TB2 Heavy 78.0%→81.4%, $1.00→$0.62.
- Der Bewertungstrick. Keine offiziellen Tests und keine Referenzlösungen während der Optimierung: Kandidaten werden gegen Tests bewertet, die einmal aus Aufgabenbeschreibung und Anfangsspuren synthetisiert und dann fixiert werden. In den 20 Prüffällen des Papers erkannte das reine Modellurteil 5 von 12 echten Fehlern; generierte Tests 10 — Failure-Recall 41.7%→83.3%. Ohne den Testsynthesizer fielen 3.4–10 Punkte.
- Wo gespart wird. Das evolvierte Harness wählt Reasoning-Intensität und Tool-Budgets pro Task, steuert Exploration vs. Abschluss über Laufzeit-Hooks (in einem TB2-Medium-Profil: Hinweise zum Zusammenlegen paralleler Calls bei 14 Tool-Calls, Dreh zur Verifikation bei 26, Stopp nach 44), hängt die Hinweise an Tool-Outputs, um Cache-freundliche Prompt-Präfixe zu erhalten, und faltet/komprimiert Logs. Die Ablation ist der Kernpunkt: jedes einzelne auf RHO gepfropfte Mechanismus-Upgrade verschlechterte (nur Routing 76%, nur Budget-Hooks 75%, durchgehend niedrige Reasoning-Intensität 59%) — die Gewinne kommen aus der Komposition.
- Iterationsverhalten. TB2 Heavy Runde 1: 74.6% bei $0.91; Runde 3: 80.8% bei $0.72. SWE-bench Pro Medium verbesserte beide Achsen erst in Runde 3 — Runden mit einem Ziel können die andere Achse vorübergehend verschlechtern.
Verifiziert am 2. Nov. 2026: GitHub-API + rohes README direkt gelesen; arXiv-Abstract-Seite direkt gelesen. Die Zahlen pro Benchmark stammen aus dem Paper selbst (via AINLP, einem Drittmedien-Account — Zweitquelle, konsistent mit dem Primär-Abstract); keine Benchmark-Reproduktion.
Kontext: derselbe Beat wie Super-agent — Ausgabendisziplin als Design
Es ist der dritte Eintrag diese Woche zu derselben Geschichte: Agenten-Kosteningenieur wird zum Differenzierer. DeepSeeks Super-agent-Writeup (unsere Vollübersetzung) legte Batching, Event-Filterung und Abonnement-Pass-through in die Systemarchitektur; Vercels CEO rahmte die menschliche Arbeit als Kapitalallokation; HarnessPro automatisiert nun ein Stück dieser Allokation auf Harness-Ebene — Reasoning-Intensität, Tool-Budgets und Stopppunkte pro Task, mit bewahrten Cache-Präfixen. Die chinesische Lineage zählt: Tsinghua und Zhipu (der GLM-Anbieter) bauen kostenbewusste Agenten-Infrastruktur, mit GLM-5.2 als einem der beiden getesteten Stacks.
Für Käufer ist die praktische Schlagzeile das Medium-Tier: auf SWE-bench Pro 79% bei $1.26 vs RHOs 80% bei $2.68 — ein Punkt Pass Rate für die halbe Rechnung. Es ist dieselbe Arithmetik, die wir wöchentlich auf Modellpreise anwenden (DeepSeek V4.1-Flash Nebenzeit bei $0.22/1M, Cache-lastige Agenten-Designs im Billigst-Guide), jetzt angewandt auf das Harness selbst.
Eine ehrliche Einschränkung: Die Vergleiche des Papers laufen gegen RHO und das Serien-Harness auf drei konkreten Benchmarks, und die Task-Kosten dominieren die Preise westlicher Flaggschiffmodelle. Behandelt die Prozentsätze als benchmark-lokal und das Muster — beide Ziele gemeinsam optimieren, mit synthetisierten Tests bewerten, auf der Pareto-Front auswählen — als den übertragbaren Teil.
Was das für Builder bedeutet
Der Release ist direkt nutzbar, wenn ihr Codex-artige Agenten auf den abgedeckten Benchmarks betreibt: clone, uv sync, CODEX_CONFIG auf euren Provider richten und ein Tier wählen. Die Harnesses sind reine Artefakte — Instruktionen plus ein Policy-JSON mit den Zahlen zu Intensität und Budgets im Klartext — also auch abseits der Benchmarks ein Referenzbild dafür, wie eine kostenabgestimmte Policy bei drei Preispunkten aussieht.
Die übertragbaren Lehren ohne Repo: Selbst-Modifikation mit fixierten synthetisierten Tests bewerten statt mit Modellgefühl (die 41.7%→83.3%-Recall-Lücke ist die ganze Argumentation); Änderungen nie nur an Qualität messen — die SWE-Pro-Medium-Runde-2/3-Trajektorie zeigt, dass Kosten hinterherlaufen und dann aufholen können; und keine Mechanismen einzeln cherry-picken — jede Einzel-Ablation verschlechterte RHO, während das komponierte System gewann.
Zu beobachten: die GLM-5.2-Evolutions-Konfigurationen im Repo (die fehlende Hälfte für chinesische Modell-Stacks); Dritt-Reproduktionen der Tabellenzahlen; Harness-Tier-Artefakte für weitere Laufzeiten.
Zugang von außerhalb Chinas — und der übliche Disclaimer
Diese Seite folgt den chinesischen Modell-APIs für internationale Builder. Die GLM-Seite dieser Arbeit läuft auf derselben Familie wie der GLM-API-Guide; die Kosten-Arithmetik gehört zur Vergleichstabelle und zum Billigst-Guide.
Unabhängigkeits-Hinweis: ChinaModelAPI ist eine unabhängige Informationsseite, nicht verbunden mit den HarnessPro-Autoren, Tsinghua, Zhipu oder einem Anbieter. Repo- und Abstract-Fakten stammen aus Direktlektüre; Tabellenzahlen sind die des Papers via Zweitresümee; nichts hier ist eine Routing-, Verfügbarkeits- oder Preiszusage.
Primärquellen
- GitHub — pzs19/HarnessPro (MIT; 9 Harnesses, Laufzeit-Policies, Eval-Skripte; README direkt gelesen)
- arXiv 2610.26770 — „HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs“ (Abstract direkt gelesen)
- AINLP-Resümee (NLPer), Nov. 2026 — die Zahlen der Benchmark-Tabellen und Ablationsdetails, übermittelt
- Stationsintern: Super-agent-Vollübersetzung · Watch zur Kapitalallokation · GLM-API-Guide
FAQ (2026)
Was ist HarnessPro?
Ein MIT-Framework eines Tsinghua/Zhipu-Teams: Agenten verbessern ihr eigenes Harness — Instruktionen, Tools, Laufzeit-Policies — und optimieren Performance und Kosten gemeinsam, bewertet mit LLM-generierten Tests statt Referenzlösungen.
Wie viel spart es?
Laut arXiv-Abstract: Heavy im Schnitt +2.0 Punkte Pass Rate bei −26.1% Kosten pro Task vs RHO (GPT-5.5×Codex). Tabellen: TB2 Heavy $0.72 vs $1.09; SWE-Pro Medium $1.26 für 79% vs RHOs $2.68 für 80%.
Funktioniert es mit GLM-Modellen?
Das Paper testet GLM-5.2×Claude Code, und der Vorsprung hält (TB2 Heavy 78.0%→81.4% bei $0.62). Doch die evolvierten GLM-5.2-Konfigurationen sind noch nicht im Release — er enthält die GPT-5.5-Evolutionsartefakte.
Was sind Lite, Medium, Heavy?
Drei Pareto-selektierte Betriebspunkte je Benchmark: Lite favorisiert Kosten, Medium Gleichgewicht, Heavy Performance. Neun Harnesses über Terminal-Bench 2, SWE-bench Pro und ProgramBench — je ein Klartext-Artefakt aus Instruktionen plus Policy.
Wie wird ohne Referenzlösungen bewertet?
Tests werden einmal aus Aufgabenbeschreibung und Anfangsspuren synthetisiert und für alle Kandidaten fixiert. Das reine Modellurteil erkannte 5 von 12 echten Fehlern; generierte Tests 10 (Recall 41.7%→83.3%).
Kann ich nur einen Mechanismus portieren?
Wohl nicht. Die Ablationen zeigen: einzelne auf RHO gepfropfte Mechanismen verschlechtern es (nur Routing 76%, nur Hooks 75%, niedrige Reasoning-Intensität 59% vs 80%); die Gewinne stammen aus dem komponierten System.