News / Model Watch · Infrastruttura per agenti
HarnessPro: agenti che evolvono il proprio harness — meglio e più economico
Un team guidato da Tsinghua/Zhipu (Jie Tang co-corrispondente) ha reso open source HarnessPro, un framework senza etichette in cui un agente migliora ricorsivamente il proprio harness — istruzioni, strumenti, politiche di runtime — con prestazioni del task e costo di esecuzione ottimizzati insieme. L'idea cade esattamente sul beat di questo sito: la disciplina dei costi come architettura. Invece di comprare più qualità con più esplorazione a più costo, HarnessPro diagnostica ogni giro di tracce di esecuzione cercando sia pattern di fallimento sia spreco di budget, e consegna tre punti operativi selezionati Pareto — Lite, Medium, Heavy — invece di un unico harness. Abbiamo verificato direttamente il repository (MIT, nove harness su tre benchmark più script di valutazione) e l'abstract arXiv; le cifre per benchmark nelle tabelle sotto sono attribuite al paper così come riportato dal riepilogo AINLP.
Verificato direttamente: il repo pzs19/HarnessPro (MIT, creato 2026-09-24) consegna nove harness — Terminal-Bench 2, SWE-bench Pro e ProgramBench in Lite/Medium/Heavy — con politiche di runtime, hook e script di valutazione (runtime/policy.json contiene i numeri di intensità di ragionamento e budget strumenti). L'abstract arXiv dà il dato di testa: con GPT-5.5×Codex, la modalità heavy media +2.0 punti percentuali di pass rate a −26.1% di costo per task vs RHO, e il vantaggio regge con GLM-5.2×Claude Code. La valutazione durante l'ottimizzazione usa test generati da LLM — niente soluzioni di riferimento, niente test ufficiali.
Dalle tabelle del paper (attribuito): Terminal-Bench 2 heavy 76.3%→80.8% a $1.09→$0.72 per task; SWE-bench Pro medium 79% a $1.26 vs RHO 80% a $2.68; GLM-5.2 heavy su TB2 78.0%→81.4% a $1.00→$0.62; ablazione del sintetizzatore di test −3.4/−10 punti.
Fuori dal rilascio: le configurazioni evolute GLM-5.2 — il quickstart del README mostra comandi gpt-5.5, e il riepilogo AINLP nota che le configurazioni GLM-5.2 non sono ancora pubblicate. Dati benchmark, ambienti e accesso ai modelli sono bring-your-own.
I fatti, graduati (2 nov)
- Il repo, verificato in lettura diretta.
pzs19/HarnessPro: licenza MIT, creato 2026-09-24, nove harness selezionati con link per tier, politiche di runtime e hook, helper di verifica e script di valutazione completi per i tre benchmark. Il quickstart richiede Linux, Python 3.12/3.13, uv, Docker e la Codex CLI (0.147.0 nei loro run). Dal README è collegata una pagina demo live. - Il paper, verificato dall'abstract. arXiv 2610.26770, "HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs" (Zhuoshi Pan, ZhiYuan Feng et al.; Jie Tang tra gli autori). Claim aggregato: con GPT-5.5×Codex la modalità heavy media +2.0 punti di pass rate e −26.1% di costo per task vs RHO sui tre benchmark; lo stesso vantaggio regge sotto GLM-5.2×Claude Code.
- Cifre per benchmark (tabelle del paper via AINLP, coerenti con l'aggregato dell'abstract): TB2 heavy 76.3%→80.8%, $1.09→$0.72 (−34%); SWE-bench Pro medium 79% a $1.26 (−53% costo, −1 punto) e heavy 80.7% a $1.97, contro l'80% a $2.68 di RHO; Lite 72.3% a $0.80, battendo il setup Codex di serie al 59% a $1.88; GLM-5.2×Claude Code su TB2 heavy 78.0%→81.4%, $1.00→$0.62.
- Il trucco di valutazione. Niente test ufficiali o risposte vere durante l'ottimizzazione: i candidati sono classificati contro test sintetizzati una volta da descrizione del task e tracce iniziali. Sui 20 casi di controllo del paper, il giudizio solo-modello ha colto 5 dei 12 fallimenti reali; i test generati 10 — recall dei fallimenti 41.7%→83.3%. Rimuovere il sintetizzatore è costato 3.4–10 punti.
- Dove si risparmia. L'harness evoluto sceglie intensità di ragionamento e budget strumenti per task, usa hook di runtime per pilotare esplorazione vs chiusura (in un profilo TB2 medium: promemoria di fusione delle chiamate parallele a 14 chiamate, rotta alla verifica a 26, stop dopo 44), appende i promemoria agli output degli strumenti per preservare prefissi cache-friendly, e comprime log ridondanti. L'ablazione è la ciliegina: innestare un singolo meccanismo su RHO peggiora (solo routing 76%, solo hook 75%, ragionamento basso uniforme 59%) — i guadagni vengono dalla composizione.
- Comportamento iterativo. TB2 heavy giro 1: 74.6% a $0.91; giro 3: 80.8% a $0.72. SWE-bench Pro medium migliora entrambi gli assi solo al giro 3 — i giri mono-obiettivo possono peggiorare temporaneamente l'altro asse.
Verifica del 2 nov 2026: API GitHub + README grezzo letti direttamente; pagina abstract arXiv letta direttamente. Le cifre per benchmark sono del paper stesso (riportate da AINLP, account media di terze parti — fonte secondaria, coerente con l'aggregato primario); nessuna riproduzione dei benchmark.
Contesto: lo stesso beat di Super-agent — la disciplina di spesa come design
È la terza voce questa settimana sulla stessa storia: l'ingegneria dei costi degli agenti sta diventando il differenziale. Il writeup Super-agent di DeepSeek (la nostra traduzione integrale) ha messo batching, filtro eventi e pass-through in abbonamento nell'architettura di sistema; il CEO di Vercel ha inquadrato il lavoro umano come allocazione del capitale; HarnessPro ora automatizza una fetta di quell'allocazione al livello dell'harness — intensità di ragionamento, budget strumenti e punti di arresto per task, con prefissi cache-friendly preservati. Conta la lineage cinese: Tsinghua e Zhipu (il vendor di GLM) che costruiscono infrastruttura agentica attenta ai costi, con GLM-5.2 come uno dei due stack testati.
Per chi acquista, il titolo pratico è il tier Medium: su SWE-bench Pro, 79% a $1.26 vs l'80% a $2.68 di RHO — un punto di pass rate per metà del conto. È la stessa aritmetica che applichiamo ogni settimana ai prezzi dei modelli (DeepSeek V4.1-Flash off-peak a $0.22/1M, design agentici cache-heavy nella guida ai più economici), ora applicata all'harness stesso.
Una cautela onesta: i confronti del paper sono contro RHO e l'harness di serie su tre benchmark specifici, con costi per task dominati dai prezzi dei modelli di frontiera occidentali. Trattate le percentuali come locali al benchmark, e il pattern — ottimizzare congiuntamente entrambi gli obiettivi, valutare con test sintetizzati, selezionare sul fronte Pareto — come la parte trasferibile.
Cosa significa per i builder
Il rilascio è direttamente usabile se eseguite agenti in stile Codex sui benchmark coperti: clone, uv sync, puntare CODEX_CONFIG al proprio provider e scegliere un tier. Gli harness sono artefatti puri — istruzioni più un JSON di policy con i numeri di intensità e budget allo scoperto — quindi anche fuori dai benchmark valgono come riferimento di come appare una policy sintonizzata sui costi a tre punti di prezzo.
Le lezioni trasferibili, senza repo: valutate l'auto-modifica con test sintetizzati fissi invece del fiuto del modello (il divario di recall 41.7%→83.3% è tutta l'argomentazione); non giudicate mai un cambiamento solo sulla qualità — la traiettoria round-2/round-3 di SWE-Pro medium mostra che il costo può restare indietro e poi recuperare; e non fate cherry-picking di meccanismi — ogni ablazione a meccanismo singolo ha peggiorato RHO mentre il sistema composto lo batteva.
Da seguire: le configurazioni evolute GLM-5.2 nel repo (la metà mancante per gli stack a modelli cinesi); riproduzioni terze dei numeri delle tabelle; artefatti a tier di harness per altri runtime agentici.
Accesso da fuori dalla Cina — e il solito disclaimer
Questo sito segue le API di modelli cinesi per builder internazionali. Il lato GLM di questo lavoro gira sulla stessa famiglia coperta dalla guida GLM API; l'aritmetica dei costi appartiene alla tabella comparativa e alla guida ai più economici.
Dichiarazione di indipendenza: ChinaModelAPI è un sito informativo indipendente, non affiliato agli autori di HarnessPro, Tsinghua, Zhipu o alcun vendor. I fatti di repo e abstract derivano da letture dirette; le cifre delle tabelle sono del paper, trasmesse da un riepilogo secondario; nulla qui è una promessa di routing, disponibilità o prezzo.
Fonti primarie
- GitHub — pzs19/HarnessPro (MIT; 9 harness, politiche di runtime, script di valutazione; README letto direttamente)
- arXiv 2610.26770 — "HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs" (abstract letto direttamente)
- Riepilogo AINLP (NLPer), nov 2026 — le cifre delle tabelle per benchmark e i dettagli delle ablazioni, trasmesse
- Riferimenti interni: traduzione integrale Super-agent · watch sull'allocazione del capitale · guida GLM API
FAQ (2026)
Cos'è HarnessPro?
Un framework MIT di un team Tsinghua/Zhipu in cui gli agenti migliorano ricorsivamente il proprio harness — istruzioni, strumenti, politiche di runtime — ottimizzando insieme prestazioni e costo, valutati con test generati da LLM invece della verità di fondo.
Quanto si risparmia?
Secondo l'abstract arXiv, la modalità heavy media +2.0 punti di pass rate a −26.1% di costo per task vs RHO (GPT-5.5×Codex). Le tabelle: TB2 heavy $0.72 vs $1.09; SWE-Pro medium $1.26 per il 79% vs i $2.68 di RHO per l'80%.
Funziona con i modelli GLM?
Il paper valuta GLM-5.2×Claude Code e il vantaggio regge (TB2 heavy 78.0%→81.4% a $0.62). Le configurazioni evolute GLM-5.2 però non sono ancora nel repo rilasciato — il rilascio contiene gli artefatti dell'evoluzione GPT-5.5.
Cosa sono Lite, Medium, Heavy?
Tre punti operativi selezionati Pareto per benchmark: Lite favorisce il costo, Medium l'equilibrio, Heavy le prestazioni. Nove harness in totale su Terminal-Bench 2, SWE-bench Pro e ProgramBench, ciascuno un artefatto istruzioni-plus-policy in chiaro.
Come si valuta senza verità di fondo?
I test vengono sintetizzati una volta da descrizione del task e tracce iniziali, poi tenuti fissi per tutti i candidati. Il giudizio solo-modello ha colto 5 dei 12 fallimenti reali; i test sintetizzati 10 (recall 41.7%→83.3%).
Posso portare un solo meccanismo?
Probabilmente no. Le ablazioni mostrano che i meccanismi singoli innestati su RHO lo peggiorano (solo routing 76%, solo hook 75%, ragionamento basso 59% vs 80%); i guadagni vengono dal sistema composto.