Actualités / Model Watch · Infrastructure d'agents
HarnessPro : des agents qui font évoluer leur harness — mieux et moins cher
Une équipe menée par Tsinghua/Zhipu (Jie Tang co-correspondant) a publié en open source HarnessPro, un framework sans étiquettes où un agent améliore récursivement son propre harness — instructions, outils, politiques d'exécution — avec performance de tâche et coût d'exécution optimisés ensemble. L'idée tombe pile sur le beat de ce site : la discipline des coûts comme architecture. Au lieu d'acheter plus de qualité par plus d'exploration à plus de coût, HarnessPro diagnostique chaque tour de traces d'exécution cherchant à la fois motifs d'échec et gaspillage de budget, et livre trois points de fonctionnement sélectionnés sur le Pareto — Lite, Medium, Heavy — plutôt qu'un harness unique. Nous avons vérifié directement le dépôt (MIT, neuf harness sur trois benchmarks plus scripts d'évaluation) et l'abstract arXiv ; les chiffres par benchmark ci-dessous sont attribués au paper tels que relayés par le résumé AINLP.
Vérifié directement : le dépôt pzs19/HarnessPro (MIT, créé le 2026-09-24) livre neuf harness — Terminal-Bench 2, SWE-bench Pro et ProgramBench en Lite/Medium/Heavy — avec politiques d'exécution, hooks et scripts d'évaluation (runtime/policy.json contient les chiffres d'intensité de raisonnement et de budgets d'outils). L'abstract arXiv donne le chiffre de tête : avec GPT-5.5×Codex, le mode heavy atteint en moyenne +2,0 points de pass rate à −26,1% de coût par tâche vs RHO, et l'avantage tient avec GLM-5.2×Claude Code. L'évaluation pendant l'optimisation utilise des tests générés par LLM — ni solutions de référence ni tests officiels.
Des tableaux du paper (attribué) : Terminal-Bench 2 heavy 76.3%→80.8% à $1.09→$0.72 par tâche ; SWE-bench Pro medium 79% à $1.26 vs RHO 80% à $2.68 ; GLM-5.2 heavy sur TB2 78.0%→81.4% à $1.00→$0.62 ; ablation du synthétiseur de tests −3,4 à −10 points.
Hors du release : les configurations GLM-5.2 évolutives — le quickstart du README montre des commandes gpt-5.5, et le résumé AINLP note que les configurations d'évolution GLM-5.2 ne sont pas encore publiées. Données de benchmark, environnements de tâches et accès aux modèles sont à fournir soi-même.
Les affirmations, graduées (2 nov.)
- Le dépôt, vérifié en lecture directe.
pzs19/HarnessPro: MIT, créé le 2026-09-24, neuf harness sélectionnés avec liens par tier, politiques de runtime et hooks, aides de vérification et scripts d'évaluation complets pour trois benchmarks. Le quickstart demande Linux, Python 3.12/3.13, uv, Docker et la Codex CLI (0.147.0 chez eux) ; une page de démo live est liée. - Le paper, vérifié depuis l'abstract. arXiv 2610.26770, « HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs » (Zhuoshi Pan, ZhiYuan Feng et al. ; Jie Tang parmi les auteurs). Agrégat : avec GPT-5.5×Codex le mode heavy atteint en moyenne +2.0 points et −26.1% de coût par tâche vs RHO ; le même avantage tient sous GLM-5.2×Claude Code.
- Chiffres par benchmark (tableaux du paper via AINLP, cohérents avec l'agrégat de l'abstract) : TB2 heavy 76.3%→80.8%, $1.09→$0.72 (−34%) ; SWE-bench Pro medium 79% à $1.26 (−53% de coût, −1 point) et heavy 80.7% à $1.97 contre les 80% à $2.68 de RHO ; Lite 72.3% à $0.80, battant le setup Codex de série à 59% pour $1.88 ; GLM-5.2×Claude Code sur TB2 heavy 78.0%→81.4%, $1.00→$0.62.
- Le truc d'évaluation. Ni tests officiels ni réponses de référence pendant l'optimisation : les candidats sont notés contre des tests synthétisés une fois depuis la description de tâche et les traces initiales, puis figés. Sur les 20 cas de contrôle du paper, le jugement modèle-seul a repéré 5 des 12 échecs réels ; les tests générés 10 — rappel des échecs 41.7%→83.3%. Retirer le synthétiseur a coûté 3.4–10 points.
- Où l'argent est économisé. Le harness évolué choisit intensité de raisonnement et budgets d'outils par tâche, pilote exploration vs clôture via des hooks de runtime (dans un profil TB2 medium : rappels de fusion des appels parallèles à 14 appels, pivot vers la vérification à 26, arrêt après 44), appende les rappels aux sorties d'outils pour préserver des préfixes cache-friendly, et replie/compresse les logs. L'ablation est la cerise : chaque mécanisme unique greffé sur RHO l'a dégradé (routing seul 76%, hooks seuls 75%, raisonnement bas uniforme 59%) — les gains viennent de la composition.
- Comportement itératif. TB2 heavy tour 1 : 74.6% à $0.91 ; tour 3 : 80.8% à $0.72. SWE-bench Pro medium n'a amélioré les deux axes ensemble qu'au tour 3 — les tours mono-objectif peuvent dégrader temporairement l'autre axe.
Vérifié le 2 nov. 2026 : API GitHub + README brut lus directement ; page abstract arXiv lue directement. Les chiffres par benchmark sont ceux du paper (via AINLP, compte média tiers — source secondaire, cohérente avec l'abstract primaire) ; aucune reproduction de benchmark.
Contexte : le même beat que Super-agent — la discipline de dépense comme design
Troisième entrée cette semaine sur la même histoire : l'ingénierie des coûts des agents devient le différenciateur. Le writeup Super-agent de DeepSeek (notre traduction intégrale) a mis batching, filtrage d'événements et pass-through par abonnement dans l'architecture ; le PDG de Vercel a cadré le travail humain comme allocation du capital ; HarnessPro automatise désormais une tranche de cette allocation au niveau du harness — intensité de raisonnement, budgets d'outils et points d'arrêt par tâche, préfixes cache-friendly préservés. La lignée chinoise compte : Tsinghua et Zhipu (le vendeur de GLM) construisent une infrastructure d'agents sensible aux coûts, GLM-5.2 étant l'un des deux stacks testés.
Pour les acheteurs, le titre pratique est le tier Medium : sur SWE-bench Pro, 79% à $1.26 vs les 80% à $2.68 de RHO — un point de pass rate pour la moitié de la facture. C'est l'arithmétique que nous appliquons chaque semaine aux prix des modèles (DeepSeek V4.1-Flash hors pointe à $0.22/1M, designs d'agents cache-heavy dans le guide des moins chers), cette fois appliquée au harness lui-même.
Une réserve honnête : les comparaisons du paper courent contre RHO et le harness de série sur trois benchmarks précis, et les coûts par tâche sont dominés par les prix des flagships occidentaux. Tenez les pourcentages pour locaux au benchmark, et le pattern — optimiser les deux objectifs ensemble, évaluer par tests synthétisés, sélectionner sur le front de Pareto — pour la partie transférable.
Ce que cela signifie pour les builders
Le release est directement utilisable si vous faites tourner des agents façon Codex sur les benchmarks couverts : clone, uv sync, pointer CODEX_CONFIG vers votre provider et choisir un tier. Les harness sont des artefacts purs — instructions plus un JSON de policy aux chiffres ouverts — donc même hors benchmarks ils servent de référence de ce qu'est une policy calibrée coûts à trois points de prix.
Les leçons transférables, sans repo : évaluez l'auto-modification avec des tests synthétisés fixes plutôt qu'au feeling du modèle (l'écart de rappel 41.7%→83.3% est tout l'argument) ; ne jugez jamais un changement sur la seule qualité — la trajectoire tours 2/3 de SWE-Pro medium montre que le coût peut traîner puis rattraper ; et ne cherry-pickez pas de mécanismes isolés — chaque ablation à mécanisme unique a dégradé RHO quand le système composé l'a battu.
À surveiller : les configurations évolutives GLM-5.2 dans le repo (la moitié manquante des stacks à modèles chinois) ; reproductions tierces des chiffres des tableaux ; artefacts de tiers de harness pour d'autres runtimes.
Accès depuis hors de Chine — et l'avertissement habituel
Ce site suit les API de modèles chinois pour les builders internationaux. Le côté GLM de ce travail tourne sur la même famille que le guide GLM API ; l'arithmétique des coûts appartient à la table comparative et au guide des moins chers.
Déclaration d'indépendance : ChinaModelAPI est un site d'information indépendant, sans lien avec les auteurs de HarnessPro, Tsinghua, Zhipu ou un vendeur. Faits de repo et d'abstract issus de lectures directes ; chiffres des tableaux ceux du paper via un résumé secondaire ; rien ici n'est une promesse de routage, disponibilité ou prix.
Sources primaires
- GitHub — pzs19/HarnessPro (MIT ; 9 harness, politiques de runtime, scripts d'évaluation ; README lu directement)
- arXiv 2610.26770 — « HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs » (abstract lu directement)
- Résumé AINLP (NLPer), nov. 2026 — chiffres des tableaux par benchmark et détails d'ablation, transmis
- Renvois internes : traduction intégrale Super-agent · veille sur l'allocation du capital · guide GLM API
FAQ (2026)
Qu'est-ce que HarnessPro ?
Un framework MIT d'une équipe Tsinghua/Zhipu : les agents améliorent récursivement leur harness — instructions, outils, politiques de runtime — en optimisant ensemble performance et coût, évalués par tests générés par LLM plutôt que par vérité de terrain.
Combien ça économise ?
Selon l'abstract arXiv : heavy en moyenne +2.0 points de pass rate à −26.1% de coût par tâche vs RHO (GPT-5.5×Codex). Tableaux : TB2 heavy $0.72 vs $1.09 ; SWE-Pro medium $1.26 pour 79% contre $2.68 à RHO pour 80%.
Ça marche avec les modèles GLM ?
Le paper évalue GLM-5.2×Claude Code et l'avantage tient (TB2 heavy 78.0%→81.4% à $0.62). Mais les configurations GLM-5.2 évolutives ne sont pas encore dans le repo — le release contient les artefacts de l'évolution GPT-5.5.
Que sont Lite, Medium, Heavy ?
Trois points de fonctionnement sélectionnés sur le Pareto par benchmark : Lite favorise le coût, Medium l'équilibre, Heavy la performance. Neuf harness au total, chacun un artefact instructions-plus-policy en clair.
Comment évaluer sans vérité de terrain ?
Les tests sont synthétisés une fois depuis la description de tâche et les traces initiales, puis figés pour tous les candidats. Le jugement modèle-seul a repéré 5 des 12 échecs réels ; les tests générés 10 (rappel 41.7%→83.3%).
Puis-je porter un seul mécanisme ?
Probablement pas. Les ablations montrent que tout mécanisme isolé greffé sur RHO le dégrade (routing seul 76%, hooks seuls 75%, raisonnement bas 59% vs 80%) ; les gains viennent du système composé.