Noticias / Model Watch · Infraestructura de agentes
HarnessPro: agentes que evolucionan su harness — mejor y más barato
Un equipo liderado por Tsinghua/Zhipu (Jie Tang co-corresponsable) ha liberado HarnessPro: un framework sin etiquetas donde un agente mejora recursivamente su propio harness — instrucciones, herramientas, políticas de ejecución — con rendimiento de tarea y costo de ejecución optimizados a la vez. La idea cae de lleno en el beat de este sitio: la disciplina de costos como arquitectura. En vez de comprar más calidad con más exploración a más costo, HarnessPro diagnostica cada ronda de trazas de ejecución buscando tanto patrones de fallo como desperdicio de presupuesto, y entrega tres puntos operativos seleccionados sobre Pareto — Lite, Medium, Heavy — en lugar de un único harness. Verificamos directamente el repositorio (MIT, nueve harness en tres benchmarks más scripts de evaluación) y el abstract de arXiv; las cifras por benchmark de abajo se atribuyen al paper según el resumen de AINLP.
Verificado directamente: el repo pzs19/HarnessPro (MIT, creado 2026-09-24) entrega nueve harness — Terminal-Bench 2, SWE-bench Pro y ProgramBench en Lite/Medium/Heavy — con políticas de ejecución, hooks y scripts de evaluación (runtime/policy.json contiene los números de intensidad de razonamiento y presupuestos de herramientas). El abstract de arXiv da la cifra clave: con GPT-5.5×Codex, el modo heavy promedia +2.0 puntos porcentuales de pass rate a −26.1% de costo por tarea vs RHO, y la ventaja se mantiene con GLM-5.2×Claude Code. La evaluación durante la optimización usa tests generados por LLM — sin soluciones de referencia ni tests oficiales.
De las tablas del paper (atribuido): Terminal-Bench 2 heavy 76.3%→80.8% a $1.09→$0.72 por tarea; SWE-bench Pro medium 79% a $1.26 vs RHO 80% a $2.68; GLM-5.2 heavy en TB2 78.0%→81.4% a $1.00→$0.62; ablación del sintetizador de tests −3.4 a −10 puntos.
Fuera del release: las configuraciones evolucionadas de GLM-5.2 — el quickstart del README muestra comandos gpt-5.5, y el resumen de AINLP nota que las configuraciones de evolución GLM-5.2 aún no se publican. Datos de benchmark, entornos de tarea y acceso a modelos van por cuenta propia.
Las afirmaciones, graduadas (2 nov)
- El repo, verificado por lectura directa.
pzs19/HarnessPro: MIT, creado 2026-09-24, nueve harness seleccionados con enlaces por tier, políticas de runtime y hooks, ayudantes de verificación y scripts de evaluación completos para los tres benchmarks. El quickstart pide Linux, Python 3.12/3.13, uv, Docker y la Codex CLI (0.147.0 en sus runs); una demo en vivo está enlazada desde el README. - El paper, verificado desde el abstract. arXiv 2610.26770, «HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs» (Zhuoshi Pan, ZhiYuan Feng et al.; Jie Tang entre los autores). Agregado: con GPT-5.5×Codex el modo heavy promedia +2.0 puntos y −26.1% de costo por tarea vs RHO; la misma ventaja se mantiene con GLM-5.2×Claude Code.
- Cifras por benchmark (tablas del paper vía AINLP, coherentes con el agregado del abstract): TB2 heavy 76.3%→80.8%, $1.09→$0.72 (−34%); SWE-bench Pro medium 79% a $1.26 (−53% costo, −1 punto) y heavy 80.7% a $1.97 contra el 80% a $2.68 de RHO; Lite 72.3% a $0.80, superando al setup Codex de serie con 59% a $1.88; GLM-5.2×Claude Code en TB2 heavy 78.0%→81.4%, $1.00→$0.62.
- El truco de evaluación. Sin tests oficiales ni respuestas de referencia durante la optimización: los candidatos se califican contra tests sintetizados una vez desde la descripción de la tarea y las trazas iniciales, luego fijos. En los 20 casos de control del paper, el juicio solo-modelo detectó 5 de 12 fallos reales; los tests generados 10 — recall de fallos 41.7%→83.3%. Quitar el sintetizador costó 3.4–10 puntos.
- Dónde se ahorra. El harness evolucionado elige intensidad de razonamiento y presupuestos de herramientas por tarea, gobierna exploración vs cierre con hooks de runtime (en un perfil TB2 medium: recordatorios de fusionar llamadas paralelas a las 14 llamadas, giro a verificación a las 26, parada tras 44), pega los recordatorios a las salidas de herramientas para preservar prefijos cache-friendly, y pliega/comprime logs. La ablación es el remate: cada mecanismo suelto injertado en RHO lo empeoró (solo routing 76%, solo hooks 75%, razonamiento bajo uniforme 59%) — las ganancias vienen de la composición.
- Comportamiento iterativo. TB2 heavy ronda 1: 74.6% a $0.91; ronda 3: 80.8% a $0.72. SWE-bench Pro medium mejoró ambos ejes recién en la ronda 3 — las rondas mono-objetivo pueden degradar temporalmente el otro eje.
Verificación del 2 nov 2026: API de GitHub + README en crudo leídos directamente; página del abstract de arXiv leída directamente. Las cifras por benchmark son del propio paper (vía AINLP, cuenta mediática de terceros — fuente secundaria, coherente con el abstract primario); sin reproducción de benchmarks.
Contexto: el mismo beat que Super-agent — la disciplina de gasto como diseño
Es la tercera entrada esta semana sobre la misma historia: la ingeniería de costos de agentes se está volviendo el diferenciador. El writeup Super-agent de DeepSeek (nuestra traducción íntegra) puso batching, filtrado de eventos y pass-through por suscripción en la arquitectura del sistema; el CEO de Vercel enmarcó el trabajo humano como asignación de capital; HarnessPro ahora automatiza una porción de esa asignación en la capa del harness — intensidad de razonamiento, presupuestos de herramientas y puntos de parada por tarea, con prefijos cache-friendly preservados. El linaje chino importa: Tsinghua y Zhipu (el vendedor de GLM) construyen infraestructura de agentes consciente de costos, con GLM-5.2 como uno de los dos stacks probados.
Para compradores, el titular práctico es el tier Medium: en SWE-bench Pro, 79% a $1.26 vs el 80% a $2.68 de RHO — un punto de pass rate por la mitad de la factura. Es la misma aritmética que aplicamos cada semana a los precios de modelos (DeepSeek V4.1-Flash fuera de punta a $0.22/1M, diseños de agentes cache-heavy en la guía de las más baratas), ahora aplicada al harness mismo.
Una advertencia honesta: las comparaciones del paper corren contra RHO y el harness de serie en tres benchmarks concretos, y los costos por tarea los dominan los precios de los flagships occidentales. Tomen los porcentajes como locales al benchmark, y el patrón — optimizar ambos objetivos a la vez, evaluar con tests sintetizados, seleccionar en el frente Pareto — como la parte transferible.
Qué significa para los builders
El release es directamente utilizable si corren agentes estilo Codex en los benchmarks cubiertos: clone, uv sync, apuntar CODEX_CONFIG a su proveedor y elegir un tier. Los harness son artefactos puros — instrucciones más un JSON de política con las cifras a la vista — así que incluso fuera de los benchmarks sirven de referencia de cómo luce una política calibrada en costos en tres puntos de precio.
Las lecciones transferibles, sin repo: evalúen la automodificación con tests sintetizados fijos y no con el olfato del modelo (el salto de recall 41.7%→83.3% es todo el argumento); nunca juzguen un cambio solo por calidad — la trayectoria ronda 2/3 de SWE-Pro medium muestra que el costo puede ir atrás y luego alcanzar; y no hagan cherry-picking de mecanismos — cada ablación de mecanismo único empeoró a RHO mientras el sistema compuesto lo superó.
A vigilar: las configuraciones evolucionadas de GLM-5.2 en el repo (la mitad que falta para los stacks de modelos chinos); reproducciones de terceros de los números de las tablas; artefactos de tiers de harness para otros runtimes.
Acceso desde fuera de China — y el descargo habitual
Este sitio sigue las API de modelos chinos para builders internacionales. El lado GLM de este trabajo corre sobre la misma familia que la guía de API de GLM; la aritmética de costos pertenece a la tabla comparativa y a la guía de las más baratas.
Declaración de independencia: ChinaModelAPI es un sitio de información independiente, sin afiliación con los autores de HarnessPro, Tsinghua, Zhipu o ningún proveedor. Los hechos de repo y abstract vienen de lecturas directas; las cifras de las tablas son del paper vía un resumen secundario; nada aquí es promesa de enrutado, disponibilidad ni precio.
Fuentes primarias
- GitHub — pzs19/HarnessPro (MIT; 9 harness, políticas de runtime, scripts de evaluación; README leído directamente)
- arXiv 2610.26770 — «HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs» (abstract leído directamente)
- Resumen AINLP (NLPer), nov 2026 — cifras de las tablas por benchmark y detalles de ablación, transmitidas
- Referencias internas: traducción íntegra Super-agent · watch de asignación de capital · guía de API de GLM
FAQ (2026)
¿Qué es HarnessPro?
Un framework MIT de un equipo Tsinghua/Zhipu: los agentes mejoran recursivamente su harness — instrucciones, herramientas, políticas de runtime — optimizando rendimiento y costo juntos, evaluados con tests generados por LLM en vez de soluciones de referencia.
¿Cuánto ahorra?
Según el abstract de arXiv: heavy promedia +2.0 puntos de pass rate a −26.1% de costo por tarea vs RHO (GPT-5.5×Codex). Tablas: TB2 heavy $0.72 vs $1.09; SWE-Pro medium $1.26 por 79% contra $2.68 de RHO por 80%.
¿Funciona con modelos GLM?
El paper evalúa GLM-5.2×Claude Code y la ventaja se mantiene (TB2 heavy 78.0%→81.4% a $0.62). Pero las configuraciones GLM-5.2 evolucionadas no están aún en el repo — el release trae los artefactos de la evolución GPT-5.5.
¿Qué son Lite, Medium, Heavy?
Tres puntos operativos seleccionados sobre Pareto por benchmark: Lite favorece costo, Medium equilibrio, Heavy rendimiento. Nueve harness en total, cada uno un artefacto instrucciones-más-política en claro.
¿Cómo evaluar sin respuestas de referencia?
Los tests se sintetizan una vez desde la descripción de la tarea y las trazas iniciales, y quedan fijos para todos los candidatos. El juicio solo-modelo detectó 5 de 12 fallos reales; los tests generados 10 (recall 41.7%→83.3%).
¿Puedo portar un solo mecanismo?
Probablemente no. Las ablaciones muestran que cada mecanismo aislado injertado en RHO lo empeora (routing solo 76%, hooks solos 75%, razonamiento bajo 59% vs 80%); las ganancias vienen del sistema compuesto.