Notícias / Model Watch · Infraestrutura de agentes
HarnessPro: agentes que evoluem o próprio harness — melhor e mais barato
Uma equipe liderada pela Tsinghua/Zhipu (Jie Tang cocorrespondente) liberou o HarnessPro: um framework sem rótulos em que um agente melhora recursivamente o próprio harness — instruções, ferramentas, políticas de execução — com desempenho de tarefa e custo de execução otimizados juntos. A ideia cai exatamente no beat deste site: disciplina de custo como arquitetura. Em vez de comprar mais qualidade com mais exploração a mais custo, o HarnessPro diagnostica cada rodada de traços de execução buscando tanto padrões de falha quanto desperdício de orçamento, e entrega três pontos operativos selecionados sobre Pareto — Lite, Medium, Heavy — em vez de um único harness. Verificamos diretamente o repositório (MIT, nove harness em três benchmarks mais scripts de avaliação) e o abstract do arXiv; os números por benchmark abaixo são atribuídos ao paper conforme retransmitidos pelo resumo da AINLP.
Verificado diretamente: o repo pzs19/HarnessPro (MIT, criado em 2026-09-24) entrega nove harness — Terminal-Bench 2, SWE-bench Pro e ProgramBench em Lite/Medium/Heavy — com políticas de execução, hooks e scripts de avaliação (runtime/policy.json traz os números de intensidade de raciocínio e orçamentos de ferramentas). O abstract do arXiv dá o número-chave: com GPT-5.5×Codex, o modo heavy alcança em média +2.0 pontos percentuais de pass rate a −26.1% de custo por tarefa vs RHO, e a vantagem se mantém com GLM-5.2×Claude Code. A avaliação durante a otimização usa testes gerados por LLM — sem soluções de referência nem testes oficiais.
Das tabelas do paper (atribuído): Terminal-Bench 2 heavy 76.3%→80.8% a $1.09→$0.72 por tarefa; SWE-bench Pro medium 79% a $1.26 vs RHO 80% a $2.68; GLM-5.2 heavy no TB2 78.0%→81.4% a $1.00→$0.62; ablação do sintetizador de testes −3.4 a −10 pontos.
Fora do release: as configurações evoluídas do GLM-5.2 — o quickstart do README mostra comandos gpt-5.5, e o resumo da AINLP nota que as configurações de evolução do GLM-5.2 ainda não foram publicadas. Dados de benchmark, ambientes de tarefa e acesso a modelos são bring-your-own.
As afirmações, graduadas (2 nov)
- O repo, verificado por leitura direta.
pzs19/HarnessPro: MIT, criado em 2026-09-24, nove harness selecionados com links por tier, políticas de runtime e hooks, auxiliares de verificação e scripts de avaliação completos para os três benchmarks. O quickstart pede Linux, Python 3.12/3.13, uv, Docker e a Codex CLI (0.147.0 nos runs deles); uma demo ao vivo está ligada no README. - O paper, verificado pelo abstract. arXiv 2610.26770, «HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs» (Zhuoshi Pan, ZhiYuan Feng et al.; Jie Tang entre os autores). Agregado: com GPT-5.5×Codex o modo heavy alcança em média +2.0 pontos e −26.1% de custo por tarefa vs RHO; a mesma vantagem se mantém com GLM-5.2×Claude Code.
- Números por benchmark (tabelas do paper via AINLP, coerentes com o agregado do abstract): TB2 heavy 76.3%→80.8%, $1.09→$0.72 (−34%); SWE-bench Pro medium 79% a $1.26 (−53% de custo, −1 ponto) e heavy 80.7% a $1.97 contra os 80% a $2.68 do RHO; Lite 72.3% a $0.80, superando o setup Codex de série com 59% a $1.88; GLM-5.2×Claude Code no TB2 heavy 78.0%→81.4%, $1.00→$0.62.
- O truque da avaliação. Sem testes oficiais nem respostas de referência durante a otimização: os candidatos são pontuados contra testes sintetizados uma vez a partir da descrição da tarefa e dos traços iniciais, depois congelados. Nos 20 casos de controle do paper, o julgamento só-modelo pegou 5 dos 12 fracassos reais; os testes gerados 10 — recall de fracasso 41.7%→83.3%. Tirar o sintetizador custou 3.4–10 pontos.
- Onde o dinheiro é poupado. O harness evoluído escolhe intensidade de raciocínio e orçamentos de ferramentas por tarefa, governa exploração vs fechamento com hooks de runtime (num perfil TB2 medium: lembretes de fundir chamadas paralelas às 14 chamadas, virada para verificação às 26, parada após 44), cola os lembretes nas saídas de ferramentas para preservar prefixos cache-friendly, e dobrava/comprime logs. A ablação é o remate: cada mecanismo isolado enxertado no RHO o piorou (só routing 76%, só hooks 75%, raciocínio baixo uniforme 59%) — os ganhos vêm da composição.
- Comportamento iterativo. TB2 heavy rodada 1: 74.6% a $0.91; rodada 3: 80.8% a $0.72. SWE-bench Pro medium só melhorou os dois eixos juntos na rodada 3 — rodadas mono-objetivo podem degradar temporariamente o outro eixo.
Verificação em 2 nov 2026: API do GitHub + README cru lidos diretamente; página do abstract do arXiv lida diretamente. Os números por benchmark são do próprio paper (via AINLP, conta de mídia terceira — fonte secundária, coerente com o abstract primário); nenhuma reprodução de benchmark.
Contexto: o mesmo beat do Super-agent — disciplina de gasto como design
É a terceira entrada nesta semana na mesma história: a engenharia de custo dos agentes está virando o diferenciador. O writeup Super-agent da DeepSeek (nossa tradução integral) pôs batching, filtragem de eventos e pass-through por assinatura na arquitetura do sistema; o CEO da Vercel emoldurou o trabalho humano como alocação de capital; o HarnessPro agora automatiza uma fatia dessa alocação na camada do harness — intensidade de raciocínio, orçamentos de ferramentas e pontos de parada por tarefa, com prefixos cache-friendly preservados. A linhagem chinesa importa: Tsinghua e Zhipu (a dona do GLM) constroem infraestrutura de agentes consciente de custo, com GLM-5.2 como um dos dois stacks testados.
Para compradores, o título prático é o tier Medium: no SWE-bench Pro, 79% a $1.26 vs os 80% a $2.68 do RHO — um ponto de pass rate pela metade da fatura. É a mesma aritmética que aplicamos toda semana aos preços de modelos (DeepSeek V4.1-Flash fora do pico a $0.22/1M, designs de agentes cache-heavy no guia dos mais baratos), agora aplicada ao harness em si.
Uma ressalva honesta: as comparações do paper correm contra o RHO e o harness de série em três benchmarks específicos, e os custos por tarefa são dominados pelos preços dos flagships ocidentais. Tratem os percentuais como locais ao benchmark, e o padrão — otimizar os dois objetivos juntos, avaliar com testes sintetizados, selecionar na frente de Pareto — como a parte transferível.
O que significa para os builders
O release é diretamente utilizável se você roda agentes estilo Codex nos benchmarks cobertos: clone, uv sync, apontar CODEX_CONFIG para o seu provider e escolher um tier. Os harness são artefatos puros — instruções mais um JSON de política com os números à mostra — então mesmo fora dos benchmarks servem de referência de como parece uma política calibrada em custo em três pontos de preço.
As lições transferíveis, sem repo: avalie automodificação com testes sintetizados fixos e não com o faro do modelo (o salto de recall 41.7%→83.3% é todo o argumento); nunca julgue uma mudança só pela qualidade — a trajetória rodadas 2/3 do SWE-Pro medium mostra que o custo pode atrasar e depois alcançar; e não faça cherry-picking de mecanismos — cada ablação de mecanismo único piorou o RHO enquanto o sistema composto o venceu.
A vigiar: as configurações evoluídas do GLM-5.2 entrarem no repo (a metade que falta para stacks de modelos chineses); reproduções terceiras dos números das tabelas; artefatos de tiers de harness para outros runtimes.
Acesso de fora da China — e o aviso de sempre
Este site acompanha as APIs de modelos chineses para builders internacionais. O lado GLM deste trabalho roda na mesma família do guia da API GLM; a aritmética de custo pertence à tabela comparativa e ao guia dos mais baratos.
Declaração de independência: o ChinaModelAPI é um site de informação independente, sem vínculo com os autores do HarnessPro, Tsinghua, Zhipu ou qualquer fornecedor. Fatos de repo e abstract vêm de leituras diretas; os números das tabelas são do paper via um resumo secundário; nada aqui é promessa de roteamento, disponibilidade ou preço.
Fontes primárias
- GitHub — pzs19/HarnessPro (MIT; 9 harness, políticas de runtime, scripts de avaliação; README lido diretamente)
- arXiv 2610.26770 — «HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs» (abstract lido diretamente)
- Resumo AINLP (NLPer), nov 2026 — números das tabelas por benchmark e detalhes de ablação, retransmitidos
- Referências internas: tradução integral Super-agent · watch de alocação de capital · guia da API GLM
FAQ (2026)
O que é HarnessPro?
Um framework MIT de uma equipe Tsinghua/Zhipu: agentes melhoram recursivamente o próprio harness — instruções, ferramentas, políticas de runtime — otimizando desempenho e custo juntos, avaliados com testes gerados por LLM em vez de respostas de referência.
Quanto economiza?
Pelo abstract do arXiv: heavy em média +2.0 pontos de pass rate a −26.1% de custo por tarefa vs RHO (GPT-5.5×Codex). Tabelas: TB2 heavy $0.72 vs $1.09; SWE-Pro medium $1.26 por 79% contra $2.68 do RHO por 80%.
Funciona com modelos GLM?
O paper avalia GLM-5.2×Claude Code e a vantagem se mantém (TB2 heavy 78.0%→81.4% a $0.62). Mas as configurações GLM-5.2 evoluídas ainda não estão no repo — o release traz os artefatos da evolução GPT-5.5.
O que são Lite, Medium, Heavy?
Três pontos operativos selecionados sobre Pareto por benchmark: Lite favorece custo, Medium equilíbrio, Heavy desempenho. Nove harness no total, cada um um artefato instruções-mais-política em claro.
Como avaliar sem respostas de referência?
Os testes são sintetizados uma vez a partir da descrição da tarefa e dos traços iniciais, e ficam fixos para todos os candidatos. O julgamento só-modelo pegou 5 dos 12 fracassos reais; os testes gerados 10 (recall 41.7%→83.3%).
Posso portar um único mecanismo?
Provavelmente não. As ablações mostram que todo mecanismo isolado enxertado no RHO o piora (routing só 76%, hooks só 75%, raciocínio baixo 59% vs 80%); os ganhos vêm do sistema composto.