ニュース / Model Watch · エージェント基盤

オープンソース · 検証済み MIT · 9 ハーネス + 評価スクリプト清華/智譜チーム、唐杰が共著通信者 GPT-5.5×Codex と GLM-5.2×Claude Code

2026-11-02 リリース確認 UTC+8 · GitHub リポジトリ + arXiv 抄録を直接読了 · AINLP メディア要約

HarnessPro：Agent が自分の harness を進化させる——より良く、より安く

清華/智譜中心のチーム（唐杰が論文の共著通信者）が HarnessPro を公開した。ラベル不要のフレームワークで、Agent が自分の harness——指示・ツール・実行ポリシー——を再帰的に改善し、タスク性能と実行コストを同時に最適化する。この発想は当サイトの中核ビートに直撃する：コスト規律こそアーキテクチャだ。「より多くの探索がより多くの品質を、より多くの費用で買う」のではなく、各ラウンドの実行トレースから失敗パターンと予算の空費を同時に診断し、Pareto 選択された 3 つの動作点——Lite、Medium、Heavy——を単一 harness の代わりに納品する。リポジトリ（MIT、3 ベンチマーク 9 ハーネスと評価スクリプト）と arXiv 抄録を直接検証した。以下のベンチマーク別テーブル数値は論文に帰属し、AINLP 要約経由で伝達されたもの。

要点

直接検証済み：リポジトリ pzs19/HarnessPro（MIT、2026-09-24 作成）は 9 つのハーネス——Terminal-Bench 2、SWE-bench Pro、ProgramBench の各 Lite/Medium/Heavy——と実行ポリシー、フック、評価スクリプトを納品（runtime/policy.json に推論強度とツール予算の数値がある）。arXiv 抄録の総括：GPT-5.5×Codex で Heavy はベンチマーク平均 通過率 +2.0 ポイント、タスク単価 −26.1%（vs RHO）で、GLM-5.2×Claude Code でも優位は維持。最適化中の評価は LLM 生成テスト——正解も公式テストも使わない。 論文テーブル（帰属伝達）：Terminal-Bench 2 Heavy 76.3%→80.8%、$1.09→$0.72。SWE-bench Pro Medium 79% @ $1.26（RHO は 80% @ $2.68）。GLM-5.2 の TB2 Heavy 78.0%→81.4%、$1.00→$0.62。テスト合成器の消融 −3.4〜−10 ポイント。 未同梱：GLM-5.2 の進化構成——README のクイックスタートは gpt-5.5 コマンドのみで、AINLP 要約は GLM-5.2 進化構成が未公開と注記。ベンチマークデータ、タスク環境、モデルアクセスは持ち込み。

事実の格付け（11 月 2 日）

リポジトリ、直接読了で検証。pzs19/HarnessPro：MIT、2026-09-24 作成。9 つの選択ハーネスがベンチマーク×档位でリンク付き、実行ポリシーとフック、検証ヘルパー、3 ベンチマーク完全の評価スクリプト。クイックスタートは Linux、Python 3.12/3.13、uv、Docker、Codex CLI（0.147.0 で実行）。ライブデモページも README からリンク。
論文、抄録を直接読了。arXiv 2610.26770「HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs」（Zhuoshi Pan、ZhiYuan Feng ほか；唐杰が著者リストに）。総括：GPT-5.5×Codex の Heavy は 3 ベンチマーク平均で +2.0pp、−26.1%（vs RHO）。GLM-5.2×Claude Code でも同様に成立。
ベンチマーク別数値（論文テーブルを AINLP 経由、抄録の総括と整合）：TB2 Heavy 76.3%→80.8%、$1.09→$0.72（−34%）。SWE-bench Pro Medium 79% @ $1.26（コスト −53%、通過率 −1pp）、Heavy 80.7% @ $1.97、対して RHO は 80% @ $2.68。Lite 72.3% @ $0.80 で、素の Codex 構成の 59% @ $1.88 を上回る。GLM-5.2×Claude Code の TB2 Heavy 78.0%→81.4%、$1.00→$0.62。
評価の鍵。最適化中は公式テストも正解も使わない：候補 harness は「タスク記述と初期トレースから一度だけ生成し、以後固定」のテストで採点。論文の 20 の予備チェック事例では、モデル単独の軌跡判断は 12 の実失敗のうち 5 しか認識せず、生成テストは 10 を認識——失敗リコール 41.7%→83.3%。テスト合成器を外すと通過率は 3.4〜10 ポイント低下。
お金の節約先。進化後の harness はタスクごとに推論強度とツール予算を選び、実行時フックで探索と収束を制御（TB2 Medium のある構成：14 回ツール呼び出しで並行呼び出し統合を促し、26 回で検証への転換を指示、44 回以降は停止）。リマインダーはツール出力の後ろに付けてキャッシュに優しいプロンプト接頭を保持し、重複ログは折りたたみ、冗長出力は圧縮。消融が決め手：単一機構を RHO に移植するとむしろ悪化（ルーティングのみ 76%、予算フックのみ 75%、推論強度の一律引き下げ 59%）——利益は合成から生まれる。
反復挙動。TB2 Heavy は第 1 ラウンド 74.6% @ $0.91 から第 3 ラウンド 80.8% @ $0.72 へ。SWE-bench Pro Medium は第 3 ラウンドで初めて両指標が同時改善——単目的優先のラウンドは他軸を一時悪化させうる。

検証は 2026 年 11 月 2 日：GitHub API と README 原文を直接読了、arXiv 抄録ページを直接読了。ベンチマーク別テーブル数値は論文自報（AINLP という第三者メディア経由——二次ソース、一次抄録の総括と整合）。ベンチマークの再現は行っていない。

文脈：Super-agent と同じビート——支出規律こそ設計

これは今週、同じ主線の 3 本目：エージェントのコスト工学が差別化要因になりつつある。DeepSeek の Super-agent 論文（全文訳叢）はバッチ処理・イベントフィルタ・購読直通をシステム設計に置き、Vercel の CEO は人間の仕事を資本配分と定義し、HarnessPro はその一環を harness 層で自動化した——タスクごとの推論強度・ツール予算・停止点の選択、キャッシュに優しいプロンプト接頭の保持。中国機関の系譜がここで重要：清華と智譜（GLM ベンダー）がコスト志向のエージェント基盤を作り、GLM-5.2 が検証 2 構成の一方。

買い手にとって実用の見出しは Medium 档の数字：SWE-bench Pro で 79% @ $1.26 対 RHO の 80% @ $2.68——通過率 1 ポイントに半分の請求。これは毎週モデル価格に対して行っている算術（DeepSeek V4.1-Flash のオフピーク $0.22/1M、最安ガイドのキャッシュ中心設計）と同じで、今回は harness そのものに適用された。

正直な限定：論文の比較対象は RHO と素の harness で、3 つの特定ベンチマークに限られ、タスク単価は欧米旗艦モデルの価格が支配する。百分比はベンチマーク内の結論とみなし、パターン——双目的の同時最適化、合成テストによる評価、Pareto フロンティアでの選択——を移転可能な部分とすること。

ビルダーにとっての意味

対象ベンチマークで Codex 型エージェントを走らせるなら直接使える：clone、uv sync、CODEX_CONFIG を自プロバイダに向けて档位を選ぶ。ハーネスは純粋な成果物——指示と、推論強度・ツール予算の数値が公開の実行ポリシー JSON——なので、ベンチマーク外でも「3 つの価格帯でのコスト調整ポリシー」の参照になる。

リポ不要で持ち出せる教訓：自己改変の評価は場当たりなモデル判断でなく固定の合成テストで（41.7%→83.3% の失敗リコール差が論拠のすべて）；変更を品質だけで判断しない——SWE-Pro Medium の 2→3 ラウンド軌跡はコストが遅れて追いつくことを示す；単一機構を cherry-pick しない——すべての単機構消融が RHO を悪化させ、合成システムが勝った。

注視シグナル：GLM-5.2 進化構成のリポジトリ入り（中国モデルスタックに欠けた半分）。テーブル数値の第三者再現。他のランタイムでの harness 档位成果物の出現。

中国国外からのアクセス——そして恒例の免責

当サイトは海外開発者に中国モデル API を追う。この研究の GLM 側はGLM API ガイドが扱うモデルファミリーと同じで、コスト算術は比較表と最安ガイドに帰属する。

独立性について：ChinaModelAPI は独立した情報サイトで、HarnessPro 著者、清華、智譜その他どのベンダーとも無関係。リポジトリと抄録の事実は直接読了に基づき、テーブル数値は論文自報を二次要約経由で伝達。本ページのいかなる内容もルーティング・可用性・価格の約束ではない。

一次ソース

FAQ（2026）

HarnessPro とは？

清華/智譜チームの MIT フレームワーク。Agent が自分の harness——指示・ツール・実行ポリシー——を再帰的に改善し、性能とコストを同時最適化。正解の代わりに LLM 生成テストで評価する。

どれだけ節約できる？

arXiv 抄録では Heavy は平均 +2.0pp、−26.1%（GPT-5.5×Codex、vs RHO）。テーブルでは TB2 Heavy $0.72 対 $1.09、SWE-Pro Medium は $1.26 で 79%（RHO は $2.68 で 80%）。

GLM モデルで使える？

論文は GLM-5.2×Claude Code を評価し優位は維持（TB2 Heavy 78.0%→81.4%、$0.62）。ただし GLM-5.2 の進化 harness 構成は未リリース——現行リリースは GPT-5.5 演化成果物。

Lite/Medium/Heavy とは？

ベンチマークごとの Pareto 選択された 3 つの動作点：Lite はコスト重視、Medium はバランス、Heavy は性能重視。3 ベンチマークで計 9 ハーネス、各々が指示+平文ポリシーの純成果物。

正解なしでどう評価する？

テストはタスク記述と初期軌跡から一度だけ生成され、全候補で固定再利用。論文チェック事例ではモデル単独判断は 12 の実失敗中 5、合成テストは 10 を認識（リコール 41.7%→83.3%）。

単一機構だけ移植できる？

おそらく無理。消融では単機構の RHO への移植はすべて悪化（ルーティングのみ 76%、フックのみ 75%、低推論 59%、対 80%）。利益は合成システムから生まれる。

最安の中国 LLM API

Super-agent 全文訳叢 · GLM API ガイド · ニュース一覧

OpenAI 互換アクセスのウェイトリストに参加