뉴스 / Model Watch · 에이전트 인프라

오픈소스 · 검증 완료 MIT · 9 harness + 평가 스크립트 칭화/즈푸 팀, 당지에 공동 교신저자 GPT-5.5×Codex 및 GLM-5.2×Claude Code

2026-11-02 릴리스 확인 UTC+8 · GitHub 저장소 + arXiv 초록 직독 · AINLP 미디어 요약

HarnessPro: Agent가 자기 harness를 진화시킨다 — 더 좋고 더 싸게

칭화/즈푸 주도 팀(당지에가 논문 공동 교신저자)이 HarnessPro를 오픈소스로 공개했다. 라벨 불필요 프레임워크로, Agent가 자기 harness — 지시·도구·실행 정책 — 를 재귀적으로 개선하며 태스크 성능과 실행 비용을 동시 최적화한다. 이 발상은 이 사이트의 핵심 비트에 정확히 꽂힌다: 비용 규율이 곧 아키텍처. 「더 많은 탐색이 더 많은 비용으로 더 좋은 품질을 산다」가 아니라, 매 라운드 실행 궤적에서 실패 패턴과 예산 낭비를 동시에 진단하고, Pareto 선택된 세 동작점 — Lite·Medium·Heavy — 를 단일 harness 대신 낸다. 저장소(MIT, 3대 벤치마크 9 harness와 평가 스크립트)와 arXiv 초록을 직접 검증했으며, 아래 벤치마크별 테이블 수치는 논문 귀속으로 AINLP 요약을 경유해 전달된 것이다.

핵심 요약

직독 검증: 저장소 pzs19/HarnessPro(MIT, 2026-09-24 생성)는 9개 harness — Terminal-Bench 2·SWE-bench Pro·ProgramBench 각 Lite/Medium/Heavy — 와 실행 정책, 훅, 평가 스크립트를 낸다(runtime/policy.json에 추론 강도·도구 예산 수치가 있다). arXiv 초록의 총평: GPT-5.5×Codex에서 Heavy는 벤치마크 평균 통과율 +2.0%p, 태스크당 비용 −26.1%(vs RHO)이며 GLM-5.2×Claude Code에서도 우위가 유지된다. 최적화 중 평가는 LLM 생성 테스트 — 정답도 공식 테스트도 쓰지 않는다. 논문 테이블(귀속 전달): Terminal-Bench 2 Heavy 76.3%→80.8%, $1.09→$0.72. SWE-bench Pro Medium 79% @ $1.26(RHO는 80% @ $2.68). GLM-5.2의 TB2 Heavy 78.0%→81.4%, $1.00→$0.62. 테스트 합성기 소거 −3.4~−10%p. 미포함: GLM-5.2 진화 구성 — README 퀵스타트는 gpt-5.5 명령뿐이고 AINLP 요약은 GLM-5.2 진화 구성 미공개라고 명시. 벤치마크 데이터·태스크 환경·모델 접근은 자체 준비.

사실 등급 (11월 2일)

저장소, 직독 검증. pzs19/HarnessPro: MIT, 2026-09-24 생성. 9개 선정 harness가 벤치마크×티어 링크로 제공되고 실행 정책·훅·검증 도우미·3대 벤치마크 전체 평가 스크립트가 따른다. 퀵스타트는 Linux, Python 3.12/3.13, uv, Docker, Codex CLI(0.147.0 사용). 라이브 데모 페이지도 README에 링크.
논문, 초록 직독. arXiv 2610.26770 "HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs"(Zhuoshi Pan, ZhiYuan Feng 등; 저자 명단에 당지에). 총평: GPT-5.5×Codex Heavy는 3대 벤치마크 평균 +2.0%p, −26.1%(vs RHO). GLM-5.2×Claude Code에서도 동일하게 성립.
벤치마크별 수치(논문 테이블을 AINLP 경유, 초록 총평과 일치): TB2 Heavy 76.3%→80.8%, $1.09→$0.72(−34%). SWE-bench Pro Medium 79% @ $1.26(비용 −53%, 통과율 −1%p), Heavy 80.7% @ $1.97, 대상 RHO 80% @ $2.68. Lite 72.3% @ $0.80으로 순정 Codex 구성의 59% @ $1.88를 앞선다. GLM-5.2×Claude Code의 TB2 Heavy 78.0%→81.4%, $1.00→$0.62.
평가의 핵심. 최적화 중에는 공식 테스트도 정답도 없다: 후보 harness는 「태스크 설명과 초기 궤적에서 한 번 생성되어 이후 고정」된 테스트로 채점된다. 논문의 20개 예비 검사 사례에서 모델 단독 판단은 12개 실제 실패 중 5개만 인식, 생성 테스트는 10개 인식 — 실패 재현율 41.7%→83.3%. 테스트 합성기를 빼면 통과율 3.4~10%p 하락.
돈이 줄어드는 지점. 진화된 harness는 태스크마다 추론 강도와 도구 예산을 고르고, 런타임 훅으로 탐색과 수습을 제어하며(TB2 Medium 한 구성: 도구 호출 14회에 병행 호출 통합 권고, 26회에 검증 전환 지시, 44회 이후 차단), 캐시 친화적 프롬프트 접두를 유지하도록 알림을 도구 출력 뒤에 붙이고, 중복 로그는 접고 장황한 출력은 압축한다. 소거가 포인트: 단일 메커니즘을 RHO에 이식하면 오히려 악화(라우팅만 76%, 예산 훅만 75%, 일률 저추론 59%) — 수익은 조합에서 나온다.
반복 거동. TB2 Heavy 1라운드 74.6% @ $0.91 → 3라운드 80.8% @ $0.72. SWE-bench Pro Medium은 3라운드에 처음 두 지표가 동시 개선 — 단일 목적 우선 라운드는 다른 축을 일시 악화시킬 수 있다.

검증 2026-11-02: GitHub API와 README 원문 직독, arXiv 초록 페이지 직독. 벤치마크별 테이블 수치는 논문 자체 보고(AINLP 제3자 미디어 경유 — 2차 소스, 1차 초록 총평과 일치). 벤치마크 재현은 하지 않았다.

맥락: Super-agent와 같은 비트 — 지출 규율이 곧 설계

이번 주 같은 주선의 세 번째: 에이전트 비용 공학이 차별화 변수가 되고 있다. DeepSeek의 Super-agent 논문(전문 역본)은 배칭·이벤트 필터·구독 직통을 시스템 설계에 넣었고, Vercel CEO는 인간의 일을 자본 배분으로 정의했으며, HarnessPro는 그 한 조각을 harness 계층에서 자동화했다 — 태스크별 추론 강도·도구 예산·중단점 선택과 캐시 친화적 접두 유지. 중국 기관 계보가 여기서 중요하다: 칭화와 즈푸(GLM 벤더)이 비용 지향 에이전트 인프라를 만들고 GLM-5.2가 검증 2구성 중 하나다.

구매자에게 실용적 헤드라인은 Medium 티어 숫자다: SWE-bench Pro에서 79% @ $1.26 대 RHO의 80% @ $2.68 — 통과율 1%p에 청구서 절반. 이는 매주 모델 가격에 적용하는 산술(DeepSeek V4.1-Flash 할인 시간대 $0.22/1M, 최저가 가이드의 캐시 중심 설계)과 같은 것을 이번엔 harness 자체에 적용한 것이다.

정직한 한계: 논문의 비교 대상은 RHO와 순정 harness로 3개 특정 벤치마크에 한정되며, 태스크당 비용은 서구 플래그십 모델 가격이 지배한다. 백분율은 벤치마크 내 결론으로, 패턴 — 두 목표 동시 최적화, 합성 테스트 평가, Pareto 프론티어 선택 — 을 이식 가능한 부분으로 볼 것.

빌더에게 주는 의미

대상 벤치마크에서 Codex형 에이전트를 굴린다면 바로 쓸 수 있다: clone, uv sync, CODEX_CONFIG를 provider로, 티어 선택. harness는 순수 산출물 — 지시와 추론 강도·도구 예산 수치가 공개된 실행 정책 JSON — 이라 벤치마크 밖에서도 「세 가격대의 비용 조정 정책」 참조로 쓸 수 있다.

저장소 없이 가져갈 교훈: 자기 개선의 평가는 모델 감이 아니라 고정 합성 테스트로(41.7%→83.3% 재현율 차이가 논거의 전부); 변경을 품질만으로 판단하지 말 것 — SWE-Pro Medium의 2→3라운드 궤적은 비용이 늦게 따라잡힘을 보인다; 단일 메커니즘을 골라 이식하지 말 것 — 모든 단일 소거가 RHO를 악화시켰고 조합 시스템이 이겼다.

주시 신호: GLM-5.2 진화 구성의 저장소 편입(중국 모델 스택에 빠진 절반). 테이블 수치의 제3자 재현. 다른 런타임의 harness 티어 산출물 등장.

중국 밖에서의 접근 — 그리고 늘 쓰는 면책

이 사이트는 해외 빌더를 위해 중국 모델 API를 추적한다. 이 연구의 GLM 쪽은 GLM API 가이드가 다루는 모델 패밀리와 같고, 비용 산술은 비교표와 최저가 가이드에 귀속된다.

독립성 고지: ChinaModelAPI는 독립 정보 사이트로 HarnessPro 저자, 칭화, 즈푸 그 어떤 벤더와도 무관. 저장소·초록 사실은 직독 기반이며 테이블 수치는 논문 자체 보고를 2차 요약 경유로 전달. 본 페이지의 어떤 내용도 라우팅·가용성·가격 약속이 아니다.

1차 출처

FAQ (2026)

HarnessPro가 뭔가?

칭화/즈푸 팀의 MIT 프레임워크. Agent가 자기 harness — 지시·도구·실행 정책 — 를 재귀적으로 개선하며 성능과 비용을 동시 최적화하고, 정답 대신 LLM 생성 테스트로 평가한다.

얼마나 절감되나?

arXiv 초록 기준 Heavy 평균 +2.0%p, −26.1%(GPT-5.5×Codex, vs RHO). 테이블 기준 TB2 Heavy $0.72 대 $1.09, SWE-Pro Medium $1.26에 79%(RHO는 $2.68에 80%).

GLM 모델에서 쓸 수 있나?

논문은 GLM-5.2×Claude Code를 평가했고 우위가 유지된다(TB2 Heavy 78.0%→81.4%, $0.62). 다만 GLM-5.2 진화 harness 구성은 미출시 — 현재 릴리스는 GPT-5.5 진화 산출물.

Lite/Medium/Heavy는?

벤치마크별 Pareto 선택 3동작점: Lite 비용, Medium 균형, Heavy 성능. 3대 벤치마크 총 9 harness, 각각 지시+평문 정책의 순수 산출물.

정답 없이 어떻게 평가?

테스트는 태스크 설명과 초기 궤적에서 한 번 생성되어 전 후보에 고정 재사용. 검사 사례에서 모델 단독 판단은 12개 실제 실패 중 5개, 합성 테스트는 10개 인식(재현율 41.7%→83.3%).

단일 메커니즘만 이식할 수 있나?

십중팔구 안 된다. 소거에서 단일 이식은 모두 RHO를 악화(라우팅만 76%, 훅만 75%, 저추론 59%, 대 80%). 수익은 조합 시스템에서 나온다.

가장 저렴한 중국 LLM API

Super-agent 전문 역본 · GLM API 가이드 · 뉴스 전체

OpenAI 호환 액세스 웨이틀리스트 참여