الأخبار / Model Watch · بنية الوكلاء
HarnessPro: وكلاء يطورون harness الخاص بهم — أفضل وأرخص
فريق بقيادة تسينغhua/زيبو (tang jie مراسل مشترك) نشر HarnessPro: إطار بلا وسوم يحسّن فيه الوكيل harness الخاص به — التعليمات والأدوات وسياسات التشغيل — بتحسين أداء المهمة وتكلفة التنفيذ معًا. الفكرة تقع تمامًا على جوهر هذا الموقع: انضباط التكلفة هو المعمارية. فبدل «مزيد من الاستكشاف يشتري جودة أعلى بتكلفة أعلى»، يشخّص HarnessPro كل جولة مسارات تنفيذ بحثًا عن أنماط الفشل وهدر الميزانية معًا، ويسلّم ثلاث نقاط تشغيل منتقاة على Pareto — Lite وMedium وHeavy — بدل harness واحد. تحققنا مباشرة من المستودع (MIT، تسع حزم على ثلاثة معايير مع سكربتات التقييم) ومن ملخص arXiv؛ أرقام الجداول أدناه منسوبة للورقة كما نقلها تلخيص AINLP.
موثّق مباشرة: المستودع pzs19/HarnessPro (MIT، أُنشئ 2026-09-24) يسلّم تسع حزم — Terminal-Bench 2 وSWE-bench Pro وProgramBench بثلاث درجات — مع سياسات تشغيل وhooks وسكربتات تقييم (runtime/policy.json يضم أرقام شدة الاستدلال وميزانية الأدوات). ملخص arXiv يعطي الرقم الرئيسي: مع GPT-5.5×Codex يحقق Heavy متوسط +2.0 نقطة نجاح و−26.1% تكلفة المهمة (مقابل RHO)، والأفضلية قائمة مع GLM-5.2×Claude Code. التقييم أثناء التحسين يستخدم اختبارات مولّدة بالنموذج — بلا حلول مرجعية ولا اختبارات رسمية.
من جداول الورقة (منقول): Terminal-Bench 2 Heavy من 76.3% إلى 80.8% ومن $1.09 إلى $0.72 للمهمة؛ SWE-bench Pro Medium بنسبة 79% بـ$1.26 مقابل RHO بنسبة 80% بـ$2.68؛ GLM-5.2 على TB2 Heavy من 78.0% إلى 81.4% ومن $1.00 إلى $0.62؛ إزالة مولّد الاختبارات −3.4 إلى −10 نقاط.
غير مرفق: إعدادات GLM-5.2 المطوّرة — دليل البدء في README يعرض أوامر gpt-5.5 فقط، وتلخيص AINLP يذكر أن إعدادات GLM-5.2 لم تُنشر بعد. بيانات المعايير وبيئات المهام ووصول النماذج تُجهّز ذاتيًا.
الوقائع، مصنفة (2 نوفمبر)
- المستودع، تحقق بالقراءة المباشرة.
pzs19/HarnessPro: رخصة MIT، أُنشئ 2026-09-24، تسع حزم منتقاة بروابط لكل درجة، سياسات تشغيل وhooks وأدوات تحقق وسكربتات تقييم كاملة للمعايير الثلاثة. البدء يتطلب Linux وPython 3.12/3.13 وuv وDocker وCodex CLI (0.147.0 في تجاربهم). صفحة عرض حية مرتبطة من README. - الورقة، تحقق من الملخص. arXiv 2610.26770 "HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs" (Zhuoshi Pan وZhiYuan Feng وآخرون؛ tang jie في قائمة المؤلفين). الإجمالي: مع GPT-5.5×Codex يحقق Heavy على المعايير الثلاثة متوسط +2.0 نقطة و−26.1% تكلفة (مقابل RHO)؛ والأمر قائم مع GLM-5.2×Claude Code.
- أرقام المعايير (جداول الورقة عبر AINLP، متسقة مع إجمالي الملخص): TB2 Heavy من 76.3% إلى 80.8% ومن $1.09 إلى $0.72 (−34%)؛ SWE-bench Pro Medium بنسبة 79% بـ$1.26 (−53% تكلفة، −1 نقطة) وHeavy بنسبة 80.7% بـ$1.97 مقابل RHO بنسبة 80% بـ$2.68؛ Lite بنسبة 72.3% بـ$0.80 متفوقًا على إعداد Codex الأصلي بنسبة 59% بـ$1.88؛ GLM-5.2×Claude Code على TB2 Heavy من 78.0% إلى 81.4% ومن $1.00 إلى $0.62.
- حيلة التقييم. لا اختبارات رسمية ولا إجابات مرجعية أثناء التحسين: يُقيَّم المرشحون باختبارات تُولَّد مرة واحدة من وصف المهمة والمسارات الأولية ثم تبقى ثابتة. في 20 حالة تحقق أولية، الحكم بالنموذج وحده التقط 5 من 12 فشلًا حقيقيًا؛ الاختبارات المولّدة التقطت 10 — استدعاء الفشل من 41.7% إلى 83.3%. إزالة المولّد كلّفت 3.4–10 نقاط.
- أين يُوفَّر المال. الـharness المتطور يختار شدة الاستدلال وميزانية الأدوات لكل مهمة، ويستخدم hooks تشغيلية لتوجيه الاستكشاف مقابل الإنجاز (في ملف TB2 Medium: تنبيه دمج النداءات المتوازية عند 14 نداء أدوات، والتحول للتحقق عند 26، ومنع الاستمرار بعد 44)، ويلحق التنبيهات بمخرجات الأدوات حفاظًا على سوابق cache-friendly للبرومبت، ويطوي السجلات المكررة ويضغط المخرجات المطولة. الاستئصال هو الخلاصة: غرس أي آلية منفردة في RHO يزيده سوءًا (التوجيه وحده 76%، الhooks وحدها 75%، الاستدلال المنخفض الموحد 59%) — الفوائد تأتي من التركيب.
- سلوك التكرار. TB2 Heavy في الجولة الأولى 74.6% بـ$0.91؛ وفي الثالثة 80.8% بـ$0.72. SWE-bench Pro Medium لم يحسّن المحورين معًا إلا في الجولة الثالثة — جولات الهدف الواحد قد تفسد المحور الآخر مؤقتًا.
التحقق في 2 نوفمبر 2026: قراءة مباشرة لواجهة GitHub وREADME الخام وصفحة ملخص arXiv. أرقام الجداول من الورقة نفسها (عبر حساب AINLP الإعلامي — مصدر ثانوي متسق مع الملخص الأولي)؛ لم تُعَد التجارب.
السياق: نفس خط Super-agent — انضباط الإنفاق هو التصميم
هذا ثالث مدخل هذا الأسبوع على القصة نفسها: هندسة تكلفة الوكلاء صارت عامل التمايز. مقال Super-agent من DeepSeek (ترجمتنا الكاملة) وضع التجميع وترشيح الأحداث والتمرير المشترك في معمارية النظام؛ ومدير Vercel أطّر عمل الإنسان كـتوزيع رأس المال؛ وHarnessPro يؤتمت الآن شريحة من ذلك التوزيع على طبقة الـharness — اختيار شدة الاستدلال وميزانيات الأدوات ونقاط التوقف لكل مهمة، مع حفظ سوابق البرومبت الصديقة للذاكرة. النسب الصيني مهم هنا: تسينغhua وزيبو (صانع GLM) يبنيان بنية وكلاء واعية بالتكلفة، وGLM-5.2 إحدى المنظومتين المختبرتين.
للمشترين، عنوان Medium هو الأهم عمليًا: على SWE-bench Pro 79% بـ$1.26 مقابل 80% بـ$2.68 لRHO — نقطة نجاح واحدة بنصف الفاتورة. هذا هو الحساب نفسه الذي نجريه أسبوعيًا على أسعار النماذج (DeepSeek V4.1-Flash خارج الذروة بـ$0.22/1M، وتصاميم الوكلاء كثيفة الذاكرة في دليل الأرخص)، مطبَّق هذه المرة على الـharness نفسه.
تحفظ صريح: مقارنات الورقة ضد RHO والإعداد الأصلي على ثلاثة معايير محددة، وتكلفة المهمة يهيمن عليها تسعير النماذج الغربية الرائدة. تعاملوا مع النسب كنتائج داخل المعايير، ومع النمط — التحسين المشترك للهدفين، والتقييم بالاختبارات المصنّعة، والاختيار على جبهة Pareto — كالجزء القابل للنقل.
ماذا يعني هذا للمطورين
الإصدار قابل للاستخدام مباشرة إن كنت تشغّل وكلاء بطريقة Codex على المعايير المشمولة: clone ثم uv sync، ووجّه CODEX_CONFIG إلى مزودك واختر درجة. الحزم مصنوعات صرفة — تعليمات مع JSON سياسة مكشوف الأرقام — فحتى خارج المعايير تصلح مرجعًا لشكل سياسة مضبوطة التكلفة عند ثلاث نقاط سعرية.
الدروس القابلة للنقل بلا مستودع: قيّم التعديل الذاتي باختبارات مصنّعة ثابتة لا بحدس النموذج (فجوة 41.7%→83.3% في استدعاء الفشل هي الحجة كلها)؛ لا تحكم على تغيير بالجودة وحدها — مسار SWE-Pro Medium بين الجولتين 2 و3 يُظهر أن التكلفة قد تتأخر ثم تلحق؛ ولا تقتطف آليات مفردة — كل استئصال مفرد جعل RHO أسوأ بينما تفوق النظام المركب.
إشارات للمتابعة: دخول إعدادات GLM-5.2 المطوّرة المستودع (النصف الناقص لمنظومات النماذج الصينية)؛ إعادة إنتاج ثالثة لأرقام الجداول؛ وظهور حزم درجات harness لبيئات وكلاء أخرى.
الوصول من خارج الصين — وإخلاء المسؤولية المعتاد
يتتبع هذا الموقع واجهات النماذج الصينية للمطورين الدوليين. جانب GLM من هذا العمل يعمل على العائلة نفسها التي تغطيها دليل GLM API؛ وحساب التكلفة يخص جدول المقارنة ودليل الأرخص.
إخلاء مسؤولية الاستقلالية: ChinaModelAPI موقع معلومات مستقل لا يتبع مؤلفي HarnessPro ولا تسينغhua ولا زيبو ولا أي مورد. وقائع المستودع والملخص من قراءات مباشرة؛ أرقام الجداول من الورقة عبر تلخيص ثانوي؛ ولا شيء هنا وعد توجيه أو توافر أو سعر.
المصادر الأولية
- GitHub — pzs19/HarnessPro (MIT؛ 9 حزم، سياسات تشغيل، سكربتات تقييم؛ README مقروء مباشرة)
- arXiv 2610.26770 — "HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs" (الملخص مقروء مباشرة)
- تلخيص AINLP (NLPer)، نوفمبر 2026 — أرقام الجداول وتفاصيل الاستئصال، منقولة
- مراجع داخلية: ترجمة Super-agent الكاملة · مراقبة توزيع رأس المال · دليل GLM API
الأسئلة الشائعة (2026)
ما هو HarnessPro؟
إطار MIT من فريق تسينغhua/زيبو يحسّن فيه الوكيل harness الخاص به — التعليمات والأدوات وسياسات التشغيل — محسّنًا الأداء والتكلفة معًا، ومقيَّمًا باختبارات مولّدة بالنموذج بدل الإجابات المرجعية.
كم يوفّر؟
بحسب ملخص arXiv: Heavy متوسط +2.0 نقطة و−26.1% تكلفة المهمة (GPT-5.5×Codex مقابل RHO). من الجداول: TB2 Heavy $0.72 مقابل $1.09؛ SWE-Pro Medium $1.26 بنسبة 79% مقابل $2.68 لRHO بنسبة 80%.
هل يعمل مع نماذج GLM؟
تقيّم الورقة GLM-5.2×Claude Code والأفضلية قائمة (TB2 Heavy من 78.0% إلى 81.4% بـ$0.62). لكن إعدادات GLM-5.2 المطوّرة ليست في المستودع بعد — الإصدار الحالي يحمل نتائج تطوير GPT-5.5.
ما هي Lite/Medium/Heavy؟
ثلاث نقاط تشغيل منتقاة على Pareto لكل معيار: Lite للتكلفة، Medium للتوازن، Heavy للأداء. تسع حزم على المعايير الثلاثة، كلها مصنوع «تعليمات + سياسة مكشوفة».
كيف التقييم بلا إجابات مرجعية؟
تولَّد الاختبارات مرة واحدة من وصف المهمة والمسارات الأولية وتثبت لكل المرشحين. الحكم بالنموذج وحده التقط 5 من 12 فشلًا؛ والمولّدة التقطت 10 (استدعاء 41.7%→83.3%).
هل يمكن نقل آلية واحدة فقط؟
غالبًا لا. الاستئصالات تُظهر أن كل آلية مفردة مطعّمة في RHO تزيده سوءًا (توجيه فقط 76%، hooks فقط 75%، استدلال منخفض 59% مقابل 80%)؛ الفائدة من النظام المركب.