Meta-Harness：模型 Harness 的端到端优化
摘要
大语言模型（LLM）系统的性能不仅取决于模型权重，还取决于其 Harness：决定存储、检索和呈现给模型哪些信息的代码。然而，Harness 在很大程度上仍然依赖手工设计，而现有的文本优化器（text optimizer）与该场景匹配不佳，因为它们对反馈的压缩过于激进：要么无记忆，要么仅依赖标量分数，要么将反馈限制在简短模板或摘要中。我们提出 Meta-Harness，一个通过搜索 LLM 应用的 Harness 代码来进行优化的外循环（outer loop）系统。它使用一个智能体式提议器（agentic proposer），通过文件系统（filesystem）访问所有先前候选方案的源代码、分数和执行轨迹（execution traces）。在在线文本分类（online text classification）任务上，Meta-Harness 比最先进的上下文工程（Context Engineering）管理系统提高了 7.7 个百分点，同时使用的上下文 token（context tokens）减少了 4 ×。在检索增强数学推理（retrieval-augmented math reasoning）任务上，单个发现的 Harness 在 200 道 IMO 难度的问题上平均提高了 4.7 个百分点的准确率，该结果在五个未参与搜索的模型上保持一致。在智能体编码（agentic coding）任务上，发现的 Harness 超越了最佳的手工工程化基线（baseline）。总之，这些结果表明，更丰富的先验经验访问能够赋能自动化 Harness Engineering。
项目页面及交互式演示：https://yoonholee.com/meta-harness/
优化后的 Harness：https://github.com/stanford-iris-lab/meta-harness-tbench2-artifact
Figure 1：（左）在文本分类任务上，Meta-Harness 优于现有最佳的手工设计 Harness（ACE）和现有文本优化器（TTT-Discover、OpenEvolve），仅经过 4 次评估即达到次优方法的最终准确率。（右）在 TerminalBench-2 上，Meta-Harness 优于所有已报告的 Claude Haiku 4.5 Harness。