1 引言
对于同一基准测试（benchmark），在固定大语言模型（LLM）周围更换 Harness 可以产生 6 × 的性能差距 [^46]。Harness——决定存储、检索和向模型展示什么内容的代码——其重要性往往与模型本身不相上下。这种敏感性引发了人们对 Harness Engineering 日益增长的兴趣，即通过改进 LLM 周围代码来提升整体系统性能的实践 [^35] [^20] [^9] [^8]。但尽管 Harness Engineering 十分重要，它在很大程度上仍然依赖手工操作：从业者检查失败案例、调整启发式规则，并在少量设计方案中反复迭代。在本文中，我们探讨这一过程本身是否可以实现自动化。
一个自然的出发点是近期在文本优化（text optimization）方面的工作，因为 Harness Engineering 同样涉及利用先前尝试的反馈来迭代改进文本和代码制品 [^37] [^38] [^34] [^25] [^1]。然而，这些方法与 Harness Engineering 的匹配度较差，因为它们通常采用短视或高度压缩的反馈：有些仅基于当前候选方案进行优化 [^30] [^50] [^52]，有些主要依赖标量分数 [^34] [^11]，还有一些将反馈限制在简短模板或 LLM 生成的摘要中 [^1] [^25]。这是一种务实的可扩展性选择，而非长程依赖无信息的证据。Harness 作用于长时间跨度：关于存储什么、何时检索、如何呈现的单一决策，可能在许多推理步骤之后才影响行为。压缩反馈往往会移除将下游失败追溯到早期 Harness 决策所需的信息。在若干代表性文本优化器所研究的任务中，每个优化步骤的可用上下文仅为 100 至 30,000 个 token（Table 1），远低于 Harness 搜索的诊断信息足迹。更广泛地说，检索和记忆增强语言模型的相关工作表明，有用的上下文通常应该自适应地访问，而非整体打包到单个提示中 [^27] [^47] [^36] [^55]。
Figure 2：Meta-Harness 搜索循环。(1) 一个智能体读取包含所有先前候选方案源代码、执行轨迹和分数的文件系统，并提出新的 Harness。(2) 在评估任务上评估所提出的 Harness。(3) 所有日志（提出的代码、推理轨迹、评估分数）存储在文件系统的新目录中，循环继续。
| 方法 | 历史记录 | 日志内容 | MTok/轮 |
|---|---|---|---|
| OPRO [^50] | 窗口 | 过去的（方案，分数）对 | 0.002 |
| TextGrad [^52] | 最新 | 对当前制品的文本反馈 | 0.015 |
| AlphaEvolve [^34] | 窗口 | 程序数据库 + 评估分数 | 0.022 |
| GEPA [^1] | 摘要 | Rollout 轨迹的反思性反馈 | 0.008 |
| Feedback Descent [^25] | 摘要 | 比较 + 文本反馈 | 0.012 |
| TTT-Discover [^54] | 窗口 | 先前方案片段 | 0.026 |
| Meta-Harness | 完整 | 所有日志和分数 | 10.0 |
Table 1：文本优化方法及其设置的比较。每行代表一种方法，跨任务进行汇总。MTok/轮是我们对每篇论文所考虑的最大设置下，单次文本制品评估生成的完整上下文的最佳估计值。本文考虑的设置在每次制品评估时产生数量级更多的上下文。
我们通过 Meta-Harness 来解决这一局限性——这是一个通过端到端搜索来优化 Harness 的智能体式 Harness（Figure 2）。其提议器（proposer）是一个编码智能体（coding agent），即一个基于语言模型的系统，能够调用开发者工具并修改代码。选择编码智能体（而非原始 LLM）至关重要，因为经验积累量很快就会超出上下文窗口（context window）的限制，因此提议器必须自主决定检查什么内容，并通过与代码库的直接交互来验证编辑。其关键设计选择是通过文件系统暴露完整历史，使得提议器能够选择性地诊断原始的先前代码和执行轨迹，而非从压缩的逐候选摘要中进行优化。对于每个先前的候选 Harness（candidate harness），文件系统存储了源代码、评估分数和执行轨迹，提议器通过标准操作（如 grep 和 cat）进行检索，而非将它们作为单个提示来消化。在实践中，在我们最高要求的设置中，提议器每次迭代中位数读取 82 个文件，每步引用超过 20 个先前候选方案（Appendix A）。在我们研究的设置中，单次评估可以产生多达 10,000,000 个 token 的诊断信息，大约比先前文本优化设置中使用的最大反馈预算高三个数量级（Table 1）。
我们在在线文本分类、数学推理和智能体编码三个任务上评估 Meta-Harness。在在线文本分类任务上，Meta-Harness 发现的 Harness 比 Agentic Context Engineering（ACE，[^58]）提高了 7.7 个百分点，同时使用的上下文 token 减少了 4 ×，并且在次优文本优化器经过 60 次提议后达到的最终性能，Meta-Harness 仅用四次即可匹配（Figure 1）。在检索增强数学推理任务上，单个发现的 Harness 在 200 道 IMO 难度的问题上平均提高了 4.7 个百分点的准确率，该结果在五个未参与搜索的模型上保持一致。在 TerminalBench-2 上，发现的 Harness 超越了 Terminus-KIRA，在所有 Haiku 4.5 智能体中排名第一。