4 实验
我们在三个任务领域评估 Meta-Harness：在线文本分类、数学推理和智能体编码。在每个领域中，我们使用标准评估指标，将搜索发现的 Harness 与领域适当的基线进行比较。请参阅各小节了解详细的实验设置。
我们与两大类方法进行比较。(1) 人工设计的策略：这些是每个领域的手工制作 Harness，代表上下文构造方面的当前最先进水平。我们在相应小节中描述这些基线。(2) 程序搜索方法：这些方法使用反馈和奖励信号在候选 Harness 上进行搜索，但设计用于比 Harness Engineering 更小规模的场景。
4.1 在线文本分类
我们遵循 [^58] [^51] 的在线文本分类设置：LLM 逐条接收带标签的样本，更新其记忆，然后在留出的测试集上进行评估。我们使用 GPT-OSS-120B 作为 LLM 文本分类器，并考虑为文本分类设计 Harness 的问题。我们使用三个数据集，根据难度和领域多样性选取：LawBench (Law) [^15] 从案例描述中预测刑事指控（215 个类别）；Symptom2Disease (S2D) [^18] 从症状描述中预测疾病（22 个类别）；USPTO-50k [^40] 从产物分子中预测前体反应物（180 个类别）。我们从该设置中的主要基线 Harness 初始化搜索种群 ℋ：零样本（zero-shot）、少样本（few-shot）、ACE 和 MCE。我们运行了 20 次演化迭代，每次迭代两个候选方案，共产生 40 个候选 Harness。
Table 2：三个数据集上所有 Harness 的测试集指标。Ctx 表示上下文中的额外输入 token（千）。†：来自 [^51] 的实现。↓：越低越好。Meta-Harness 在使用更少输入上下文的同时提高了在线文本分类准确率。
与文本优化器的比较。 我们将 Meta-Harness 与代表性的文本优化方法进行比较。为了公平比较，我们使用相同的提议器配置（配备最大推理的 Opus-4.6），仅基于搜索集性能选择候选方案，并将测试集保留到最终评估时才使用。由于评估是主要的计算瓶颈，我们为每种方法提供相同的提议 Harness 评估预算。我们考虑以下比较对象：
- Best-of-N：从种子进行独立采样，无搜索结构；一个计算量匹配的对照，用于验证搜索是否有价值。
- OpenEvolve [^42]：使用 LLM 变异的程序演化搜索。
- TTT-Discover [^53]：我们仅使用其方法中的文本优化组件，即通过 PUCT 复用规则进行提议选择。
在此设置中，Meta-Harness 以 0.1× 的评估次数匹配了最佳先前文本优化器（OpenEvolve、TTT-Discover）的性能，且其最终准确率超出它们 10 个百分点以上（Figures 1 和 4）。我们将这种加速归因于对外循环施加最小必要结构的刻意设计选择（Section 3）。具体而言，Meta-Harness 使用文件系统保留完整的经验历史，并允许提议器检查任何必要的内容，而 OpenEvolve 和 TTT-Discover 的提议器输入则比完整文件系统访问更加结构化且受限得多。我们注意到，在线文本分类是我们研究的最小上下文设置（Table 1），因此如果结构化程度较高的文本优化器在这里就已经落后，那么它们的局限性在更困难的场景中可能只会更加突出。
Meta-Harness 快 10 × 且收敛到更好的 Harness
在此设置中，Meta-Harness 以 10× 更少的完整评估次数匹配了最佳先前文本优化器（OpenEvolve、TTT-Discover）的性能，且其最终准确率超出它们 10 个百分点以上。
| 方法 | 分数 | 代码 | 摘要 | 轨迹 | 中位数 ↑ | 最佳准确率 ↑ | > ZS |
|---|---|---|---|---|---|---|---|
| 仅分数 | ✓ | ✓ | × | × | 34.6 | 41.3 | 26 |
| 分数 + 摘要 | ✓ | ✓ | ✓ | × | 34.9 | 38.7 | 23 |
| Meta-Harness（完整） | ✓ | ✓ | - | ✓ | 50.0 | 56.7 | 39 |
Table 3：在线文本分类中提议器可用信息的消融实验（ablation）。> ZS：准确率超过零样本基线的运行次数。完整的 Meta-Harness 接口显著优于仅分数和分数加摘要的消融配置。对原始执行轨迹的访问是赋能 Harness 搜索的关键要素。
为了隔离提议器接口中哪些部分最为重要，我们在在线文本分类中比较了三种条件：仅分数条件、分数加摘要条件（提议器接收 LLM 生成的摘要但没有原始轨迹），以及具有执行轨迹访问权限的完整 Meta-Harness 接口（Table 3）。结果显示完整接口具有显著优势：仅分数达到 34.6 的中位数和 41.3 的最佳准确率，分数加摘要达到 34.9 的中位数和 38.7 的最佳准确率。相比之下，Meta-Harness 达到 50.0 的中位数和 56.7 的最佳准确率，即使其中位候选方案也优于两种消融条件下找到的最佳候选方案。我们将此解释为完整执行轨迹访问是接口中最重要组件的证据：摘要无法恢复缺失的信号，甚至可能因压缩掉诊断性有用的细节而产生负面影响。
| 方法 | 中位数 | 最佳 |
|---|---|---|
| GEPA [^1] | 32.6 | 40.2 |
| Best-of-N | 34.0 | 44.2 |
| OpenEvolve [^42] | 39.1 | 43.3 |
| TTT-Discover [^53] | 34.1 | 45.6 |
| Meta-Harness | 50.0 | 56.7 |
Table 4：不同文本优化器提出的 Harness 的文本分类准确率（搜索集）。Meta-Harness 在 Harness 优化方面显著更有效。
与最先进 Harness 的比较。 我们的主要比较对象是针对此问题设置的手工设计 Harness：Agentic Context Engineering（ACE，[^58]），使用反思性记忆策展来逐步构建上下文；Meta Context Engineering（MCE，[^51]），维护并演化一个用于上下文构造的自然语言技能库。作为额外基线，我们评估零样本提示和 N∈{4,8,16,32,all} 示例的少样本提示。Table 2 的结果表明，Meta-Harness 相比先前的手工设计 Harness 有了显著改进。所选的 Meta-Harness ^2^ 达到 48.6% 的准确率，比 ACE 高出 7.7 个百分点，比 MCE 高出 8.6 个百分点。这些增益并非来自使用更多上下文：Meta-Harness 仅使用 11.4K 上下文 token，而 ACE 使用 50.8K，MCE 使用 28.5K。
准确率-上下文权衡。 由于 Meta-Harness 对 Harness 代码执行自由形式的优化，我们可以同时表达对准确率和上下文代价的联合偏好，而不是预先承诺单一的标量目标。仅给出当前指标和期望的权衡，提议器就能够在前沿的广泛范围内发现 Harness，在 Figure 3 中产生一条平滑的准确率-上下文 Pareto 曲线。这使我们能够以可控的方式用额外的上下文换取更高的测试准确率，而非承诺于单一的手工设计操作点。
分布外（OOD）任务评估。 我们评估发现的 Harness 是否能泛化到搜索过程中完全未见的新数据集。我们考虑九个多样化的数据集，在 Section C.1 中详细描述。所选的 Meta-Harness 系统达到了最佳的平均准确率（73.1%），优于 ACE（70.2%）和所有少样本基线（Table 5）。值得注意的是，我们观察到朴素地增加超过 32 个少样本示例在 7/9 个任务中反而损害了性能。Meta-Harness 在 6/9 个数据集上表现最佳，这表明发现的 Harness 捕获了文本分类的普遍有效策略，而非过拟合到搜索过程中使用的特定数据集。
| Harness | SciC | FiNER | Amz5 | FPB | GoEmo | Bank77 | News | SciT | TwHate | 平均准确率 | Ctx ↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Zero-shot | 32.7 | 56.0 | 52.7 | 90.0 | 42.0 | 80.7 | 84.7 | 89.3 | 75.3 | 67.0 | - |
| Few-shot (8) | 34.0 | 63.0 | 54.0 | 90.0 | 44.0 | 82.7 | 84.7 | 91.3 | 76.7 | 68.9 | 2.2 |
| Few-shot (32) | 38.7 | 62.0 | 53.3 | 90.7 | 43.3 | 86.0 | 85.3 | 90.7 | 76.7 | 69.6 | 5.2 |
| Few-shot (all) | 35.3 | 61.0 | 50.0 | 93.3 | 42.7 | 80.7 | 84.0 | 90.0 | 76.7 | 68.2 | 7.4 |
| ACE [^58] | 40.7 | 74.0 | 48.0 | 96.7 | 44.0 | 83.3 | 86.0 | 90.7 | 68.7 | 70.2 | 11.7 |
| Meta-Harness | 53.3 | 67.0 | 60.0 | 94.0 | 46.0 | 82.7 | 86.7 | 91.3 | 77.3 | 73.1 | 7.3 |
Table 5：分布外文本分类数据集评估。我们报告每个数据集的测试准确率以及九个数据集的平均额外上下文 token。Meta-Harness 在这 9 个先前未见的任务上比次优方法高出 2.9 个百分点。
4.2 检索增强推理的 Harness
我们研究了一种较为非标准的奥林匹克数学解题设置：赋予模型从大型语料库中检索示例的能力。原则上有充分理由期望检索有助于数学推理，因为解题方案经常共享可复用的证明模式，因此先前的推理轨迹包含模型在推理时可以利用的信息。然而，检索尚未成为该设置中的标准组件，先前工作表明，与更注重事实的领域相比，检索在推理密集型数学基准测试上的成功远不如预期 [^41] [^48] [^5]。困难在于朴素检索很少能以正确的形式呈现正确的轨迹。这表明成功不取决于是否添加检索，而取决于发现正确的检索策略。我们不是手工设计该策略，而是给 Meta-Harness 一组高难度的奥林匹克问题，允许检索行为本身从搜索中涌现。
检索语料库包含来自八个开源数据集的 ≥ 500,000 道已解决问题。我们针对两个评估基准测试和搜索集进行了仔细的去重和去污染，确认留出的问题在我们基于字符串的过滤器下没有精确前缀匹配，并手动检查了留出样本的 BM25 检索结果（Section C.2）。我们使用 Meta-Harness 在 250 道奥林匹克难度数学问题（OlympiadBench + Omni-MATH hard）的搜索集上优化 Harness，进行 40 次迭代，产生 109 个候选检索 Harness。我们从该设置中的主要基线 Harness 初始化搜索种群 ℋ：零样本、少样本和 ACE。我们基于 GPT-OSS-20B 的搜索集性能选择单个 Harness（Section B.2）。我们在 200 道先前未见的 IMO 难度问题上评估该 Harness，这些问题来自 IMO-AnswerBench、IMO-ProofBench 和 ArXivMath [^29] [^5]。除 GPT-OSS-20B 外，我们还在搜索期间未见的四个模型上评估相同的检索 Harness：GPT-5.4-nano、GPT-5.4-mini、Gemini-3.1-Flash-Lite 和 Gemini-3-Flash。我们遵循先前工作的标准评估协议 [^29]，报告每题三次采样的平均准确率。
结果。 Table 6 将发现的 Harness 与无检索、使用独立嵌入模型 text-embedding-3-small 的稠密检索、随机少样本提示和 BM25 检索进行比较。相比之下，Meta-Harness 完全在代码空间中运行，基于与稀疏基线相同的 BM25 词法检索栈，而非引入额外的稠密编码器。发现的检索 Harness 在所有五个留出模型上都优于无检索基线，平均增益为 4.7 个百分点。它在平均水平上也匹配或超过了最强的固定基线，比 BM25 检索整体高出 1.3 个百分点，同时避免了稠密检索和随机少样本提示在多个模型上观察到的性能回退。
| 方法 | GPT-5.4n | GPT-5.4m | Gem-3.1FL | Gem-3F | GPT-20B | 平均 |
|---|---|---|---|---|---|---|
| 无检索器 | 23.0 | 28.8 | 28.6 | 42.6 | 47.6 | 34.1 |
| 稠密检索 (k=1) | 27.1 (+4.1) | 24.5 (-4.3) | 31.3 (+2.7) | 42.3 (-0.3) | 46.9 (-0.7) | 34.4 (+0.3) |
| 稠密检索 (k=5) | 31.1 (+8.1) | 28.3 (-0.5) | 37.1 (+8.5) | 47.2 (+4.6) | 46.7 (-0.9) | 38.1 (+4.0) |
| 随机少样本 | 23.1 (+0.1) | 24.5 (-4.3) | 31.0 (+2.4) | 40.4 (-2.2) | 41.8 (-5.8) | 32.2 (-1.9) |
| BM25 检索 | 30.2 (+7.2) | 29.2 (+0.4) | 32.8 (+4.2) | 46.6 (+4.0) | 48.9 (+1.3) | 37.5 (+3.4) |
| Meta-Harness | 31.7 (+8.7) | 30.4 (+1.6) | 34.9 (+6.3) | 46.3 (+3.7) | 50.6 (+3.0) | 38.8 (+4.7) |
Table 6：200 道 IMO 难度数学问题上的检索增强数学解题。我们报告每题三次采样的平均 pass@1，括号内为相对基线的绝对提升。发现的 Meta-Harness 检索策略在所有五个留出模型上改进了这些 IMO 难度问题的推理，相比无检索器平均增益 4.7 个百分点。
Meta-Harness 改进了 IMO 难度数学问题的推理
在检索增强数学推理中，单个发现的检索 Harness 跨五个留出模型泛化，平均准确率比无检索提高 4.7 个百分点，在所有比较方法中产生了最强的整体平均表现。
4.3 在 TerminalBench-2 上评估智能体编码 Harness
TerminalBench-2 [^32] 在 89 个高难度任务上评估 LLM 智能体，这些任务要求长程、完全自主的执行，涉及复杂的依赖关系和大量的领域知识。先前工作已表明，智能体 Harness 的选择对该基准测试的性能有重大影响。我们从两个强大的开源基线 Terminus 2 [^32] 和 Terminus-KIRA [^24] 开始初始化搜索。在本实验中，我们在相同的 89 个任务基准测试上执行搜索和最终评估。我们将此基准测试作为一个发现问题（discovery problem）[^54] 使用，其目标是发现一种能够在高难度、公开竞争的基准测试上提升性能的 Harness 配置。这是标准做法：公开文章已经描述了在 TerminalBench 本身上进行的反复针对基准测试的 Harness 迭代 [^17] [^33] [^24]，且该基准测试规模小、评估代价高，引入单独的分割将实质性地削弱搜索信号。我们还通过人工检查和基于正则表达式的审计来检查任务特定字符串是否泄露到演化出的 Harness 中，以此检测过拟合。我们注意到，尽管由此产生的 Harness 专门针对 TerminalBench-2 的场景，但从单条指令自主完成困难的长程任务是一项核心能力，且该基准测试由许多前沿模型和高度工程化 Harness 都难以完成的任务组成。
| Harness | 自动 | 通过率 (%) |
|---|---|---|
| Claude Opus 4.6 | ||
| Claude Code | × | 58.0 |
| Terminus 2 | × | 62.9 |
| Mux | × | 66.5 |
| Droid | × | 69.9 |
| TongAgents | × | 71.9 |
| MAYA-V2 | × | 72.1 |
| Terminus-KIRA | × | 74.7 |
| Capy | × | 75.3 |
| ForgeCode | × | 81.8 |
| Meta-Harness | ✓ | 76.4 |
| Claude Haiku 4.5 | ||
| OpenHands | × | 13.9 |
| Claude Code | × | 27.5 |
| Terminus 2 | × | 28.3 |
| Mini-SWE-Agent | × | 29.8 |
| Terminus-KIRA | × | 33.7 |
| Goose | × | 35.5 |
| Meta-Harness | ✓ | 37.6 |
Table 7：TerminalBench-2 上的通过率。其他结果来自官方排行榜。Meta-Harness 在所有 Opus-4.6 智能体中排名第二，在所有 Haiku-4.5 智能体中排名第一。
结果。 我们在 Table 7 中报告了完整基准测试的结果，使用两个基础模型进行评估：Claude Opus 4.6 和 Claude Haiku 4.5。在 Opus 4.6 上，Meta-Harness 发现了一个达到 76.4% 通过率的 Harness，超越了手工工程化的 Terminus-KIRA（74.7%），在 TerminalBench-2 排行榜上所有 Opus 4.6 智能体中排名第二。唯一得分更高的 Opus 4.6 智能体是 ForgeCode（81.8%）；然而，我们无法仅从公开可用的代码复现其报告结果，这表明其排行榜分数依赖于已发布仓库之外的组件。在较弱的 Haiku 4.5 模型上，改进更为显著：Meta-Harness 达到 37.6%，比排名次优的已报告智能体（Goose，35.5%）高出 2.1 个百分点。TerminalBench-2 是一个被多个团队积极争夺、直接针对其进行优化的基准测试，因此自动搜索方法能够在这一前沿取得收益，对于长程文本优化循环而言是令人鼓舞的。
提议器的定性行为。 Harness 搜索轨迹有助于解释 Meta-Harness 为何取得这些收益；我们在 Appendix A 中提供了详细总结。在早期迭代中，提议器将合理的结构性修复与提示模板编辑相结合，并观察到两个候选方案都出现了性能回退。然后它明确假设回退是由共享的提示干预所混淆的，将结构性变更从提示重写中隔离出来，并最终转向一种更安全的加性修改，该修改成为本轮运行中的最佳候选方案。这提供了定性证据，表明文件系统访问使提议器能够以足够的细节检查先前经验，从而形成因果假设并据此修订 Harness。
Meta-Harness 在 TerminalBench-2 上超越手工工程化智能体
在 TerminalBench-2 上，Meta-Harness 自动发现的 Harness 在 Opus 4.6 上超越了 Terminus-KIRA，并在所有 Haiku 4.5 智能体中排名第一。