5 讨论

除了优于现有 Harness 之外，Meta-Harness 还具有若干实际优势。发现的 Harness 能够泛化到分布外分类数据集（Table 5）以及数学设置中未见的基础模型（Table 6）。一次搜索运行在几小时的墙钟时间内完成，却能产生可读的、可迁移的策略，可在不同模型之间复用，包括未来更强大的模型。代码空间中的过拟合也更具可检查性：脆弱的 if 链或硬编码的类别映射在检查时是可见的，而权重空间中的过拟合则不然。更广泛地说，我们的结果表明 Meta-Harness 的主要优势不仅在于代码搜索，更在于具有选择性先验诊断经验访问的搜索。提议器不受限于标量奖励或固定摘要；它可以检查原始代码、执行轨迹和先前失败，然后利用这些信息来形成和检验关于改变什么的假设。Section A.2 中的定性搜索轨迹直接说明了这种行为。

我们的发现反映了机器学习中一个反复出现的模式 [^44]：一旦搜索空间变得可访问，更强的通用智能体就能超越手工工程化的解决方案。未来工作的一个自然下一步是协同演化 Harness 和模型权重，让策略塑造模型学习的内容，反之亦然。虽然我们在三个多样化的领域上进行了评估，但我们的实验证明 Harness 搜索可以与一个特别强大的编码智能体提议器（Claude Code）配合工作；更广泛地研究该效果如何随提议器智能体变化而变化仍然是未来工作。