2 相关工作
在高层面上,Meta-Harness 将信用分配(credit assignment)和元学习(meta-learning)[^39] [^45] [^2] [^16] [^43] 等更广泛文献中的思想引入了一个由近期编码智能体(coding agent)进展所开启的新领域。该系统不是更新模型权重,而是在 Harness 层面分配信用:它利用过去 Rollout 的经验来审慎推理哪些步骤和组件导致了失败,然后重写控制未来行为的外部代码。更具体地说,该方法位于几个近期研究主线的交汇处;它与自适应外部上下文访问、可执行代码搜索和文本优化的工作最为直接相关。
外部记忆与自适应访问。若干先前工作指出,将大型知识源或长输入作为语言模型自适应访问的外部资源来处理,比单次消化更有益。具体而言,检索增强生成(retrieval-augmented generation)[^27]、交错检索与推理 [^47]、基于记忆的智能体 [^36] 或递归语言模型 [^55] 都是自适应访问外部上下文的机制。Meta-Harness 使用类似的访问模式,但处于 Harness Engineering 这一更具挑战性的场景中,其中提议器选择性地检查由代码、分数和执行轨迹组成的大规模外部历史,以改进上下文管理程序本身。
可执行代码搜索。近期方法在可执行代码空间中搜索函数、工作流或智能体设计。早期工作提出使用大模型作为演化程序搜索中的变异和交叉算子 [^26]。后续方法在固定程序框架内演化指定函数 [^38]、使用元智能体从先前发现中编程新智能体 [^19],或为智能体系统搜索工作流图 [^57]。另一方向的工作在持续学习智能体的记忆设计空间中搜索,其中记忆跨任务流持续存在 [^56] [^49]。相比之下,Meta-Harness 搜索的是领域特定的 Harness,包括提示构造、检索和状态更新策略——这些策略在任务之间会重置。其外循环刻意保持最小化:不依赖固定框架、先前发现的存档或持久记忆机制,而是赋予提议器对先验经验的无限制文件系统访问权限。这使得智能体能够自主决定检查哪些信息,并能够在完整的 Harness 实现空间中搜索,而非在预定义的上下文管理程序空间中搜索。
文本优化方法。Meta-Harness 还与 ProTeGi、TextGrad、OPRO、GEPA、AlphaEvolve/OpenEvolve 和 Feedback Descent 等方法密切相关,这些方法利用先前尝试的反馈来迭代改进提示或其他文本制品 [^37] [^30] [^52] [^50] [^1] [^34] [^42] [^25]。然而,这些方法对 Harness Engineering 的适用性较差——在该场景中,优化目标是一个完整的可执行程序,且相关的环境反馈分布在代码、分数和执行轨迹中,难以预先进行摘要。Meta-Harness 中的提议器不是仅对聚合分数或摘要做出反应,而是能够对失败样本及其执行轨迹进行推理,从而提出有针对性的编辑。Table 1 比较了这些论文和我们的论文所考虑的问题规模,Figures 1 和 4 提供了与 OpenEvolve、GEPA 和 TTT-Discover 在我们问题设置中的直接比较。