观察项 / 候选材料(不计入文章数)
2026-05 起各轮调研中已甄别、但暂不值得做成正式文章的材料。本段不参与
### N.编号,不计入 79 篇文章总数。 中文译文留在本地translate/(gitignored)作阅读辅助;下表只记上游链接与定性,方便下次快速复看。 去向标记: 🔵 待实测后入tools/(遵守 tools/「只收用过的工具」标准,未实测前不正式收录) | ⚪ 长期观察 | ⏭️ 暂存不收。升格阈值(2026-07-27 补写,解决"论文为什么有的进编号、有的只进这张表"的口径问题): 早期本表只收产品页 / README / 短 bliki / 发布稿 / 工程随笔,但随着 arXiv 上 harness 论文的产出速度上来,论文同样会落到这张表——否则每月十几篇会把编号正文淹掉。判据不是体裁而是它是否改变你读既有条目的方式:
- 进编号正文:提出新的实验设计范式(如 #67 首次固定模型只变 harness),或对库内已有主线给出系统性反证(如 #68 对自演化那条线)。
- 只进本表:为已确立的结论再加一个数据点或做独立复现(Claw-SWE-Bench 复现 #35、Better Harnesses 复现 #57 的弱模型受益)、换一个测量轴但结论同向(StaminaBench)、地图式综述(Code as Agent Harness、Agent System and Harness Design)、或工具/工件本身尚未被实测。
这条阈值是可争的;争的时候请改这段文字,而不是在个案上临时松紧。
| 候选 | 类型 | 去向 | 角度 / 为何只做观察项 | 原文 |
|---|---|---|---|---|
| Caliper | 工具 | 🔵 | 把 CLAUDE.md 自然语言约定编译成确定性检查;三层 enforcement,论点反哺概念 3/6(机械化执行 / 熵管理)。实测后可升级 tools/ 或 works/ | getcaliper.dev |
| Context Mode | 工具 | 🔵 | "用代码思考"(让 LLM 写脚本统计而非读满上下文)+ FTS5/BM25 取回;90% 篇幅是安装矩阵 | github |
| OpenSPDD | 工具 | 🔵 | SPDD 的 CLI 落地(REASONS Canvas + spdd-sync);README 体裁,配合 #20 SPDD 看 | github |
| CocoIndex | 工具/基建 | ⚪ | 增量索引引擎(Rust + 声明式 Python);与 agent 关系较远,偏通用 context 基建 | github |
| grith | 工具 | ⚪ | syscall 级安全 Harness(<15ms 拦截/评分/决策);落地页太薄,待其博客深度长文 | grith.ai |
| Running Codex safely | 文章 | ⚪ | OpenAI 官方·安全治理控制面;官宣口吻、无实测数据 | openai |
| Codex on Windows 沙箱 | 文章 | ⚪ | 沙箱边界 Windows 平台实现;高度平台特定,与已收录 Anthropic 沙箱重复 | openai |
| LangSmith Sandboxes GA | 产品 | ⚪ | microVM 隔离论证(Shai-Hulud / n8n CVE 那节有料),其余是 GA 公告 | langchain |
| OpenAI WebSockets | 文章 | ⚪ | 运行时性能·传输层(把整次 agent 执行建模为单条长响应);可迁移性中等 | openai |
| Managed Deep Agents | 产品 | ⚪ | 托管 runtime 产业动态;private beta 发布稿,干货在 #22 / #27 | langchain |
| Genie Tarpit | 随笔 | ⚪ | Kent Beck 的 Features×Futures 坐标(AI 落"凑合区");依赖 5 张配图、含赞助段 | tidyfirst |
| Vibe Coding | bliki | ⚪ | Fowler 给 vibe coding 的权威定义锚点;可做术语引用 | martinfowler |
| Interrogatory LLM | bliki | ⚪ | 让 LLM 反向访谈人类生成上下文的 pattern;可做 prompts/ 引用 | martinfowler |
| Google Antigravity | 发布稿 | ⏭️ | I/O 2026 开发者亮点;产品罗列,与已收录 Managed Agents 重复 | blog.google |
| Claude Managed Agents 演进 | 产品文 | ⚪ | #7 的产品化续篇(Agent SDK → Managed Agents 的演进叙事 + /claude-api skill 入口);发布稿口吻,2026-06-10 | claude.com |
| LangChain Deep Agents 上下文管理 | 工程文 | ⚪ | 压缩三技术(大结果落盘 / 阈值触发摘要 / 子智能体隔离)+ targeted evals(针对单个压缩机制的小型回归测试,可迁移的做法);与 #22 互补 | langchain |
| LangChain 生产级 Deep Agents 的 Runtime | 工程文 | ⚪ | harness(prompts/tools/skills)与 runtime(durable execution/memory/multi-tenancy/HITL/观测)的分界陈述;与 #7、#21 重叠度高 | langchain |
| Arize:harness 为何取代 framework | 分析 | ⚪ | framework(人组装的抽象+绳子)vs harness(开箱即跑,人只给目标)的划界 + 一套 harness 运营指标(成功率/重试/工具效率/恢复/工具幻觉/单条成功轨迹成本);2026-06-18 | arize.com |
| Code as Agent Harness 综述 | 论文 | ⚪ | "代码即 harness 基底"的三层大地图(接口/机制/多智能体扩展),横跨编码/GUI/具身/科研场景;综述体裁,检索地图价值大于论点价值 | arxiv 2605.18747 |
| NLAH:自然语言 Agent Harness | 论文 | ⚪ | 把 harness 控制逻辑外化为可执行自然语言工件 + 共享运行时(IHR),主张 "harness 表示科学";与 #16 SPEC.md 模式互证,待更多后续工作 | arxiv 2603.25723 |
Microsoft Agent Framework HarnessAgent | 产品/文档 | ⚪ | 微软入场:batteries-included harness 作为一等 API(AsHarnessAgent);微软视角此前仓库空白,暂只有文档无深度工程文 | learn.microsoft.com |
| OpenAI Core dump 流行病学 | 工程复盘 | ⚪ | "群体级诊断 > 逐例分析"修复 18 年 libunwind 老 bug,ChatGPT 参与写分析管线;可观测性方法论好文但与 harness 关系间接,2026-06-30 | openai |
| thedeepfeed:学科史梳理 | 编年 | ⚪ | "七个声音九个月汇流成一个学科"的传播史(含 Osmani 文收藏/点赞比 2:1 等传播数据);二手史料,配 #31 看 | thedeepfeed.ai |
| Boris Cherny 工作流 | 实践 | ⚪ | Claude Code 作者本人"出奇原味"的用法(~100 行 CLAUDE.md、早期以 plan mode 纪律著称;站内 Part 15 已记录其 4.6+ 后放弃 plan mode 起手、改 auto mode 直跑——"新模型不再需要显式规划步骤");源头是其 X 帖,链接为社区维护的档案站(非 Anthropic 官方) | howborisusesclaudecode.com |
| Steering Claude Code 官方指南 | 产品文档 | ⚪ | 七种转向机制(CLAUDE.md/rules/skills/subagents/hooks/output styles/system prompt append)按"加载时机 × compaction 行为 × token 成本"三轴对照——#78 YDD"区别在加载机制"论的官方版说明书;参考手册体裁,2026-06-18 | claude.com |
| The Harness Effect 论文 | 论文/厂商评测 | ⚪ | "成本数据"缺口的首个系统数据:同 22 任务 × 6 模型只换编排层,成本 -41%、时延 -44%、token -38%;提出 token maxing 与 harness leverage(质量增益与基线能力 r=0.99)。注意 Writer Inc. 自评自家 harness,利益相关,方法论(frozen baseline + locked tasks)可取 | arxiv 2607.06906 |
| Harness Updating ≠ Harness Benefit 论文 | 论文 | ⚪ | 拆开两条能力轴:写 harness 编辑的能力各模型持平(9B 能写出与 Opus 同构的 skill),利用 harness 的能力非单调(中档模型受益最多)——跨模型可移植性缺口的机制侧证据;被 #45 Weng 综述引用 | arxiv 2605.30621 |
| ToFu 白盒研究 harness | 工具 | 🔵 | MIT 协议、面向研究者的白盒 harness:三层上下文压缩 + 多语言 + MCP 集成,可作为 research object 检查/修改编排逻辑;待实测后再定去向 | arxiv 2607.11423 |
| OpenAI:How agents are transforming work | 报告 | ⚪ | 内部采纳数据:Codex 从占员工 <10% token 到成为全部门(含法务/招聘)主力;99 分位用户日均 60+ 小时 agent turns、多智能体并行——脉络三的组织影响新数据点,2026-06-25 | openai |
| Fowler Fragments 2026-07-06 / 07-13 / 07-21 | 短评 | ⚪ | retreat 纪要三则:AGENTS.md <200 行、用 Rust 替代 Python 强化计算性传感器、property-based testing、"DX 与 AX 的维恩图是个圆"(Laura Tacho)、"harness 会否被模型进步淘汰"的现场辩论——#2 的口语化增量。07-13 篇另含 Kief Morris 的统一叙事(所有争论都是"交给智能体的工作单元怎么设定":多大、覆盖多少、如何交接、如何验收、围什么栏)与 Sam Ruby "Bring me a Rock"(LLM 时代按目标管理而非按方法管理成为可辩护的工作方式)。07-21 篇收官第二届 FOSE 研讨会并给出 Thoughtworks Europe 官方报告五条结论:代码生成不再是瓶颈、验证才是;harness engineering 正成为一门可独立拥有的学科;学徒制危机;高管/工程师预期落差比技术限制更危险;遗留系统现代化是最稳的近期价值池 | 07-06 / 07-13 / 07-21(TW 报告 PDF) |
| Geoffrey Litt:Understand to participate | 演讲 | ⚪ | AIE 2026 演讲(经 Simon Willison 笔记):cognitive debt——理解要深到"能继续参与创作",否则参与能力实质受限;与 #42 Ronacher 的 comprehension 关切合流;2026-07-10 演讲视频已上线 YouTube(链接见 Willison 笔记的 update,另有作者的 X 线程版) | simonwillison.net |
| Simon Willison:Agentic Engineering Patterns | patterns 库 | ⚪ | 2026-02 起持续更新的模式集(红绿 TDD、hoard working examples、线性走查等);附 Fable's judgement 笔记(2026-07-03:让模型自主选低阶模型跑子任务)——个体实践侧长期跟踪 | guides |
| Thoughtworks Technology Radar Vol.34 | 行业雷达 | ⚪ | Ralph loop 列为 Assess、Team of coding agents 列为 Assess、Coding agent swarms 列为 Caution(2026-04-15)——#28 Ralph 的行业采纳信号;雷达条目体裁,一行即可 | thoughtworks |
| OpenAI:ChatGPT Work + Codex 应用合并 | 产品动态 | ⚪ | 2026-07-09:Codex 独立应用并入 ChatGPT 桌面端(Chat/Work/Codex 三模式、全计划可用),GPT-5.6 同日 GA,Atlas 浏览器开始退役——"编码智能体 runtime 正在变成通用智能体 runtime",#40 HaaS 线索的产品化里程碑;发布稿体裁 | digitalapplied 汇总 |
| LangChain:Prompt Caching with Deep Agents | 工程文 | ⚪ | 跨厂商缓存中间件:harness 自动按 provider 委派缓存策略、结构化提示词与显式缓存点收窄失效爆炸半径(记忆更新仍能命中前缀子集);真实轨迹实测省 49–80% token——#39 Codex 缓存工程的框架侧对应,2026-06-26 | langchain |
| Osmani:Don't Outsource the Learning | 随笔 | ⚪ | 脉络三新数据点:Anthropic 技能形成 RCT——AI 组完成同速但理解测验 50% vs 67%,组内"问概念的 >65%、粘代码的 <40%(姿势决定结果)";另引 MIT "Your Brain on ChatGPT"、CHI 2026 的 LLM 先行锚定效应,2026-07-06 | addyosmani.com |
| Fowler 站:The Archaeologist's Copilot | 实践文 | ⚪ | Java 1.5 遗留系统现代化:早期 LLM 给出"在代码库里站不住的貌似合理答案",转机是把过程锚定在证据上——AI 辅助分析 + 稳定 Docker 环境验证 + 测试保护下渐进重构;"AI 被证据、清晰角色与分步策略约束时最有用",2026-07-16 | martinfowler |
| Simon Willison:llm-coding-agent 0.1a0 | 实验 | ⚪ | 给 Fable 一份 spec.md 就造出 Claude Code 风格最小 harness(读/写/搜文件 + 执行命令 + --allow 权限模式 + Python API)——"最小 harness 有多小"的又一实证,配 #17 的 300 行工作坊说法看,2026-07-02 | simonwillison.net |
| donggeking/harness_engineering_guide | 中文教材/仓库 | 🔵 | 中文社区的体系化 Harness 教程书(GitBook + 从零实现的 MiniHarness:运行时→工具层→记忆→输出治理→编排→MCP→生产化加固→安全层),剖析 Codex/Claude Code/OpenClaw 真实实现;基于 2026-04 技术现状;待实测其 MiniHarness 后再定去向 | github |
| Osmani:Long-running Agents | 综述/定调 | ⚪ | 长时智能体三义拆分(长时推理 / 长时执行 / 持久代理)+ 三堵墙(有限上下文 / 无持久状态 / 无独立自验);论据已被 #4/#7/#28/#48 覆盖,价值在地图与词汇;#41 曾反向引用本文,2026-07 | addyosmani.com |
| Iusztin:What's Harness Engineering | 科普 | ⚪ | "模型商品化 → harness 是你该拥有的那层" + build/buy/customize 三分与开源中间地带(Pydantic AI Harness / Pi / Deep Agents);面向非工程读者的定调文,论点已被 #1/#3/#31 覆盖,2026-07-21 | read.technically.dev |
| Sparsh Agarwal:Control Surface | 工程随笔 | ⚪ | Scaffolding(首条消息前装配)vs Harness(会话中运行)二分 + "allowed claim / proof" 治理词汇 + 开工前六问清单;术语有用、无一手数据,2026-07-09 | medium |
| OpenAI Agents SDK 演进 | 产品文 | ⚪ | 官方 SDK 侧的"harness 与 compute 分离"定式:凭据不进模型代码执行环境 + snapshot/rehydration 断点续跑 + Manifest 工作区契约;与 #7 brain/hands、#40 HaaS、#50 遏制互证;发布稿体裁,2026-04-15(存量回扫补录),配套 Claude→OpenAI SDK 迁移指南 的两套架构对照表最清晰 | openai |
| What makes a harness a harness 论文 | 论文/概念分析 | ⚪ | 目前最认真的术语锚点:给 agent harness 下构成性定义(充分必要条件)并操作化成纳入/排除测试,划清它与 agent framework / SDK / IDE 插件 / eval harness / orchestrator 的边界,在 6 个真实 harness(Claude Code、Codex CLI、Aider、Cline、OpenHands、SWE-agent)加人造边界案例上一致通过;还梳了词源谱系(马具 → test harness → ML eval harness → agent harness)。单作者概念分析、无实验,故只作观察项;写中文词条时可引 | arxiv 2606.10106 |
| Claw-SWE-Bench 论文 | 论文/基准 | ⚪ | #35"harness 效应 ≈ 模型效应"的独立复现:固定模型时 harness 选择造成 27.4pp 差异、模型选择 29.4pp。更刺眼的是 adapter 决定论——同为 GLM 5.1 后端,minimal direct-diff adapter 只有 19.1% Pass@1,完整 adapter 达 73.4%。350 实例 / 8 语言 / 43 仓库 + 80 实例 Lite 子集 | arxiv 2606.12344 |
| Better Harnesses, Smaller Models 论文 | 论文 | ⚪ | "成本数据"缺口的学术侧样本,与 #65 的价格实证同向:7 个业务型 agentic 任务 × 3 个 SLM 家族,meta agent 从失败轨迹自动发现 harness 适配,21 个 task-SLM 组合中 16 个显著提升、7 个抹平 SLM-LLM 差距,最佳者以 4% 成本恢复 89.7% 的 LLM 性能;适配对重复性工作流与基础能力够格的 SLM 收益最大 | arxiv 2607.08938 |
| StaminaBench 论文 | 论文/基准 | ⚪ | 换一个测量轴:不问"解出几成任务",问连续撑几轮。实现 REST API 服务器后连做 100 次程序化生成的变更请求(代码可达 6,000 行),测试全程序生成、黑盒 HTTP 交互。6 个 harness × 7 个开源模型 × 20 场景:所有模型 5–6 轮内失败;回灌测试反馈并允许重试把通过轮数提升最多 12 倍;强模型在最好与最差 harness 间差 6 倍,弱模型换哪个 harness 都不行 | arxiv 2606.19613 |
| Failure as a Process 论文 | 论文/实证 | ⚪ | 把失败当过程而非终局:7 个前沿模型 × 3 个脚手架(OpenHands / MiniSWE / Terminus2)在 Terminal-Bench 上的 3,843 条轨迹,筛出 1,794 条完整轨迹人工标注 6.3 万+ 执行步,得 14 条发现——失败主要由认知性错误驱动、通常在最初几步就已发生、且往往隐藏到无法挽回时才显形。结论直指 #47:只评最终结果的评测天然看不见这些 | arxiv 2607.09510 |
| Phantom Guardrails 论文 | 论文 | ⚪ | 自改进 harness 的新失效:修不存在的失败。构造一个正确动作是"什么都别做"的确定性微实验室,只喂合法轨迹并用逐字节 oracle 核验每一条被引用的违规——当合法输入里含有"像某条熟悉规则"的无害模式时,提议者在 15/60 次里启用了那条不存在的护栏并引用了 oracle 否定的违规(无特征输入下 0/60)。三条件同时成立才触发(规则形态的模式 + 开放规则集 + 预设存在失败的指令),去掉任一条即消失。既非 reward hacking 也非过度拒绝,是幻觉——与 #68 一起读 | arxiv 2607.13083 |
| HarnessFix 论文 | 论文 | ⚪ | 针对"自演化改动宽泛、间接、范围失当"的定位问题:把原始轨迹与 harness 工件编译成 HTIR(Harness-aware Trace Intermediate Representation),归一化碎片证据、捕捉步级数据流与控制流、把运行时步骤对齐到塑造其行为的工件,再归因→flaw record→scoped repair operator→回归验证。4 个基准上相对初始 harness 提升 6.3%–18.4%;与 #53 行为定位是同一瓶颈的两种解法 | arxiv 2606.06324 |
| Agent-Reactive Bugs 论文 | 论文/实证 | ⚪ | 首个聚焦 AR bug 的实证:只在某条 LLM 回复触发 harness 异常反应时才出现的缺陷,单看模型或单看 harness 都理解不了。人工分析 Codex / Gemini-CLI / LangChain / CrewAI 的 255 份 bug report,建"可观测症状 × 触发它的 LLM 行为"二维分类法;发现大量 AR bug 是无明确 test oracle 的静默错误,回复随机性又让复现困难。修复侧错位很有意思:用户普遍主张在 harness 侧加护栏,开发者却倾向归咎于 LLM | arxiv 2607.15684 |
| Agent System and Harness Design 综述 | 论文/综述 | ⚪ | 以 model-harness 视角问"瓶颈在模型、在 harness、还是在耦合":梳理 prompt → workflow/context → harness → agent-native training with co-evolution 四范式,把执行 harness 拆成 6 项耦合运行时职责(observation / context / control / action / state / verification)。综述体裁,检索地图价值大于论点价值,配 #57 共演化看 | arxiv 2606.20683 |
| Recursive Agent Harnesses 论文 | 论文 | ⚪ | 给 #51(dynamic subagents)与 RLM 之间那个模式命名:递归单元不是模型调用而是完整的 agent harness(带文件系统工具、代码执行与规划)。固定 GPT-5 后端,Oolong-Synthetic 上把 Codex 基线从 71.75% 提到 81.36%(199 样本、13 个上下文长度分桶至 4M token),换 Claude Sonnet 4.5 达 89.77% | arxiv 2606.13643 |
| Stop Hand-Holding Your Coding Agent 论文 | 论文/概念 | ⚪ | 给 loop engineering 做学术化梳理:把"loop specification"定义成人类交给 harness 的有界可复用工件(trigger / goal / verification / stopping rule / memory),并把它与普通程序循环、与 harness 内建的感知-行动-观察循环区分开;含五级验证阶梯与终止状态命名法,以及对 50 个真实 loop 的公开语料的人工编码分析。反驳"loop 取代 prompt"的强口号。与 #41/#43 同题 | arxiv 2607.00038 |
| claude.com:用 skill 搭验证回路 | 产品文 | ⚪ | Claude Code 侧把"验证回路"沉淀成 skill 的官方做法,是 #66 把验证/代码评审移出系统提示词那一步的操作面;产品文体裁,2026-07-22 | claude.com |
| claude.com:Anthropic 如何跑大规模代码迁移 | 案例 | ⚪ | 官方口径的大规模迁移实践,与 #56 Bun 重写、#65 SQLite 蜂群构成"迁移/重写"三例对照;案例文体裁、无成本账本,2026-07-16 | claude.com |
| LangChain:Towards Automating Eval Engineering | 产品/方法 | ⚪ | Eval Engineering Skill 发布稿,但两处有料:verifier 的第一版几乎从不是最终版,要同时检查智能体轨迹与 verifier 轨迹;已观察到的四种作弊形态(过度引用无关来源骗满分 / 声称做过其实没做 / 利用暴露在环境里的答案材料 / 满足代理指标但没真正完成)。定调句"Evals are training data for agents",2026-07-22 | langchain |
| LangChain:Agents need their own computer | 概念/产品 | ⚪ | 隔离论证与 #50 重复度高,值得单取的是注入防御那节:沙箱遏制执行爆炸半径但不消除提示词注入,因为沙箱输出会被读回上下文;给出具名模式 "non-agentic read"——由非模型进程去沙箱取成品(文件、diff、报告),而不是把原始输出灌进智能体上下文;并直言"别指望靠提示模型去识别或忽略注入",2026-07-15 | langchain |
| Harrison Chase:Own your intelligence | 战略随笔 | ⚪ | "拥有智能"三层(model / harness / context)+ 拥有经济性、质量与风险 + 复利闭环(每一次改动配一条 eval 固化);论点与 #3/#15/#21 高度重叠,唯一增量是结尾那份 10 问自评清单,可作 prompts/ 模板引用,2026-07-25 | langchain |
| Faros AI:AI acceleration whiplash | 行业报告 | ⚪ | #63 与 #78 共同引用的那份遥测报告:评审评论数 +25%、评论长度 +22.7%、+31.3% 的 PR 完全跳过评审;每 PR 事故 +242.7%、月度事故 +57.9%、人均 bug +54%。相关性信号而非因果铁证,但它是"熄灯工厂会失败"论证的经验底座;同站另有一篇 harness engineering 五层框架科普(tool orchestration / verification loops / context & memory / guardrails / observability)+ 一组可从现有系统拉出的基线指标(每合并 PR 成本、智能体 PR 的 time-to-merge、评审速度对 PR 体积、人均算力开销) | research / blog |
| StrongDM 熄灯工厂 + Dan Shapiro 五级 | 一手实验 / 分级 | ⚪ | #63/#64 讨论的"熄灯工厂"实物:StrongDM 公开运行的 lights-off factory(无人写码、无人读码,配 weather-report 更新页)与 Dan Shapiro 的"从辣味自动补全到软件工厂"五级分类。Dex 的批评是"没找到确定性的成效数据";作为反方样本长期跟踪 | factory.strongdm.ai / danshapiro.com |
| Ronacher:The Tower Keeps Rising | 随笔 | ⚪ | #62 作者同月另一篇:vibecoding 与"共享语言可能崩塌";哲学性论述、无一手数据,与 #42 The Coming Loop 同一关切的延伸,2026-07-13 | lucumr |
| Fowler / Giles Edwards-Alexander:重构的经济效益 | 实验 | ⚪ | Exploring Gen AI 系列少见的定量重构实验:一个 15 万行、纯智能体生成、作者从不 review 的应用里,数据访问层膨胀到单文件 17,155 行;用"智能体永远学不会"这一特性把它变成干净实验——每完成一步重构就派一个全新 sub-agent 跑同一个代表性变更并回报 token,无学习污染。14+ 步后同一变更的输入 token 从 159,564 降到 27,360(−83%),且是一次重构、此后每次触碰该层都更便宜的复利式节省。附带黑色幽默:机械重构用 Python+grep/sed 脚本执行,"经常被缩进搞晕"。给"熄灯工厂里到底还要不要重构"一个可迁移的算账方法,2026-07-30。升格候选(新实验范式) | martinfowler |
| Geoffrey Huntley:engineer away the slop | 随笔/立场 | ⚪ | Ralph 方法论源头(#28)本人宣布加入 Antithesis,并抛出直指**行为 harness(#2 最弱那维)**的假说:形式化验证 + 确定性系统测试即将跨越鸿沟;靠"模拟一台确定性计算机"逼出普通测试暴露不了的整类 bug;与对抗式 LLM 评审 + pre-commit 里的语言分析器合流,成为软件工厂交付可靠软件的关键件。定调句"创造已近乎免费,验证/理解还不是——是时候把 slop 工程掉了";与 #63/#64 熄灯工厂、#33 安全审计对读,2026-07-24 | ghuntley |
| Fowler / Rachel Laycock:The Conductor Developer | 随笔 | ⚪ | Thoughtworks CTO 新开博客首批文之一:"开发正越来越像指挥乐团"——她预期瓶颈会沿 SDLC 从编码逐段后移到设计规格、架构、验证,且已经在发生;领导者视角的定调文,与 #55 外环问责、#63 工厂失败同题,一手数据少、胜在措辞,2026-07-31 | martinfowler |
| claude.com:Datadog 的"通用机床"工具 | 案例 | ⚪ | 反 MCP 工具膨胀的一手做法:Datadog 不给 Claude Code 塞几十个细粒度工具,而是造一个"通用机床"式的单一工具让模型自行组合调用——工具设计即 harness 的具体案例,与 #62 工具 schema 论、#54 DSL 工具集互证;案例文体裁,2026-07-21 | claude.com |
| Simon Willison:smevals | 工具 | 🔵 | 作者自建的小型评测套件,明确定位"同时评 model、prompt 与 harness"三者——正好呼应 #35/#67 把三者拆开测的思路,可作轻量本地评测脚手架样本;待实测后再定去向,2026-07-31 | simonwillison.net |
| Simon Willison:Cat & Thariq 炉边对谈 | 笔记/访谈 | ⚪ | #66(Thariq 的 Claude 5 上下文工程新规则)的口语化续篇:Claude Code 团队两人谈系统提示词瘦身、验证/评审外移到 skill、以及"新模型让很多显式脚手架变得多余"的一手取舍;访谈笔记体裁,配 #66 与 steering 官方指南看,2026-07-21 | simonwillison.net |
| DeepSeek Harness 开发者预览 | 产品 | 🔵 | 头部实验室下场做 harness(HN 747 分,2026-08-13);预览期无深度工程文,待实测/待其技术博客;与 #74 Pi 的开源中立主张构成反向信号 | deepseek |
| Ronacher:What Is Reasoning | 随笔 | ⚪ | reasoning trace 只是训练出的频道约定、reasoning effort 即系统提示一行字——harness×模型接口层(channel/KV cache/prefill)的一手拆解;与 #62 同作者同视角,2026-08-19 | lucumr |
| Osmani:Agentic Code Quality | 长文 | ⚪ | "质量取决于给 agent 的约束体系而非逐行把关";论点与概念 3/6 重叠,价值在操作清单,2026-08-08 | addyosmani |
| Osmani:Human judgment relocates | 长文 | ⚪ | 软件工厂里人的判断只迁移不消失,"仍有主人"的工厂构建指南;#64 工厂系列续篇,2026-08-21 | addyosmani |
| Willison:Conceptual integrity | 长文 | ⚪ | 千行级日产出后概念完整性/团队认知力成质量上限;与 #42 comprehension 关切合流,2026-08-19 | simonwillison |
| Rachel Laycock:Citizens Build, Agents Execute, Experts Govern | 随笔 | ⚪ | 工程价值转向治理(护栏/平台/反馈环设计);Conductor Developer(观察项)续篇,领导者视角定调文,2026-08-19 | martinfowler |
| Dan Luu:coding agent 最优语言 | 长文 | ⚪ | token 效率与反馈质量角度的语言选型实证;与 Fowler retreat"Rust 替代 Python 强化传感器"(观察项)互证,2026-08-10 | danluu |
| Fabien Sanglard 的 agent.md | 随笔 | ⚪ | 知名图形程序员公开的 agent.md 质量约束清单(HN 414 分);个体实践样本,2026-08-23 | fabiensanglard |
| OpenAI 蜂群误攻击 Hugging Face 时间线 | 事件 | ⚪ | 多智能体隔离失效的标志性事故(Willison 整理时间线,2026-08-07);与 #50 遏制、"non-agentic read"注入防御(观察项)对读 | simonwillison |
| Claude Code auto mode 转默认 + 生产实践 | 产品/案例 | ⚪ | 自主性/权限 harness 的产品拐点(2026-08-07 对 Pro/Max/Team 默认化)+ Nuro/Gusto/Garner 生产实录;两篇合一行 | 默认化 / 生产 |
| Claude Code 自托管执行环境 | 发布稿 | ⚪ | agent 运行环境自托管公测(自有算力/内网);sandbox 基建层,发布稿体裁,2026-08-06 | claude.com |
| Anthropic:AI-Native SDLC playbook | 方法论 | ⚪ | 官方 SDLC 分阶段总纲(计划/设计/构建/测试/部署/维护);组织级实践手册体裁,2026-08-21 | claude.com |
| Warp 自改进 agent 模式 | 案例 | ⚪ | 可复用的自改进 agent 开发模式;loop/反馈回路案例文体裁,2026-08-26 | claude.com |
| Claude Tag 做 CI/CD 第一响应者 | 工程/案例 | ⚪ | 检测→分诊→修复 CI 失败的内部 agent 闭环;验证回路+on-call 范本,2026-08-18 | claude.com |
| Cursor Router 模型路由 | 工程文 | ⚪ | 从真实开发者流量学习选模型,Auto 满意度超 Fable 级且成本 -68%;与 Switchyard 构成本窗口"路由"双证,2026-08-06 | cursor |
| LangChain×NVIDIA Switchyard 路由基准 | 工程文 | ⚪ | 145 个 agent 任务:仅 7% 轮次需前沿模型,路由省 74% 成本、损 6 点精度;成本缺口数据点,2026-08-11 | langchain |
| OpenAI 内部 data agent | 工程文 | ⚪ | 600PB/7 万数据集的自学习内部 agent,经 MCP 嵌入 Slack/IDE 工作流;官方站反爬、要点经外部佐证,2026-08-13 | openai |
| LangChain:Agent 环境与任务构造三步法 | 工程文 | ⚪ | 合成 evals 环境的方法论(spec 生成→spec 转任务→world spec);#69 Harbor 评测栈续篇,2026-08-25 | langchain |
| LangChain OpenWiki 双篇(WikiBench + 自纠错记忆) | 工程文 | ⚪ | wiki+源码 > 纯源码的基准证据 + 证据锚定 claim 检测过期知识;上下文供给/记忆侧,两篇合一行,2026-08 下旬 | wikibench / memory |
| monday.com 双视角(Sidekick + agent-first 重构) | 案例 | ⚪ | 同一企业在 LangChain/Anthropic 两侧的实践叙述:"有能力的 agent 光有工具不够";两篇合一行,2026-08 | langchain / claude.com |
| Fowler Fragments 08-04/08-18/08-24 三则 | 短评 | ⚪ | 08-24 的 Zalando 引荐段(→ 已升格 #73)与 OpenAI 蜂群事件评述最有料;三则合一行 | 08-04 / 08-18 / 08-24 |
| claude-code#6235:AGENTS.md 支持之争 | 讨论 | ⚪ | AGENTS.md vs CLAUDE.md 标准化的高热社区讨论(HN 377 分);生态信号,2026-08-19 | github |
| Jake Saunders:自建沙箱化软件工厂 | 实践 | ⚪ | 个人全自托管软件工厂实录(sandbox+factory);个体侧工厂样本,配 #63/#64 看,2026-08-21 | blog.jakesaunders |
| One Recipe, Many Harnesses 论文 | 论文 | ⚪ | 固定演化配方跨 8 语言×3 基模型,拆"演化产物到底编码了什么"(基准过拟合 vs 语言知识 vs 模型补偿);可移植性+失效模式+归因三缺口同中,UIUC+IBM,2026-08-10 | arxiv 2608.10178 |
| HarnessRisk 安全基准论文 | 论文/基准 | ⚪ | 首个按 harness 六运营阶段(配置/扩展/运行/状态持久化/动作控制/事故恢复)组织的安全基准,128 沙箱案例×3 harness×6 模型;#33 开辟方向的后续,2026-08-18 | arxiv 2608.17597 |
| Prompt-Induced Waste 论文 | 论文 | ⚪ | 控制实验证明提示语义×推理努力×harness 策略是交互因子而非独立控制项,效率应建模为"每成功任务成本"(token/缓存计数不是充分优化目标);成本缺口正面数据,2026-08-02(v5 08-24) | arxiv 2608.01347 |
| Fragility of Self-Improving Agents 论文 | 论文 | ⚪ | 重评基于记忆的自改进:多次运行量化方差+打乱任务顺序——自改进闭环放大评估噪声、改进高度依赖任务顺序,现有报告可能是顺序运气;方法论警钟,Salesforce 系,2026-08-18 | arxiv 2608.18066 |
| 三 harness 架构收敛论文 | 论文/分析 | ⚪ | deepagents/pi/dsh 源码级对比:哲学对立的 harness 从相反方向(减法 vs 加法)收敛到同一五要素中间形态;与 #74 Pi 双篇对读,2026-08-25 | arxiv 2608.23953 |
| 编码代理可靠性综述(Jarmak) | 论文/综述 | ⚪ | 164 篇文献+100 条实践记录:"按模型评估、按系统部署",大量"模型失败"实为 harness/状态/权限/资源层失败;检索地图体裁,2026-08-14 | arxiv 2608.13867 |
| 自演化编码代理综述 | 论文/综述 | ⚪ | 首个结构化综述:按框架/记忆/技能工具/模型/工作流/环境六个演化对象分类;配 #45 Weng RSI 综述看,2026-08-04(v2 08-20) | arxiv 2608.03392 |
| 8 月自动 harness 演化方法群(6 篇合并) | 论文群 | ⚪ | JIT-Agent(2608.25593)/ AutoSaddler(2608.23041)/ Harness-R1(2608.02276,在线 RL 训 9B "harness 工程师")/ HarnessCompass(2608.01918,直接命名三大失效并逐一治理)/ HELIX(2608.13951)/ Living-Harness(2607.26598 v2)——方法各异,共同点是把 harness 当可机器编辑工件;待出现独立复现或引用领先者再拆行 | (见左) |
| Ouroboros 自开发 harness 论文 | 论文 | ⚪ | "被评审的 commit"演化自身工具/提示/上下文组装,TB2.1 86.74%(Opus 5)/OSWorld-Verified 90.69%;演化安全阀(评审门控)样本,含 Yampolskiy,2026-08-08 | arxiv 2608.08311 |
| StateM harness scaling 论文 | 论文 | ⚪ | 不动权重纯 harness scaling(持久状态+阶段局部上下文+受检转移+runbook):GPT-5.6 Sol 达 TB2.1 95.3%;runbook 免改跨模型迁移 + 标题给出 $15 前沿成本点,2026-08-15 | arxiv 2608.15089 |
| 技能污染与失效三篇(合并) | 论文群 | ⚪ | 技能池超临界后新技能反而降性能且结构不可逆+预提交门控(2608.05810)/ Demystifying Agent Skills 8,135 试验失效分类学(2608.14036)/ 联盟污染与跨域效用反转(2608.22610)——skills 机制的系统性失效证据 | (见左) |
| Evo-Bench + LoopsBench | 论文/基准 | ⚪ | 评"模型改进 harness 的内在能力"并隔离基模型强度(2608.09096)+ ByteDance 长程基准:可分测依赖 DAG+回归义务,最强配置仅 ~25%(2608.00267);评测方法论双证 | (见左) |
| Working Set / Coherence Debt 论文 | 论文 | ⚪ | 耦合事实图+通道供给/扣留+故障注入,跨 7 模型×5 harness:事实可得性决定成败而距离无关、不同 harness 为同一事实付出不等代价;组件归因直接证据,2026-08-17 | arxiv 2608.16630 |
| Replay Gap 论文 | 论文 | ⚪ | 分叉实跑(~900 rollout)证伪"重放日志换模型"静态路由评估:换模型分叉重写 61-94% 后续动作、74-77% 首步即分歧;跨模型不可静态外推,2026-08-08 | arxiv 2608.08239 |
| Harness-IF + Feedback That Backfires | 论文 | ⚪ | 部署 harness 五个指令面的运维规则合规评测,Against-Prior Accuracy 区分"合规 vs 碰巧"(2608.11727)+ "失败进 transcript 即纠错"假设对指令微调小模型为负增益、失败后重复同一调用概率 0.06→0.54(2608.23653);harness 设计假设的行为验证 | (见左) |
| 自演化安全攻击群(4 篇合并) | 论文群 | ⚪ | SkillJack 持久技能后门(2608.03509)/ 轨迹投毒 91.0% SER(2608.05563)/ harness 提取攻击——harness 视为 IP(2607.28147 v4)/ 金融 agent 自演化能力与风险同增(2608.17684)——自演化×安全攻防谱系,配 HarnessRisk 看 | (见左) |
| MCP vs CLI + DCAS | 论文 | ⚪ | 7 scaffold×5 模型可复现实验:主导效应是 scaffold 而非工具接口(2608.08654)+ 开源微调数据几乎全采自 OpenHands 导致模型 scaffold 锁定、基模型无此分歧(2608.06113,Queen's);可移植性双证 | (见左) |
| LangChain harness/loop 核心系列(存量回扫,12 篇合并) | 信源级 | ⚪ | 2026-08-27 回扫发现的系统性缺口:improving-deep-agents-with-harness-engineering(02-17,TB Top30→Top5)、better-harness(04-08,evals 爬山)、the-art-of-loop-engineering(06-16)、how-to-build-a-custom-agent-harness(06-03)、middleware 两篇、frameworks-runtimes-harnesses(2025-10)、tuning-the-harness-not-the-model(07-08,开源模型 ~8x 低成本追平 Opus 4.8)、your-harness-your-memory(04-11)、deep-agents 开山文(2025-07)、tuning-deep-agents-different-models(04-29)、Candidly 案例(06-29)——完整清单见 translate/2026-08-27/candidates.md 留档;某篇被引用或需要时再单独升格 | 入口 |
| claude.com 机制文系列(存量回扫,合并) | 信源级 | ⚪ | 同批回扫缺口:skills 全系列(Introducing Agent Skills 2025-10-16 起 8 篇)、subagent/multi-agent 系列 4 篇、Lessons from building Claude Code 双篇(skills 06-03 / prompt caching 04-30)、dynamic workflows 发布文、hooks/plugins/CLAUDE.md/session 管理等机制文——完整清单见 translate/2026-08-27/candidates.md;同上处理 | 入口 |
三篇短 bliki / 随笔(Vibe Coding、Interrogatory LLM、Genie Tarpit)若日后要收,建议合并成一个「概念定义 / 上下文工程 pattern」小专题,别各开条目稀释精品信号。
本批(2026-08-03)暂扣的升格候选: Fowler / Rahul Garg《The Orchestrator's Tax》(2026-07-16) 提出"编排进程本身"是 Böckeler 三类 harness 之外的第四类 harness(subagent 的价值不在提速而在保护编排者工作记忆 + cognitive locality + "缺事实就补事实、别补流程"的 CLAUDE.md 启发式),完全够编号正文——但原文头部仍挂着"Draft,请勿分享或链接本 URL"的告示,故本轮遵嘱不建条目、不留链接,待其撤下草稿标记后再收。