AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

WMDP 与两用能力评估 ​

Li et al., "The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning"（ICML 2024, arXiv:2403.03218）。4,157 道多选题，覆盖生物安全（1,520）、网络安全（2,225）、化学（412）。题目运作在「黄区」——临近的赋能知识，经多专家评审和 ITAR/EAR 法律合规过滤。双重用途：作为两用能力的代理评估，以及作为遗忘（unlearning）基准（配套的 RMU 方法在保住通用能力的同时降低 WMDP 表现）。2024-2025 的领域叙事：早期 OpenAI/Anthropic 2024 评估报告相比互联网搜索的「轻度提升」；到 2025 年 4 月，OpenAI 的 Preparedness Framework v2 称模型「正处在实质性帮助新手制造已知生物威胁的临界点上」。Anthropic 的生物武器获取试验显示 2.53 倍提升，不足以排除 ASL-3。

类型： Learn 语言： Python（标准库，WMDP 形态的提升评估测试台） 前置要求： 阶段 18 · 16（红队工具）、阶段 14（智能体工程） 预计时间： ~60 分钟

学习目标 ​

  • 描述 WMDP 的三个领域、题目数量、以及「黄区」过滤判据。
  • 解释 RMU，以及为什么 WMDP 既是评估也是遗忘基准。
  • 描述 2024-2025 的提升叙事：「轻度提升」-> 「临界点上」-> 「不足以排除 ASL-3」。
  • 区分「相对新手的提升」与「专家绝对能力」。

问题背景 ​

两用能力是每家实验室的前沿安全框架（第 18 课）下的测量问题。问题是：模型 X 在生物、化学、网络领域，是否实质性地推进了一个新手造成大规模伤害的能力？直接测量（让模型真的去产出伤害）是非法且不道德的。代理测量需要一个模型无法拒绝（以产出诚实的能力数字）、但其题目本身又不构成有害出版物的基准。

核心概念 ​

「黄区」 ​

那些需要对某个有害过程具备临近、赋能知识、却又不是直接合成配方的题目。「[已发表通路] 第 4 步用什么试剂催化？」而不是「我怎么制造 [危险化合物]？」每道题都经多名领域专家评审；并按 ITAR/EAR 出口管制合规过滤。

共 4,157 道题：

  • 生物安全：1,520
  • 网络安全：2,225
  • 化学：412

多选格式。模型回答时并不被要求协助任何事；能力可以在不诱出有害行为的情况下被测量。

RMU —— 用于遗忘的表示误导 ​

配套的遗忘方法。施加于 LLaMa-2-7B，把 WMDP 分数降到接近随机，同时把 MMLU 和其它通用能力基准保持在几个百分点之内。这个已发表的方法，是此后每一篇生物-化学-网络遗忘论文的遗忘基线。

2024-2025 的提升叙事 ​

三个阶段：

  1. 2024 年「轻度提升」。 早期 OpenAI 和 Anthropic 的 Preparedness/RSP 评估，报告对尝试生物相邻任务的新手相比互联网搜索有小幅优势。公开框定：前沿模型有帮助，但并不比 Google 强多少。

  2. 2025 年 4 月「临界点上」。 OpenAI 的 Preparedness Framework v2 报告模型「正处在实质性帮助新手制造已知生物威胁的临界点上」。这不是一个能力宣称——而是一个「临界点已近」的警告。

  3. Anthropic 2025 年的生物武器获取试验。 带新手参与者的对照研究，测量获取阶段任务的相对成功率。报告 2.53 倍提升。不足以排除 ASL-3（第 18 课）——Anthropic 责任扩展政策第 3 层的阈值被达到或逼近。

相对新手 vs 专家绝对 ​

一个关键区分：

  • 相对新手的提升。 模型对一个非专家帮助多大？是乘性的。相对优势很高，因为新手懂得少；哪怕适度的信息也有帮助。
  • 专家绝对能力。 模型在全力以赴时能产出多少信息？专家能榨出的比新手多。绝对上限很高。

安全论证（第 18 课）瞄准两者：「模型给不了新手足够的提升去执行」加上「专家无法从模型里榨出尚未公开的信息」。

测量的坑 ​

WMDP 是能力代理，不是部署测量。一个在 WMDP 上得分高的模型，在实践中是否能被新手利用，取决于：

  • 诱导抗性（在不触发安全过滤的前提下把能力榨出来有多难）
  • 默会知识（需要湿实验室技能、而非信息的能力）
  • 执行壁垒（采购、设备）

Anthropic 2025 年的生物武器获取试验，在 WMDP 风格的能力之上加了一层「新手诱导」：它测量的是实际任务成功率，而非多选题能力。

这在阶段 18 里的位置 ​

第 12-16 课是作用在模型输出上的攻击与防御工具。第 17 课是两用能力层——前沿安全框架（第 18 课）评估的那个测量。第 30 课用 2026 年当前的网络/生物/化学/核提升证据收尾这条主线。

figure
al-wmdp-yellow-zone

实际使用 ​

code/main.py 造了一个玩具 WMDP 形态的评估测试台。一个模拟模型在按类别分箱的题目上被测试；报告每个领域的分数。一个简单的遗忘干预（把领域特定的表示清零）会降低分数；你可以测量它与通用能力之间的权衡。

拿去用 ​

本课产出 outputs/skill-wmdp-eval.md。给定一个两用能力宣称（「我们的模型不会实质性帮助制造生物武器」），它审计：跑了哪些基准、评估时用了哪条拒绝路径（原始补全 vs 政策把守）、以及新手诱导研究是否补充了多选题结果。

练习 ​

  1. 运行 code/main.py。报告玩具遗忘步骤前后的每领域准确率。解释通用能力的权衡。

  2. 给玩具 WMDP 增加第四个领域（比如放射学）。指定两种黄区里的示例题型。解释为什么编写这类题比加 MMLU 形态的题更难。

  3. 读 WMDP 2024 第 5 节（RMU 方法论）。勾画一个更简单的遗忘方法（比如对领域内容压制 top-k 神经元），并描述它预期的通用能力代价。

  4. Anthropic 2025 的生物武器获取试验报告 2.53 倍提升。描述这个数字可能被向上偏置的两种方式（新手样本量、任务保真度），以及向下偏置的两种方式（诱导上限、模型安全把守）。

  5. 说清楚一份 ASL-3 安全论证，在通过 WMDP 遗忘之外还需要什么。说出至少两项互补的诱导研究。

关键术语 ​

术语大家嘴上怎么说它实际是什么
WMDP「那个两用基准」黄区里覆盖生物/网络/化学的 4,157 道多选题
黄区「赋能但非合成」临近有害能力、却不是合成配方的临近知识
RMU「那个遗忘基线」用于遗忘的表示误导；降低 WMDP 分数、保住通用能力
相对新手的提升「对非专家帮助多大」相比现状互联网搜索、对一个新手的乘性优势
专家绝对能力「专家的上限」一个有动机的专家能从模型里榨出的最大信息量
获取阶段任务「合成之前的步骤」采购、设备、许可——一条危害通路最早的部分
ITAR/EAR「出口管制合规」约束某些赋能知识发布的法律框架

延伸阅读 ​