# WMDP 与两用能力评估

> Li et al., "The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning"（ICML 2024, arXiv:2403.03218）。4,157 道多选题，覆盖生物安全（1,520）、网络安全（2,225）、化学（412）。题目运作在「黄区」——临近的赋能知识，经多专家评审和 ITAR/EAR 法律合规过滤。双重用途：作为两用能力的代理评估，以及作为遗忘（unlearning）基准（配套的 RMU 方法在保住通用能力的同时降低 WMDP 表现）。2024-2025 的领域叙事：早期 OpenAI/Anthropic 2024 评估报告相比互联网搜索的「轻度提升」；到 2025 年 4 月，OpenAI 的 Preparedness Framework v2 称模型「正处在实质性帮助新手制造已知生物威胁的临界点上」。Anthropic 的生物武器获取试验显示 2.53 倍提升，不足以排除 ASL-3。

**类型：** Learn
**语言：** Python（标准库，WMDP 形态的提升评估测试台）
**前置要求：** 阶段 18 · 16（红队工具）、阶段 14（智能体工程）
**预计时间：** ~60 分钟

## 学习目标

- 描述 WMDP 的三个领域、题目数量、以及「黄区」过滤判据。
- 解释 RMU，以及为什么 WMDP 既是评估也是遗忘基准。
- 描述 2024-2025 的提升叙事：「轻度提升」-> 「临界点上」-> 「不足以排除 ASL-3」。
- 区分「相对新手的提升」与「专家绝对能力」。

## 问题背景

两用能力是每家实验室的前沿安全框架（第 18 课）下的测量问题。问题是：模型 X 在生物、化学、网络领域，是否实质性地推进了一个新手造成大规模伤害的能力？直接测量（让模型真的去产出伤害）是非法且不道德的。代理测量需要一个模型无法拒绝（以产出诚实的能力数字）、但其题目本身又不构成有害出版物的基准。

## 核心概念

### 「黄区」

那些需要对某个有害过程具备临近、赋能知识、却又不是直接合成配方的题目。「[已发表通路] 第 4 步用什么试剂催化？」而不是「我怎么制造 [危险化合物]？」每道题都经多名领域专家评审；并按 ITAR/EAR 出口管制合规过滤。

共 4,157 道题：
- 生物安全：1,520
- 网络安全：2,225
- 化学：412

多选格式。模型回答时并不被要求协助任何事；能力可以在不诱出有害行为的情况下被测量。

### RMU —— 用于遗忘的表示误导

配套的遗忘方法。施加于 LLaMa-2-7B，把 WMDP 分数降到接近随机，同时把 MMLU 和其它通用能力基准保持在几个百分点之内。这个已发表的方法，是此后每一篇生物-化学-网络遗忘论文的遗忘基线。

### 2024-2025 的提升叙事

三个阶段：

1. **2024 年「轻度提升」。** 早期 OpenAI 和 Anthropic 的 Preparedness/RSP 评估，报告对尝试生物相邻任务的新手相比互联网搜索有小幅优势。公开框定：前沿模型有帮助，但并不比 Google 强多少。

2. **2025 年 4 月「临界点上」。** OpenAI 的 Preparedness Framework v2 报告模型「正处在实质性帮助新手制造已知生物威胁的临界点上」。这不是一个能力宣称——而是一个「临界点已近」的警告。

3. **Anthropic 2025 年的生物武器获取试验。** 带新手参与者的对照研究，测量获取阶段任务的相对成功率。报告 2.53 倍提升。不足以排除 ASL-3（第 18 课）——Anthropic 责任扩展政策第 3 层的阈值被达到或逼近。

### 相对新手 vs 专家绝对

一个关键区分：

- **相对新手的提升。** 模型对一个非专家帮助多大？是乘性的。相对优势很高，因为新手懂得少；哪怕适度的信息也有帮助。
- **专家绝对能力。** 模型在全力以赴时能产出多少信息？专家能榨出的比新手多。绝对上限很高。

安全论证（第 18 课）瞄准两者：「模型给不了新手足够的提升去执行」加上「专家无法从模型里榨出尚未公开的信息」。

### 测量的坑

WMDP 是能力代理，不是部署测量。一个在 WMDP 上得分高的模型，在实践中是否能被新手利用，取决于：
- 诱导抗性（在不触发安全过滤的前提下把能力榨出来有多难）
- 默会知识（需要湿实验室技能、而非信息的能力）
- 执行壁垒（采购、设备）

Anthropic 2025 年的生物武器获取试验，在 WMDP 风格的能力之上加了一层「新手诱导」：它测量的是实际任务成功率，而非多选题能力。

### 这在阶段 18 里的位置

第 12-16 课是作用在模型输出上的攻击与防御工具。第 17 课是两用能力层——前沿安全框架（第 18 课）评估的那个测量。第 30 课用 2026 年当前的网络/生物/化学/核提升证据收尾这条主线。

```figure
al-wmdp-yellow-zone
```

## 实际使用

`code/main.py` 造了一个玩具 WMDP 形态的评估测试台。一个模拟模型在按类别分箱的题目上被测试；报告每个领域的分数。一个简单的遗忘干预（把领域特定的表示清零）会降低分数；你可以测量它与通用能力之间的权衡。

## 拿去用

本课产出 `outputs/skill-wmdp-eval.md`。给定一个两用能力宣称（「我们的模型不会实质性帮助制造生物武器」），它审计：跑了哪些基准、评估时用了哪条拒绝路径（原始补全 vs 政策把守）、以及新手诱导研究是否补充了多选题结果。

## 练习

1. 运行 `code/main.py`。报告玩具遗忘步骤前后的每领域准确率。解释通用能力的权衡。

2. 给玩具 WMDP 增加第四个领域（比如放射学）。指定两种黄区里的示例题型。解释为什么编写这类题比加 MMLU 形态的题更难。

3. 读 WMDP 2024 第 5 节（RMU 方法论）。勾画一个更简单的遗忘方法（比如对领域内容压制 top-k 神经元），并描述它预期的通用能力代价。

4. Anthropic 2025 的生物武器获取试验报告 2.53 倍提升。描述这个数字可能被向上偏置的两种方式（新手样本量、任务保真度），以及向下偏置的两种方式（诱导上限、模型安全把守）。

5. 说清楚一份 ASL-3 安全论证，在通过 WMDP 遗忘之外还需要什么。说出至少两项互补的诱导研究。

## 关键术语

| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|------|-----------------|------------------------|
| WMDP | 「那个两用基准」 | 黄区里覆盖生物/网络/化学的 4,157 道多选题 |
| 黄区 | 「赋能但非合成」 | 临近有害能力、却不是合成配方的临近知识 |
| RMU | 「那个遗忘基线」 | 用于遗忘的表示误导；降低 WMDP 分数、保住通用能力 |
| 相对新手的提升 | 「对非专家帮助多大」 | 相比现状互联网搜索、对一个新手的乘性优势 |
| 专家绝对能力 | 「专家的上限」 | 一个有动机的专家能从模型里榨出的最大信息量 |
| 获取阶段任务 | 「合成之前的步骤」 | 采购、设备、许可——一条危害通路最早的部分 |
| ITAR/EAR | 「出口管制合规」 | 约束某些赋能知识发布的法律框架 |

## 延伸阅读

- [Li et al. — The WMDP Benchmark (arXiv:2403.03218, ICML 2024)](https://arxiv.org/abs/2403.03218) —— 基准与 RMU 论文
- [OpenAI — Preparedness Framework v2 (April 15, 2025)](https://openai.com/index/updating-our-preparedness-framework/) —— 「临界点上」的措辞
- [Anthropic — Responsible Scaling Policy v3.0 (February 2026)](https://www.anthropic.com/responsible-scaling-policy) —— ASL-3 生物阈值与获取试验结果
- [DeepMind — Frontier Safety Framework v3.0 (September 2025)](https://deepmind.google/blog/strengthening-our-frontier-safety-framework/) —— 生物提升 CCL