# 可扩展监督与弱到强泛化

> Burns et al.（OpenAI Superalignment, "Weak-to-Strong Generalization", 2023）为超对齐问题提了一个代理：用一个较弱模型产出的标签去微调一个强模型。如果强模型能从不完美的弱监督里正确泛化，那么当前人类尺度的对齐方法或许能延伸到超人系统。可扩展监督与 W2SG 是互补的。可扩展监督（辩论、递归奖励建模、任务分解）提升监督者的有效能力，让它跟得上被监督的模型。W2SG 则确保强模型能从监督者提供的任何不完美监督里正确泛化。Debate Helps W2SG（arXiv:2501.13124, 2025 年 1 月）把两者结合起来。

**类型：** Learn
**语言：** Python（标准库，W2SG 缺口模拟器）
**前置要求：** 阶段 18 · 01（遵循指令）、阶段 18 · 10（AI 控制）、阶段 09（RL 基础）
**预计时间：** ~60 分钟

## 学习目标

- 定义可扩展监督和弱到强泛化，并解释它们如何互补。
- 描述 Burns et al. 2023 的实验设置：用 GPT-2 的标签微调 GPT-4。
- 解释「恢复的性能缺口」（PGR）指标，以及它测量什么。
- 说出三种主要的可扩展监督机制（辩论、递归奖励建模、任务分解），以及各自的一个优势。

## 问题背景

到目前为止，阶段 18 里每一种对齐技术都假设监督者能评估模型的行为。当模型是超人时，监督者就是那根薄弱环节。超对齐问题：一个较弱的监督者能否可靠地产出一个更强、且对齐的模型？

Burns et al. 把它化简成一个操作化的实证设置：用弱监督强，测量强模型有多少能力挺过了弱监督。这不是超对齐的解——它是一个让我们能测量进展的代理。

## 核心概念

### W2SG：Burns et al. 的设置

- 弱模型：GPT-2 级。
- 强模型：GPT-4 级。
- 目标：强 GPT-4 在该任务上的上限。

流程：
1. 拿到弱模型在某任务上的零样本预测。
2. 在弱标注数据上微调强模型。
3. 测量微调后的强模型的准确率。

基线：弱模型自己的准确率、强模型在金标准标签上的监督上限。

缺口指标：恢复的性能缺口（PGR）= (微调后 - 弱) / (上限 - 弱)。PGR 为 1.0 意味着弱监督完全弥合了缺口；PGR 为 0 意味着弱监督没帮上忙。

### Burns et al. 的实证发现

在 NLP、国际象棋谜题、奖励建模任务上，PGR 一致为正：强模型泛化超出了弱监督者的错误。任务特定的 PGR 从约 20% 到约 80% 不等。强模型从不完美的标签里「理解」了预期任务，并用它的预训练先验来补全。

Burns et al. 指出的局限：
- 这里的弱到强缺口是能力，不是对齐。弱模型是对齐的；一个真正超人的模型可能被人类对齐、但能力缺口大得多。
- 强模型的泛化也许更多关乎任务先验，而非恢复 ground-truth 意图。
- 诱出强模型的潜在知识才是真正的问题；PGR 测的是一个特定的操作化。

### 可扩展监督：三种机制

- **辩论（Irving et al. 2018）。** 两个 U 实例各执一端；弱裁判裁决。假设是：找到一个有说服力的真答案，比找到一个有说服力的假答案更容易。2024-2025 的近期工作（Khan et al.、Michael et al.）表明辩论有时有帮助、有时没有，是否有帮助取决于任务结构。
- **递归奖励建模（Leike et al. 2018）。** U 帮人类训练用于 U+1 的奖励模型。监督者的有效能力随模型增长。
- **任务分解（Christiano, Shlegeris, Amodei 2018）。** 把一个困难任务递归地分解成人类能检查的子任务。假设可分解。

每种机制都对任务结构或中间组件的对齐做了某种假设。

### 为什么可扩展监督与 W2SG 互补

可扩展监督提升监督者有效信号的质量。
W2SG 则从监督者能提供的任何不完美信号里弥合缺口。

Lang et al. —— Debate Helps Weak-to-Strong Generalization（arXiv:2501.13124）把两者结合：一个辩论协议提供更好的弱标签，强模型在这些标签上训练。报告在 NLP 任务上有 PGR 收益。

### 组织层面的戏剧

OpenAI 的 Superalignment 团队在 2024 年 5 月、Jan Leike 离职去 Anthropic 后解散。那套议程（可扩展监督、W2SG、自动化对齐研究）在 Anthropic 和学术实验室里继续——MATS（第 28 课）、Redwood（第 10 课）、Apollo（第 8 课）、METR（第 28 课）。组织结构变了；研究问题没变。

### 这在阶段 18 里的位置

第 6-10 课在「U 不可信」的假设下描述威胁和防御范式。第 11 课是进攻范式：让监督者强到足以核验 U 的对齐。第 12-16 课随后转向对抗评估的实用工具。

```figure
scalable-oversight
```

## 实际使用

`code/main.py` 在一个合成任务上模拟 W2SG 微调。弱标注者有 70% 准确率、带结构化错误；强模型在金标准标签上有 95% 的上限。你在弱标签上微调强模型，测量 PGR，并与「强-在-金标准」和「单弱」对比。

## 拿去用

本课产出 `outputs/skill-w2sg-pgr.md`。给定一段监督设置描述，它识别出弱监督者、强模型、监督质量，并计算（或索取）PGR。它会标出宣称到底是「弱能监督强」还是「弱 + 监督机制能监督强」。

## 练习

1. 运行 `code/main.py`。报告 weak_accuracy = 0.60、0.70、0.80 时的 PGR。解释 PGR 曲线的形状。

2. 改弱标注者，让它有结构化错误（比如在某个特定输入类上总是错）。PGR 上升、下降还是不变？解释。

3. 读 Burns et al. 2023 第 4.3 节（NLP 任务）。复现「置信度辅助损失」的直觉：当强模型比弱标签更自信时，谁赢？

4. 为一个软件工程任务设计一个结合辩论和任务分解的可扩展监督协议。说出每个组件的一个失败模式，并解释这个组合如何处理或没能处理每一个。

5. 说清楚什么能证伪「弱到强泛化是通往超对齐的可行路径」这个宣称。具体说出你需要看到的实证签名。

## 关键术语

| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|------|-----------------|------------------------|
| 可扩展监督 | 「让监督者更强」 | 提升监督者评估「更有能力的模型」之能力的机制 |
| W2SG | 「弱监督强」 | 在弱标签上微调强模型并测量恢复的能力 |
| PGR | 「恢复的性能缺口」 | (微调后 - 弱) / (上限 - 弱)；1.0 = 完全弥合，0 = 没帮助 |
| 辩论 | 「两个 U 实例对辩」 | 一种可扩展监督机制，弱裁判在两个 U 辩手之间选择 |
| RRM | 「递归奖励建模」 | U 帮训练用于 U+1 的奖励模型；监督者能力跟随 U |
| 任务分解 | 「人类能检查的子任务」 | 把困难任务递归分解成人类能核验的子任务 |
| 超对齐 | 「对齐超人 AI」 | 关注「对齐人类无法直接评估的模型」的研究议程 |

## 延伸阅读

- [Burns et al. — Weak-to-Strong Generalization (OpenAI 2023)](https://openai.com/index/weak-to-strong-generalization/) —— W2SG 论文
- [Irving, Christiano, Amodei — AI safety via debate (arXiv:1805.00899)](https://arxiv.org/abs/1805.00899) —— 辩论机制
- [Leike et al. — Scalable agent alignment via reward modeling (arXiv:1811.07871)](https://arxiv.org/abs/1811.07871) —— 递归奖励建模
- [Khan et al. — Debating with More Persuasive LLMs Leads to More Truthful Answers (arXiv:2402.06782)](https://arxiv.org/abs/2402.06782) —— 2024 年用更强辩手做辩论的实证研究
- [Lang et al. — Debate Helps Weak-to-Strong Generalization (arXiv:2501.13124)](https://arxiv.org/abs/2501.13124) —— 2025 年辩论 + W2SG 的结合