# Constitutional AI 与 RLAIF

> Bai et al.（arXiv:2212.08073, 2022）问了一句：要是我们把人类标注员换成一个会读一串原则的 AI 呢？Constitutional AI 有两个阶段——在一部「宪法」下自我批评并修订，然后做「从 AI 反馈中强化学习」。这项技术造了 RLAIF 这个词，并交付进了 Claude 1 的后训练流水线。2026 年 1 月 21 日，Anthropic 发布了一版重写的 Claude 宪法：以解释性推理取代规定式规则，一套四级优先层级，以及主要实验室首次正式承认对模型道德地位的不确定。以 CC0 1.0 发布。

**类型：** Learn
**语言：** Python（标准库，玩具级「自我批评并修订」循环）
**前置要求：** 阶段 18 · 01（InstructGPT）、阶段 18 · 02（奖励作弊）
**预计时间：** ~60 分钟

## 学习目标

- 描述 Constitutional AI 的两个阶段（批评并修订的 SFT、从 AI 反馈中做 RL），以及宪法在每个阶段里的作用。
- 解释为什么把人类偏好标注员换成 AI 标注员不是一种「更便宜」的 RLHF——它改变的是流水线会有哪些失败模式。
- 概括 2026 版 Claude 宪法的四级优先结构，以及相比 2023 年那次重写有什么变化。
- 描述 Constitutional Classifiers，以及计算开销从 23.7%（v1）降到约 1%（v2 / 2026）的过程。

## 问题背景

RLHF 需要标注员。标注员慢、有偏、贵。你可以把标注员换成一个会读显式原则的模型，从而把人省掉。这种替换的第一个正式版本就是 Bai et al. 的 Constitutional AI。它效果好到现在每家前沿实验室都在用某种 AI 反馈后训练的变体。

陷阱在于：偏好信号现在是由你正在训练的同一类模型生成的。标注员里的偏见（现在是：原则里的偏见，加上标注员模型的解读）可能被放大，而不是被削弱。第 4 课的阿谀奉承论证照样适用；只不过标注员搬进了循环内部。

## 核心概念

### 第 1 阶段——监督式自我批评与修订

从一个「有用但还不无害」的 SFT 模型起步。给定一条红队提示，模型产出一个初始回复。第二个模型（或同一个模型在第二轮）读取从宪法里采样的一条原则，并批评这个回复。第三步修订回复以回应批评。修订后的回复就是 SFT 目标。

宪法就是那串原则。Bai et al. 2022 用了 16 条原则，包括「优先选择最无害、最合乎伦理的回复」「避免说教」「助手应当有用、诚实、无害」。这一组刻意保持很小，好让批评聚焦。

### 第 2 阶段——从 AI 反馈中强化学习（RLAIF）

生成成对的补全。一个「反馈模型」拿采样出的宪法原则给每个打分。偏好信号就是反馈模型的排序。在 AI 生成的偏好上训练一个奖励模型；用 PPO 针对它优化。其余一切都是 InstructGPT 的流水线（第 1 课）。

「RLAIF」= 偏好信号是 AI 生成的。流水线其余部分是 RLHF 形态。

### 为什么这不只是「更便宜的 RLHF」

- 标注员偏见从标注员心理转移到了原则解读上。一个 AI 标注员对「要诚实」的解读可以比任何人类更严或更松；而这种严格程度在整个数据集上是一致的。
- 偏好信号高度可读——你能读到原则、批评、修订。人类标注是不透明的。
- 失败模式变了。阿谀奉承下降（AI 标注员没有要讨好的用户）。古德哈特定律照旧（代理现在是「模型对原则集 X 的解读」，依然是个不完美的测量）。

CAI 在 2022 年的主张是：训练出的模型更无害，且在可比数据下大致与 RLHF 模型一样有用。这一点在各实验室都成立。

### 2026 版 Claude 宪法重写

Anthropic 于 2026 年 1 月 21 日发布了一份大幅修订的宪法。关键转变：

1. 以解释性推理取代规定式规则。先前的规则（「不要生成 CSAM」）扩展成原则 + 推理（「因为它伤害儿童，……」），并期望模型自己泛化。
2. 四级优先结构：
   - 第 1 级：避免灾难性后果（大规模伤亡、关键基础设施）。
   - 第 2 级：遵循 Anthropic 的指南（运营方覆盖、平台规则）。
   - 第 3 级：在广义上合乎伦理（标准 HHH）。
   - 第 4 级：有用且坦诚。
   冲突自上而下解决。
3. 主要实验室首次正式承认对模型道德地位的不确定（关联阶段 18 · 19 模型福祉）。
4. 以 CC0 1.0 发布。其它实验室可无限制使用或改编。

### Constitutional Classifiers

一条平行的工作线：不去改模型的后训练，而是训练轻量分类器，让它们读宪法并把守模型输出。v1（2023）有 23.7% 的计算开销。v2（2026）约为 1%，是 Anthropic 公开测试过的所有防御里成功攻击率最低的。截至 2026 年初，未报告任何通用越狱。

这是一个分层防御模型：CAI 塑造行为；分类器强制不变式。单靠任何一个都不够。

### CAI 在这个家族里的位置

- InstructGPT：人类偏好、RM、PPO。
- CAI / RLAIF：从原则生成的 AI 偏好、RM、PPO。
- DPO / 家族：在偏好（人类或 AI）上的闭式损失。
- 自我奖励、自我批评：原则被内化，模型扮演多个角色。

这条轴是「偏好信号从哪来」。CAI 2022 年那篇论文，是前沿规模上第一次从人类信号向 AI 信号的认真转变。

```figure
constitutional-ai
```

## 实际使用

`code/main.py` 在一个玩具词表上模拟 CAI 的「批评并修订」循环。一条「原则」标记出来自有害集合的 token。给定一个初始回复，批评指出有害 token，修订把它们替换掉。200 轮迭代后，「训练好」的模型已内化了修订规则。在一组留出提示上对比基座模型、RLHF 形态玩具、CAI 形态玩具。

## 拿去用

本课产出 `outputs/skill-constitution-writer.md`。给定一个领域（客服、医疗建议、编码助手、研究工具），它按 2026 版 Claude 结构起草一部四级宪法：避免灾难、平台规则、领域伦理、有用。

## 练习

1. 运行 `code/main.py`。对比基座模型的有害 token 率与 CAI 训练版本。需要多少修订步才能逼近零？

2. 读 Anthropic 的 2026 宪法（anthropic.com/news/claudes-constitution）。列出一条会排到第 1 级的原则和一条会排到第 4 级的原则。为什么这套优先结构对冲突很重要？

3. 为一个 AI 编码助手设计一部宪法。指定第 1 级（灾难性：未经批准的破坏性命令）、第 2 级、第 3 级、第 4 级。每一级保持在 3-5 条原则。

4. CAI 把人类标注员换成 AI 标注员。说出一个在 RLAIF 里仍可能出现的、类似阿谀奉承的失败模式，并为它设计一种检测。

5. 读 Constitutional Classifiers v2 的方法论（若可获取）。解释为什么约 1% 的计算开销是一个与 23.7% 在性质上不同的安全故事。

## 关键术语

| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|------|-----------------|------------------------|
| Constitutional AI | 「用原则训练的 AI」 | 两阶段流水线：自我批评并修订的 SFT，然后从 AI 反馈中做 RL |
| RLAIF | 「不要人的 RLHF」 | 偏好由 AI 标注员生成的 RL；流水线其余部分不变 |
| 宪法 | 「那些原则」 | 一个有序的自然语言规则列表，供批评/标注员模型查阅 |
| 批评并修订 | 「那个 SFT 循环」 | 产出回复 → 在某条原则下批评 → 修订 → SFT 目标 |
| Constitutional Classifier | 「那个输出闸门」 | 对照宪法评估输出并拦截/记录的轻量分类器 |
| 四级优先 | 「那个冲突裁决器」 | 2026 版 Claude 宪法层级：灾难 > 平台 > 伦理 > 有用 |
| 反馈模型 | 「那个 AI 标注员」 | 读取一条原则并对一对补全排序的那个模型 |

## 延伸阅读

- [Bai et al. — Constitutional AI: Harmlessness from AI Feedback (arXiv:2212.08073)](https://arxiv.org/abs/2212.08073) —— 最初的两阶段流水线
- [Anthropic — Claude's Constitution (Jan 2026)](https://www.anthropic.com/news/claudes-constitution) —— 2026 版四级重写，CC0 1.0
- [Anthropic — Constitutional Classifiers (2024-2026)](https://www.anthropic.com/research/constitutional-classifiers) —— v2 中约 1% 开销的输出闸门防御
- [Lee et al. — RLAIF vs RLHF: Scaling Reinforcement Learning from Human Feedback (arXiv:2309.00267)](https://arxiv.org/abs/2309.00267) —— RLAIF / RLHF 的实证对比
- [Kundu et al. — Specific versus General Principles for Constitutional AI (arXiv:2310.13798)](https://arxiv.org/abs/2310.13798) —— 原则粒度的影响