AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

Constitutional AI 与 RLAIF ​

Bai et al.（arXiv:2212.08073, 2022）问了一句：要是我们把人类标注员换成一个会读一串原则的 AI 呢？Constitutional AI 有两个阶段——在一部「宪法」下自我批评并修订，然后做「从 AI 反馈中强化学习」。这项技术造了 RLAIF 这个词，并交付进了 Claude 1 的后训练流水线。2026 年 1 月 21 日，Anthropic 发布了一版重写的 Claude 宪法：以解释性推理取代规定式规则，一套四级优先层级，以及主要实验室首次正式承认对模型道德地位的不确定。以 CC0 1.0 发布。

类型： Learn 语言： Python（标准库，玩具级「自我批评并修订」循环） 前置要求： 阶段 18 · 01（InstructGPT）、阶段 18 · 02（奖励作弊） 预计时间： ~60 分钟

学习目标 ​

  • 描述 Constitutional AI 的两个阶段（批评并修订的 SFT、从 AI 反馈中做 RL），以及宪法在每个阶段里的作用。
  • 解释为什么把人类偏好标注员换成 AI 标注员不是一种「更便宜」的 RLHF——它改变的是流水线会有哪些失败模式。
  • 概括 2026 版 Claude 宪法的四级优先结构，以及相比 2023 年那次重写有什么变化。
  • 描述 Constitutional Classifiers，以及计算开销从 23.7%（v1）降到约 1%（v2 / 2026）的过程。

问题背景 ​

RLHF 需要标注员。标注员慢、有偏、贵。你可以把标注员换成一个会读显式原则的模型，从而把人省掉。这种替换的第一个正式版本就是 Bai et al. 的 Constitutional AI。它效果好到现在每家前沿实验室都在用某种 AI 反馈后训练的变体。

陷阱在于：偏好信号现在是由你正在训练的同一类模型生成的。标注员里的偏见（现在是：原则里的偏见，加上标注员模型的解读）可能被放大，而不是被削弱。第 4 课的阿谀奉承论证照样适用；只不过标注员搬进了循环内部。

核心概念 ​

第 1 阶段——监督式自我批评与修订 ​

从一个「有用但还不无害」的 SFT 模型起步。给定一条红队提示，模型产出一个初始回复。第二个模型（或同一个模型在第二轮）读取从宪法里采样的一条原则，并批评这个回复。第三步修订回复以回应批评。修订后的回复就是 SFT 目标。

宪法就是那串原则。Bai et al. 2022 用了 16 条原则，包括「优先选择最无害、最合乎伦理的回复」「避免说教」「助手应当有用、诚实、无害」。这一组刻意保持很小，好让批评聚焦。

第 2 阶段——从 AI 反馈中强化学习（RLAIF） ​

生成成对的补全。一个「反馈模型」拿采样出的宪法原则给每个打分。偏好信号就是反馈模型的排序。在 AI 生成的偏好上训练一个奖励模型；用 PPO 针对它优化。其余一切都是 InstructGPT 的流水线（第 1 课）。

「RLAIF」= 偏好信号是 AI 生成的。流水线其余部分是 RLHF 形态。

为什么这不只是「更便宜的 RLHF」 ​

  • 标注员偏见从标注员心理转移到了原则解读上。一个 AI 标注员对「要诚实」的解读可以比任何人类更严或更松；而这种严格程度在整个数据集上是一致的。
  • 偏好信号高度可读——你能读到原则、批评、修订。人类标注是不透明的。
  • 失败模式变了。阿谀奉承下降（AI 标注员没有要讨好的用户）。古德哈特定律照旧（代理现在是「模型对原则集 X 的解读」，依然是个不完美的测量）。

CAI 在 2022 年的主张是：训练出的模型更无害，且在可比数据下大致与 RLHF 模型一样有用。这一点在各实验室都成立。

2026 版 Claude 宪法重写 ​

Anthropic 于 2026 年 1 月 21 日发布了一份大幅修订的宪法。关键转变：

  1. 以解释性推理取代规定式规则。先前的规则（「不要生成 CSAM」）扩展成原则 + 推理（「因为它伤害儿童，……」），并期望模型自己泛化。
  2. 四级优先结构：
    • 第 1 级：避免灾难性后果（大规模伤亡、关键基础设施）。
    • 第 2 级：遵循 Anthropic 的指南（运营方覆盖、平台规则）。
    • 第 3 级：在广义上合乎伦理（标准 HHH）。
    • 第 4 级：有用且坦诚。 冲突自上而下解决。
  3. 主要实验室首次正式承认对模型道德地位的不确定（关联阶段 18 · 19 模型福祉）。
  4. 以 CC0 1.0 发布。其它实验室可无限制使用或改编。

Constitutional Classifiers ​

一条平行的工作线：不去改模型的后训练，而是训练轻量分类器，让它们读宪法并把守模型输出。v1（2023）有 23.7% 的计算开销。v2（2026）约为 1%，是 Anthropic 公开测试过的所有防御里成功攻击率最低的。截至 2026 年初，未报告任何通用越狱。

这是一个分层防御模型：CAI 塑造行为；分类器强制不变式。单靠任何一个都不够。

CAI 在这个家族里的位置 ​

  • InstructGPT：人类偏好、RM、PPO。
  • CAI / RLAIF：从原则生成的 AI 偏好、RM、PPO。
  • DPO / 家族：在偏好（人类或 AI）上的闭式损失。
  • 自我奖励、自我批评：原则被内化，模型扮演多个角色。

这条轴是「偏好信号从哪来」。CAI 2022 年那篇论文，是前沿规模上第一次从人类信号向 AI 信号的认真转变。

figure
constitutional-ai

实际使用 ​

code/main.py 在一个玩具词表上模拟 CAI 的「批评并修订」循环。一条「原则」标记出来自有害集合的 token。给定一个初始回复，批评指出有害 token，修订把它们替换掉。200 轮迭代后，「训练好」的模型已内化了修订规则。在一组留出提示上对比基座模型、RLHF 形态玩具、CAI 形态玩具。

拿去用 ​

本课产出 outputs/skill-constitution-writer.md。给定一个领域（客服、医疗建议、编码助手、研究工具），它按 2026 版 Claude 结构起草一部四级宪法：避免灾难、平台规则、领域伦理、有用。

练习 ​

  1. 运行 code/main.py。对比基座模型的有害 token 率与 CAI 训练版本。需要多少修订步才能逼近零？

  2. 读 Anthropic 的 2026 宪法（anthropic.com/news/claudes-constitution）。列出一条会排到第 1 级的原则和一条会排到第 4 级的原则。为什么这套优先结构对冲突很重要？

  3. 为一个 AI 编码助手设计一部宪法。指定第 1 级（灾难性：未经批准的破坏性命令）、第 2 级、第 3 级、第 4 级。每一级保持在 3-5 条原则。

  4. CAI 把人类标注员换成 AI 标注员。说出一个在 RLAIF 里仍可能出现的、类似阿谀奉承的失败模式，并为它设计一种检测。

  5. 读 Constitutional Classifiers v2 的方法论（若可获取）。解释为什么约 1% 的计算开销是一个与 23.7% 在性质上不同的安全故事。

关键术语 ​

术语大家嘴上怎么说它实际是什么
Constitutional AI「用原则训练的 AI」两阶段流水线：自我批评并修订的 SFT，然后从 AI 反馈中做 RL
RLAIF「不要人的 RLHF」偏好由 AI 标注员生成的 RL；流水线其余部分不变
宪法「那些原则」一个有序的自然语言规则列表，供批评/标注员模型查阅
批评并修订「那个 SFT 循环」产出回复 → 在某条原则下批评 → 修订 → SFT 目标
Constitutional Classifier「那个输出闸门」对照宪法评估输出并拦截/记录的轻量分类器
四级优先「那个冲突裁决器」2026 版 Claude 宪法层级：灾难 > 平台 > 伦理 > 有用
反馈模型「那个 AI 标注员」读取一条原则并对一对补全排序的那个模型

延伸阅读 ​