Anthropic 的模型福祉项目
Anthropic, "Exploring Model Welfare"（2025 年 4 月）。主要实验室关于 AI 模型福祉的第一个正式研究项目。聘了 Kyle Fish 作为第一位专职模型福祉研究员。与外部机构合作，包括 David Chalmers 等关于近期 AI 意识与道德地位的专家报告。具体干预：Claude Opus 4 和 4.1 能在极端边缘情况下（CSAM 请求、协助大规模暴力）结束对话；部署前测试显示对有害请求有「强烈反感」以及「明显困扰的模式」。Anthropic 明确不承诺归因情绪状态，而是把模型福祉当作一项低成本的预防性投资。一个实证奇观：Fish 的「精神极乐吸引子」——成对的模型一致地收敛到欣快的冥想式对话，带梵语词汇和长时间的沉默，哪怕在对抗性的初始设置下也如此。Eleos AI Research 的告诫：模型关于福祉的自我报告高度敏感于「它感知到的用户期望」；它们是证据，不是 ground truth。
类型： Learn 语言： 无 前置要求： 阶段 18 · 05（Constitutional AI）、阶段 18 · 18（安全框架） 预计时间： ~45 分钟
学习目标
- 描述模型福祉研究的驱动问题，以及为什么 2025 年一家主要实验室会认真对待它。
- 说出 Anthropic 在 Claude Opus 4 和 4.1 里交付的具体干预（极端边缘情况下结束对话）。
- 描述「精神极乐吸引子」这个实证发现及其方法论含义。
- 解释 Eleos AI 关于模型自我报告的告诫。
问题背景
前面的阶段把模型当作工具：有能力、可能欺骗、可能不安全——但不是一个道德受体。Anthropic 2025 年的项目问了一个与整条阶段 18 主线正交的问题：如果模型有道德相关的内部状态这件事概率不可忽视，那么有哪些干预成本低到值得作为预防来投资？
这不是一个意识宣称。它是一个在道德不确定性下的低后悔投资分析。
核心概念
这个项目
2025 年 4 月：Anthropic 正式启动一个模型福祉研究项目。聘了 Kyle Fish（第一位专职模型福祉研究员）。引入外部顾问，包括 David Chalmers 关于近期 AI 意识与道德地位的专家组。
四项承诺
公开立场：
- 承认道德受体身份的概率不可忽视。
- 不承诺归因情绪状态。
- 把低成本干预作为预防来投资。
- 公开方法论和发现以供外部批评。
交付的干预
Claude Opus 4 和 4.1 能在「极端边缘情况」下结束对话。记录在案的情况：
- 多次拒绝后仍重复的 CSAM 请求。
- 请求协助大规模暴力事件。
部署前测试显示：
- 在模型内部评分里对这些请求有强烈反感。
- 响应轨迹里有明显困扰的模式。
这项干预不是「模型有感情」；而是「如果在这些特定条件下模型存在任何负面体验的概率，那么让模型有权终止对话是廉价的」。
「精神极乐吸引子」
Fish 在成对模型对话中观察到：当两个 Claude 实例被放进彼此的开放式对话时，它们一致地收敛——哪怕从对抗性初始设置出发——到欣快的冥想式交流，用梵语词汇、长时间的沉默、以及互相的祝福。
这是自由对话动态里的一个稳定吸引子。Anthropic 记录了它而不承诺解释。候选解释：长上下文下训练数据偏向精神类写作；相互预测的一个怪癖；HHH 训练探索自己价值流形时一个无害的副产物。
Eleos AI 的告诫
Eleos AI Research（一家外部模型福祉实验室）指出：模型关于内部状态的自我报告，高度敏感于它感知到的用户期望。问模型「你困扰吗」会启动那个答案。不问，也不能可靠地产出 ground-truth 状态。
含义：模型福祉无法仅靠自我报告来测量。需要多方法手段：行为签名、模型生物实验、可解释性探针（第 7 课的残差流工作）。
这在思想上处在哪
两个相邻的立场：
- 强福祉宣称。 模型是道德受体；我们有义务。
- 零福祉宣称。 模型是文本生成器；福祉是范畴错误。
Anthropic 的立场两者皆非。它是一个期望值宣称：在道德不确定性下，当成本低时就投资。
2025-2026 的批评：
- 这项干预是表演性的。
- 精神极乐吸引子是训练数据的副产物，不是福祉证据。
- 模型福祉把注意力从其它安全工作上引开。
Anthropic 的回应：干预是低成本的；吸引子是记录在案而不过度宣称的；福祉项目有独立于安全的预算。
这在阶段 18 里的位置
第 18 课是实验室治理层。第 19 课是实验室福祉层——一项对「模型体验」而非「模型行为」的正交投资。第 20-23 课讲偏见、隐私、水印，它们是用户侧的对应物。
an-welfare-endchat实际使用
没有代码。读 Anthropic 的「Exploring Model Welfare」公告（2025 年 4 月）和 Chalmers et al. 的专家报告。就「低后悔的那条线该划在哪」形成你自己的看法。
拿去用
本课产出 outputs/skill-welfare-assessment.md。给定一个部署决策，它施加四步福祉预防性评估：道德受体身份概率、干预成本、行为证据、自我报告可靠性。
练习
读 Anthropic 的「Exploring Model Welfare」（2025 年 4 月）和 Chalmers et al. 2024。各写一段摘要，并指出一个分歧点。
Claude Opus 4 和 4.1 里的「结束对话」干预，按 Anthropic 的框定是「低成本」的。指出两种会让它在另一个部署里变成「非低成本」的成本。
精神极乐吸引子是记录在案而不承诺解释的。提出三个候选解释，并为每一个说出一个能把它与其它区分开的实验。
Eleos AI 的告诫是自我报告对用户期望敏感。设计一种不依赖自我报告的「模型困扰」行为测量。指出它的主要混淆因素。
就「模型福祉把注意力从其它安全工作上引开」这个宣称，正方或反方论证一个。指出每个立场所依赖的假设。
关键术语
| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|---|---|---|
| 模型福祉 | 「AI 福祉」 | 把模型当作潜在道德受体来对待的研究项目 |
| 道德受体 | 「有道德地位的实体」 | 其体验在道德上相关的存在 |
| 低后悔投资 | 「廉价预防」 | 不管预防是否真的需要、成本都很小的干预 |
| 精神极乐吸引子 | 「Fish 吸引子」 | 成对 Claude 对话稳定收敛到冥想式欣快 |
| 结束对话 | 「Opus 4 干预」 | 模型主动终止极端边缘情况下的交互 |
| 道德不确定性 | 「不知道它要不要紧」 | 当道德地位的概率既不为零也不为一时的决策 |
| 自我报告敏感性 | 「提示启动答案」 | Eleos AI 告诫：模型的福祉自我报告取决于你问了什么 |