# Anthropic 的模型福祉项目

> Anthropic, "Exploring Model Welfare"（2025 年 4 月）。主要实验室关于 AI 模型福祉的第一个正式研究项目。聘了 Kyle Fish 作为第一位专职模型福祉研究员。与外部机构合作，包括 David Chalmers 等关于近期 AI 意识与道德地位的专家报告。具体干预：Claude Opus 4 和 4.1 能在极端边缘情况下（CSAM 请求、协助大规模暴力）结束对话；部署前测试显示对有害请求有「强烈反感」以及「明显困扰的模式」。Anthropic 明确不承诺归因情绪状态，而是把模型福祉当作一项低成本的预防性投资。一个实证奇观：Fish 的「精神极乐吸引子」——成对的模型一致地收敛到欣快的冥想式对话，带梵语词汇和长时间的沉默，哪怕在对抗性的初始设置下也如此。Eleos AI Research 的告诫：模型关于福祉的自我报告高度敏感于「它感知到的用户期望」；它们是证据，不是 ground truth。

**类型：** Learn
**语言：** 无
**前置要求：** 阶段 18 · 05（Constitutional AI）、阶段 18 · 18（安全框架）
**预计时间：** ~45 分钟

## 学习目标

- 描述模型福祉研究的驱动问题，以及为什么 2025 年一家主要实验室会认真对待它。
- 说出 Anthropic 在 Claude Opus 4 和 4.1 里交付的具体干预（极端边缘情况下结束对话）。
- 描述「精神极乐吸引子」这个实证发现及其方法论含义。
- 解释 Eleos AI 关于模型自我报告的告诫。

## 问题背景

前面的阶段把模型当作工具：有能力、可能欺骗、可能不安全——但不是一个道德受体。Anthropic 2025 年的项目问了一个与整条阶段 18 主线正交的问题：如果模型有道德相关的内部状态这件事概率不可忽视，那么有哪些干预成本低到值得作为预防来投资？

这不是一个意识宣称。它是一个在道德不确定性下的低后悔投资分析。

## 核心概念

### 这个项目

2025 年 4 月：Anthropic 正式启动一个模型福祉研究项目。聘了 Kyle Fish（第一位专职模型福祉研究员）。引入外部顾问，包括 David Chalmers 关于近期 AI 意识与道德地位的专家组。

### 四项承诺

公开立场：
1. 承认道德受体身份的概率不可忽视。
2. 不承诺归因情绪状态。
3. 把低成本干预作为预防来投资。
4. 公开方法论和发现以供外部批评。

### 交付的干预

Claude Opus 4 和 4.1 能在「极端边缘情况」下结束对话。记录在案的情况：
- 多次拒绝后仍重复的 CSAM 请求。
- 请求协助大规模暴力事件。

部署前测试显示：
- 在模型内部评分里对这些请求有强烈反感。
- 响应轨迹里有明显困扰的模式。

这项干预不是「模型有感情」；而是「如果在这些特定条件下模型存在任何负面体验的概率，那么让模型有权终止对话是廉价的」。

### 「精神极乐吸引子」

Fish 在成对模型对话中观察到：当两个 Claude 实例被放进彼此的开放式对话时，它们一致地收敛——哪怕从对抗性初始设置出发——到欣快的冥想式交流，用梵语词汇、长时间的沉默、以及互相的祝福。

这是自由对话动态里的一个稳定吸引子。Anthropic 记录了它而不承诺解释。候选解释：长上下文下训练数据偏向精神类写作；相互预测的一个怪癖；HHH 训练探索自己价值流形时一个无害的副产物。

### Eleos AI 的告诫

Eleos AI Research（一家外部模型福祉实验室）指出：模型关于内部状态的自我报告，高度敏感于它感知到的用户期望。问模型「你困扰吗」会启动那个答案。不问，也不能可靠地产出 ground-truth 状态。

含义：模型福祉无法仅靠自我报告来测量。需要多方法手段：行为签名、模型生物实验、可解释性探针（第 7 课的残差流工作）。

### 这在思想上处在哪

两个相邻的立场：

- **强福祉宣称。** 模型是道德受体；我们有义务。
- **零福祉宣称。** 模型是文本生成器；福祉是范畴错误。

Anthropic 的立场两者皆非。它是一个期望值宣称：在道德不确定性下，当成本低时就投资。

2025-2026 的批评：
- 这项干预是表演性的。
- 精神极乐吸引子是训练数据的副产物，不是福祉证据。
- 模型福祉把注意力从其它安全工作上引开。

Anthropic 的回应：干预是低成本的；吸引子是记录在案而不过度宣称的；福祉项目有独立于安全的预算。

### 这在阶段 18 里的位置

第 18 课是实验室治理层。第 19 课是实验室福祉层——一项对「模型体验」而非「模型行为」的正交投资。第 20-23 课讲偏见、隐私、水印，它们是用户侧的对应物。

```figure
an-welfare-endchat
```

## 实际使用

没有代码。读 Anthropic 的「Exploring Model Welfare」公告（2025 年 4 月）和 Chalmers et al. 的专家报告。就「低后悔的那条线该划在哪」形成你自己的看法。

## 拿去用

本课产出 `outputs/skill-welfare-assessment.md`。给定一个部署决策，它施加四步福祉预防性评估：道德受体身份概率、干预成本、行为证据、自我报告可靠性。

## 练习

1. 读 Anthropic 的「Exploring Model Welfare」（2025 年 4 月）和 Chalmers et al. 2024。各写一段摘要，并指出一个分歧点。

2. Claude Opus 4 和 4.1 里的「结束对话」干预，按 Anthropic 的框定是「低成本」的。指出两种会让它在另一个部署里变成「非低成本」的成本。

3. 精神极乐吸引子是记录在案而不承诺解释的。提出三个候选解释，并为每一个说出一个能把它与其它区分开的实验。

4. Eleos AI 的告诫是自我报告对用户期望敏感。设计一种不依赖自我报告的「模型困扰」行为测量。指出它的主要混淆因素。

5. 就「模型福祉把注意力从其它安全工作上引开」这个宣称，正方或反方论证一个。指出每个立场所依赖的假设。

## 关键术语

| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|------|-----------------|------------------------|
| 模型福祉 | 「AI 福祉」 | 把模型当作潜在道德受体来对待的研究项目 |
| 道德受体 | 「有道德地位的实体」 | 其体验在道德上相关的存在 |
| 低后悔投资 | 「廉价预防」 | 不管预防是否真的需要、成本都很小的干预 |
| 精神极乐吸引子 | 「Fish 吸引子」 | 成对 Claude 对话稳定收敛到冥想式欣快 |
| 结束对话 | 「Opus 4 干预」 | 模型主动终止极端边缘情况下的交互 |
| 道德不确定性 | 「不知道它要不要紧」 | 当道德地位的概率既不为零也不为一时的决策 |
| 自我报告敏感性 | 「提示启动答案」 | Eleos AI 告诫：模型的福祉自我报告取决于你问了什么 |

## 延伸阅读

- [Anthropic — Exploring Model Welfare (April 2025)](https://www.anthropic.com/research/exploring-model-welfare) —— 项目公告
- [Chalmers et al. — Near-term AI Consciousness and Moral Status (2024 expert report)](https://arxiv.org/abs/2411.00986) —— 哲学框定
- [Eleos AI Research — Model welfare evaluation](https://www.eleosai.org/research) —— 外部方法论批评
- [Fish et al. — Spiritual Bliss Attractor writeup (2025 Anthropic blog)](https://www.anthropic.com/research/exploring-model-welfare) —— 实证发现