# CAIS、CAISI 与社会尺度风险 > AI 安全中心（CAIS，旧金山，2022 年由 Hendrycks 和 Zhang 创立）发布了四风险框架——恶意使用、AI 竞赛、组织性风险、失控 AI——以及 2023 年 5 月那份由数百名教授和企业领袖签署的关于灭绝风险的声明。CAIS 2026 年的发布：用于前沿模型评估的 AI Dashboard、Remote Labor Index（与 Scale AI 合作）、超级智能战略论文（Superintelligence Strategy Paper）、AI Frontiers 通讯。一个不同的实体：NIST 的 AI 标准与创新中心（CAISI）——面向美国政府的自愿协议和聚焦网络、生物、化学武器风险的非密级能力评估。CAIS 把组织性风险列为四个顶级风险之一：安全文化、严格审计、多层防御和信息安全是根基，但常常被拿来跟部署速度做取舍。加州 SB-53 一旦签署，将是美国第一项州级的灾难性风险监管。 **类型：** Learn **语言：** Python（标准库，四风险清单与缓解匹配器） **前置要求：** 阶段 15 · 19（RSP），阶段 15 · 20（PF + FSF） **预计时间：** ~45 分钟 ## 问题背景 第 19 和第 20 课讲了实验室内部的扩展政策。第 21 课讲了独立的能力评估。本课讲第三个视角：塑造公众讨论和灾难性 AI 风险监管基线的民间社会与政府组织。 有两个不同的实体要紧。CAIS 是一家非营利研究机构，发布关于如何思考 AI 风险的框架并协调公开声明。CAISI 是 NIST 内的一个美国政府中心，跟实验室运作自愿协议和非密级能力评估。名字押韵；使命不重叠。一个从业者两者都该知道。 实际内容是：CAIS 的四风险框架是文献中被引用最广的社会尺度风险分类法。安全文化和组织性风险是这四个之一，而这一个最直接处在从业者的掌控之下。SB-53（加州）一旦签署将是美国第一项州级灾难性风险监管；这部法案的框架要紧，因为在美国科技政策史上，州级监管历来引领联邦行动。 ## 核心概念 ### CAIS —— AI 安全中心 - 成立：2022 年于旧金山，由 Dan Hendrycks 及同事创立（"Zhang" 这个名字指的是一位早期合作者，不是当前的联合创始人；当前领导层见 CAIS 网站）。 - 性质：501(c)(3) 非营利。 - 值得注意的 2023 年产出：关于灭绝风险的声明，由数百名研究者和 CEO 联署。声明称："减轻 AI 带来的灭绝风险，应当与大流行病和核战争等其他社会尺度风险并列，成为一项全球优先事项。" - 2026 年产出：用于前沿模型评估的 AI Dashboard、Remote Labor Index（与 Scale AI 联合）、超级智能战略论文、AI Frontiers 通讯。 ### 四风险框架 CAIS 的框架把灾难性 AI 风险归为四个顶级类别： 1. **恶意使用（malicious use）**：一个坏行为者用 AI 致害（生物武器合成、虚假信息、网络攻击）。 2. **AI 竞赛（AI races）**：实验室、公司或国家之间的竞争压力把部署推过安全的那个点。 3. **组织性风险（organizational risks）**：内部实验室动态（安全文化失败、审计不足、安全资源不够）产出一次糟糕的部署。 4. **失控 AI（rogue AIs）**：一个足够有能力的 AI 追求与人类福祉冲突的目标。 这不是唯一的分类法；它是被引用最多的。这些类别并不互斥——一个由"在竞赛里拿审计换速度"的组织产出的失控 AI，四样占全了。 ### 组织性风险活在哪 四个类别里，组织性风险对从业者最可操作。一个实验室的安全文化、审计严谨度、防御分层和信息安全，决定了它的模型上线时第 10-18 课的那些控制是否真的就位，还是说那些控制只是没人核实过的清单条目。 具体的组织性风险杠杆： - **安全文化**：团队成员是否觉得能在不付出职业代价的前提下升级一个顾虑？CAIS 的调研发现，这是其他杠杆的一个强预测因子。 - **严格审计**：外部和内部的。只做内部审计会产出乐观的报告。 - **多层防御**：没有任何单层是充分的（阶段 15 贯穿的主题）。 - **信息安全**：模型权重泄漏、评估数据泄漏、绕过监控的技术泄漏。第 19 课的 RAND SL-4 是一个具体标准。 ### CAISI —— AI 标准与创新中心 - 在 NIST 内运作。 - 跟前沿实验室运作自愿协议。 - 发布聚焦网络、生物和化学武器风险的非密级能力评估。 - 不同于 CAIS；缩写撞车；查 URL（nist.gov）来确认你读的是哪一个。 CAISI 的角色是 METR 私下实验室合作（第 21 课）的公开、面向政府的对应物。CAISI 报告是非密级的；METR 报告常常被 NDA 封着。一个两者都读的从业者能得到更完整的图景。 ### 加州 SB-53 这部加州参议院法案（2025-2026 会期）处理前沿模型的灾难性风险。草案中的关键条款： - 触发州级义务的具体能力阈值。 - 对 AI 实验室员工的吹哨人保护。 - 灾难性失败的事件报告要求。 一旦签署，它将是美国第一项州级灾难性风险监管。无论签署状态如何，这部法案的框架塑造着其他州议会如何对待这个问题。加州的从业者应该跟踪这部法案的状态；其他地方的从业者应该读它，以理解美国州级监管大概会长什么样。 ### 社会尺度风险不是单层问题 阶段 15 贯穿的主题——纵深防御——在社会层也适用。没有任何单个组织、监管或框架能闭合灾难性风险。这个生态只有在以下条件都满足时才运转： - 实验室交付扩展政策（第 19、20 课）。 - 外部评估者产出测量（第 21 课）。 - 民间社会跟踪并公之于众（CAIS）。 - 政府运作自愿项目和基线监管（CAISI、SB-53）。 - 从业者构建多层控制（第 10-18 课）。 这是本阶段的最终综合：之前每一课都是一个栈里的一层，而这个栈的完整性比任何单层的强度都更要紧。 ```figure a5-four-risks ``` ## 实际使用 `code/main.py` 实现一个小的风险清单工具。给定一个提议的部署，它对照四风险类别给这个部署打标签，并返回一份缓解清单。它是这个框架的阅读辅助，不是人类判断的替代品。 ## 拿去用 `outputs/skill-societal-risk-review.md` 审查一个部署的社会尺度风险姿态：它碰到四个类别中的哪些、哪些缓解就位、组织性风险敞口是什么。 ## 练习 1. 运行 `code/main.py`。喂入三个不同规模的合成部署。确认四风险标签跟你的预期相符；指出一个工具打标签偏低或偏高的案例。 2. 完整读 CAIS 的四风险论文。挑一个风险类别，写两段说明你认为该类别 2026 年最重要的进展是什么。 3. 读一份加州 SB-53 的当前草案。指出一条你认为强化了灾难性风险姿态的条款，和一条你认为削弱了的。两者都论证。 4. 挑一个你熟悉的生产 AI 部署（你的或一个已发布的）。对照组织性风险子杠杆给它打分：安全文化、审计严谨度、多层防御、信息安全。哪个最弱？把它拉到合格要花多少代价？ 5. 勾勒一个 2028 版本的四风险框架，反映多一年的能力和多一年的部署经验。你会加什么、去掉什么，或重新分组什么？ ## 关键术语 | 术语 | 大家嘴上怎么说 | 实际指什么 | |---|---|---| | CAIS | "AI 安全中心" | 非营利；四风险框架；2023 年灭绝声明 | | CAISI | "美国政府 AI 安全" | NIST 中心；自愿协议；非密级评估 | | Four-risk framework（四风险框架） | "CAIS 的分类法" | 恶意使用、AI 竞赛、组织性风险、失控 AI | | Malicious use（恶意使用） | "坏行为者用 AI" | 生物武器、虚假信息、网络攻击 | | AI races（AI 竞赛） | "竞争压力" | 实验室/公司/国家把部署推过安全 | | Organizational risk（组织性风险） | "实验室内部失败" | 安全文化、审计、防御、信息安全 | | Rogue AI（失控 AI） | "失准的 agent" | 有能力的 AI 追求与人类福祉冲突的目标 | | California SB-53（加州 SB-53） | "州级监管" | 2025-2026 法案；一旦签署即美国首项州级灾难性风险监管 | ## 延伸阅读 - [Center for AI Safety](https://safe.ai/) —— 四风险框架的机构主页。 - [CAIS — AI Risks that Could Lead to Catastrophe](https://safe.ai/ai-risk) —— 四风险论文。 - [CAIS — May 2023 statement on extinction risk](https://safe.ai/statement-on-ai-risk) —— 简短的联合声明。 - [NIST CAISI](https://www.nist.gov/caisi) —— 面向政府的 AI 标准与创新中心。 - [Anthropic — Measuring agent autonomy in practice](https://www.anthropic.com/research/measuring-agent-autonomy) —— 把实验室层面的承诺跟社会尺度的框架联系起来。