模型卡、系统卡与数据集卡
三种文档格式构成了 AI 透明度的骨架。模型卡(Mitchell et al. 2019)——模型的营养标签:训练数据、按因素分解的定量分析、伦理考量、注意事项;而 Hugging Face 上只有 0.3% 的模型卡记录了伦理考量(Oreamuno et al. 2023)。数据集说明书(Datasheets for Datasets,Gebru et al. 2018, CACM)——动机、构成、采集过程、标注、分发、维护;类比电子元件说明书。数据卡(Data Cards,Pushkarna et al., Google 2022)——模块化分层细节(望远镜式、潜望镜式、显微镜式),作为面向多样读者的边界对象。2024-2025 的进展:经 LLM 自动生成(CardGen, Liu et al. 2024);模型卡细节程度与 HF 上至多 29% 的下载量提升相关(Liang et al. 2024);可验证证明(Laminator, Duddu et al. 2024);针对碳/水的可持续性报告增补(Jouneaux et al. 2025 年 7 月);EU/ISO 监管卡正在出现。系统卡(System Cards,Sidhpurwala 2024;Meta 系统级透明度;「Blueprints of Trust」arXiv:2509.20394)——端到端 AI 系统文档,覆盖安全能力、提示注入防护、数据外泄检测、与人类价值观的对齐。
类型: Build 语言: Python(标准库,模型卡 + 数据集说明书 + 系统卡生成器) 前置要求: 阶段 18 · 18(安全框架)、阶段 18 · 24(监管) 预计时间: ~60 分钟
学习目标
- 描述最初的 Mitchell et al. 2019 模型卡和 Gebru et al. 2018 数据集说明书。
- 描述数据卡的望远镜式/潜望镜式/显微镜式分层。
- 描述系统卡及其端到端覆盖。
- 说出 2024-2025 的三项进展(自动生成、可验证证明、可持续性报告)。
问题背景
监管框架(第 24 课)和实验室安全政策(第 18 课)都需要文档。文档格式从「模型特定」(模型卡)演进到「数据集特定」(数据集说明书)再到「系统特定」(系统卡)。每个处理一个不同的透明度范围。2024-2025 的自动化和可验证证明工作,处理的是长期存在的采纳问题。
核心概念
模型卡(Mitchell et al. 2019)
各节:
- 模型详情。
- 预期用途。
- 因素(评估时相关的人口或环境因素)。
- 指标。
- 评估数据。
- 训练数据。
- 定量分析(按因素分解)。
- 伦理考量。
- 注意事项与建议。
采纳问题:Oreamuno et al. 2023 对 Hugging Face 模型卡的审计发现,只有 0.3% 记录了伦理考量。
数据集说明书(Gebru et al. 2018)
类比电子元件说明书。各节:
- 动机(为什么创建这个数据集)。
- 构成(里面有什么)。
- 采集过程(怎么组装起来的)。
- 标注(如适用)。
- 用途(预期、禁止、风险)。
- 分发。
- 维护。
发表于 CACM 2021。说明书是上游文档;模型卡依赖说明书的准确。
数据卡(Pushkarna et al., Google 2022)
模块化分层细节。三个缩放级别:
- 望远镜式(Telescopic)。 给非专家的高层摘要。
- 潜望镜式(Periscopic)。 给 ML 实践者的中层概览。
- 显微镜式(Microscopic)。 给审计者的特征级详细文档。
边界对象框架:不同读者从同一份文档里提取不同的信息。
系统卡
范围:端到端 AI 系统,包括模型 + 安全栈 + 部署上下文。各节通常包括:
- 安全能力。
- 提示注入防护。
- 数据外泄检测。
- 与所述人类价值观的对齐。
- 事件响应。
Sidhpurwala 2024 和 Meta 的系统级透明度工作。「Blueprints of Trust」(arXiv:2509.20394)把系统卡形式化为模型卡在部署层的补充。
2024-2025 的进展
- CardGen(Liu et al. 2024)。 经 LLM 的模型卡自动生成;在标准化的 Mitchell 2019 字段上报告了比许多人工撰写卡片更高的客观性。
- 下载量相关性(Liang et al. 2024)。 详细的模型卡与 HF 上至多 29% 更高的下载率相关——采纳压力现在是市场驱动的,不只是合规驱动的。
- Laminator(Duddu et al. 2024)。 经硬件 TEE / 加密签名的可验证证明——让模型卡能携带一个「主张的证明」,而不只是一个主张。
- 可持续性(Jouneaux et al. 2025 年 7 月)。 针对碳、水、计算能耗足迹的增补;正在出现的 ISO 标准。
- 监管卡。 EU AI 法案(第 24 课)GPAI 行为准则的透明度章节要求把模型卡作为一项合规产物。
这在阶段 18 里的位置
第 24-25 课是监管层和 CVE 层。第 26 课是文档层。第 27 课是训练数据治理,它是说明书的上游。第 28 课是产出卡片中所引用评估的研究生态。
an-card-scopes实际使用
code/main.py 为一个玩具部署生成一份最小的模型卡、数据集说明书、系统卡。每个都遵循经典的章节结构。你可以审视格式、对比这三个范围。
拿去用
本课产出 outputs/skill-card-audit.md。给定一份模型卡、数据集说明书或系统卡,它审计章节覆盖、数值分解、以及是否存在可验证证明。
练习
运行
code/main.py。审视生成的卡片。指出薄弱(仅占位)的章节,并说明什么证据能强化它们。给模型卡扩展一项跨两个人口群体的按因素分解定量分析(第 20 课)。
读 Oreamuno et al. 2023 关于 0.3% 采纳率的内容。提出一个对模型卡规范的结构性改动,能提高伦理考量的采纳。
Laminator(Duddu et al. 2024)用 TEE 做可验证证明。设计一个携带「评估结果的加密证明」的模型卡字段,并描述验证者的角色。
为你过去的某个项目或一个假想部署写一份系统卡(是系统卡,不是模型卡)。指出对第三方审计者价值最高的那一节。
关键术语
| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|---|---|---|
| 模型卡 | 「那个 Mitchell 卡」 | Mitchell et al. 2019 的 ML 模型标准文档 |
| 数据集说明书 | 「那个 Gebru 说明书」 | Gebru et al. 2018 的数据集标准文档 |
| 数据卡 | 「那个 Pushkarna 卡」 | Google 2022 的模块化分层数据文档 |
| 系统卡 | 「那个部署卡」 | 包含安全栈的端到端 AI 系统文档 |
| 边界对象 | 「不同读者、同一份文档」 | 数据卡框架:同一份文档服务多样受众 |
| 可验证证明 | 「那个 Laminator 证明」 | 附加在文档主张上的加密或 TEE 证明 |
| 可持续性字段 | 「碳 / 水足迹」 | 2025 年新出现的环境核算增补 |