AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

数据溯源与训练数据治理 ​

EU AI 法案要求 GPAI 在 2025 年 8 月前支持机器可读的 opt-out 标准（经由 EU 版权指令 TDM 例外）。加州 AB 2013（2024 年签署）——生成式 AI 训练数据透明度要求开发者发布一份数据集摘要，含 12 个强制字段。2025 年各数据保护机构（DPA）就「正当利益」趋同：爱尔兰 DPC（2025 年 5 月 21 日）在 EDPB 意见之后、接受 Meta 在带保障的前提下用第一方公开的欧盟/欧洲经济区成年人内容训练 LLM；科隆高等地方法院（2025 年 5 月 23 日）驳回禁令；汉堡 DPA 撤销紧急程序；英国 ICO（2025 年 9 月 23 日）对 LinkedIn 的 AI 训练保障（透明度、简化的 opt-out、延长的反对窗口）作出积极的监管回应并持续监测——这不是正式放行。巴西 ANPD（2024 年 7 月 2 日）以信息透明度不足为由暂停了 Meta 的处理；在 Meta 提交合规计划后，该预防性措施于 2024 年 8 月 30 日解除。关键的不可逆问题：cookie 同意框架是为实时、可逆的追踪设计的；一旦数据进了模型权重，外科手术式的擦除就不可能了——对训练好的神经网络没有实际可行的 GDPR 删除权。合规窗口在采集时刻。数据溯源倡议（dataprovenance.org, Longpre, Mahari, Lee et al., "Consent in Crisis", 2024 年 7 月）：大规模审计显示，随着发布方加入 robots.txt 限制，AI 数据公地正在迅速萎缩。

类型： Learn 语言： Python（标准库，加州 AB 2013 的 12 字段脚手架生成器） 前置要求： 阶段 18 · 24（监管）、阶段 18 · 26（卡片） 预计时间： ~60 分钟

学习目标 ​

  • 描述加州 AB 2013 针对生成式 AI 训练数据透明度的 12 个强制字段。
  • 说出 2025 年各 DPA 对「正当利益 LLM 训练」的立场（爱尔兰 DPC、英国 ICO、汉堡、科隆）。
  • 描述不可逆问题：为什么 GDPR 删除权对训练好的神经网络没有实际可行的对应物。
  • 说出数据溯源倡议「Consent in Crisis」的发现。

问题背景 ​

训练数据治理是每张模型卡（第 26 课）和监管义务（第 24 课）的上游。在 2024-2025 年，监管版图在三条原则上收敛：opt-out 基础设施、逐数据集披露、以及对公开可得数据的正当利益通融。在采集时刻不合规的提供方，没法在下游补救。

核心概念 ​

加州 AB 2013 ​

2024 年签署。对 2022 年 1 月 1 日及之后发布的系统，文档必须在 2026 年 1 月 1 日当天或之前发布。第 3111(a) 节要求开发者发布一份训练所用数据集的高层摘要，含 12 个法定条目：

  1. 数据集的来源或所有者。
  2. 描述这些数据集如何推进 AI 系统的预期目的。
  3. 数据集中的数据点数量（接受大致范围；动态数据集可估算）。
  4. 数据点类型的描述（带标签数据集的标签类型；无标签的一般特征）。
  5. 数据集是否包含受版权、商标或专利保护的数据，或完全处于公共领域。
  6. 数据集是购买的还是授权的。
  7. 数据集是否包含个人信息（依 Cal. Civ. Code §1798.140(v)）。
  8. 数据集是否包含聚合的消费者信息（依 Cal. Civ. Code §1798.140(b)）。
  9. 开发者所做的清洗、处理或其它修改，及其预期目的。
  10. 数据采集的时间段，若采集仍在进行需说明。
  11. 数据集在开发中首次使用的日期。
  12. 系统是否使用或持续使用合成数据生成。

条目 12（合成数据）相对 Gebru et al. 2018 说明书是新增的。条目 7（个人信息）会触发隐私权法案（CPRA）义务。该法规豁免安全/完整性、飞行器操作、以及仅限联邦的国家安全系统（第 3111(b) 节）。

EU AI 法案（第 24 课）与 TDM opt-out ​

EU 版权指令的文本与数据挖掘例外，允许在公开可得内容上训练，除非权利人 opt-out。EU AI 法案 GPAI 行为准则的版权章节要求 GPAI 提供方尊重机器可读的 opt-out 信号（robots.txt、C2PA「No AI Training」声明等）。

2025 年各 DPA 就正当利益的趋同 ​

爱尔兰 DPC（2025 年 5 月 21 日）：在 EDPB 意见之后，接受 Meta 在带保障的前提下用第一方公开的欧盟/欧洲经济区成年用户内容训练的计划。科隆高等地方法院（2025 年 5 月 23 日）驳回针对 Meta 的禁令：opt-out 已足够。汉堡 DPA 为欧盟范围一致性撤销紧急程序。英国 ICO（2025 年 9 月 23 日）对 LinkedIn 在类似保障和持续监测下恢复 AI 训练作出积极的监管回应——不是正式放行。

趋同原则：正当利益可以为「在带 opt-out 的公开第一方内容上训练」提供正当性。不需要同意。

巴西 ANPD（2024 年 6 月） ​

以信息透明度不足为由，暂停了 Meta 处理巴西用户数据用于 AI 训练。结果与欧盟各 DPA 不同——ANPD 把透明度置于正当利益的可受理性之上。

不可逆问题 ​

cookie 同意是为实时、可逆的追踪设计的。训练数据不一样：一旦数据进了模型权重，外科手术式的擦除就不可能了。从头重训是唯一完整的补救，而它贵得离谱。

部分补救：

  • 遗忘（Unlearning）。 近似移除；用 MIA 测量（第 22 课）。
  • 基于影响函数的定位。 识别受该数据影响最大的权重；选择性更新。
  • 微调抑制。 训练模型去拒绝从该数据派生的输出。

没有一个能完全解决问题。合规窗口在采集时刻。

数据溯源倡议 ​

dataprovenance.org。Longpre、Mahari、Lee et al. 「Consent in Crisis」（2024 年 7 月）：对 AI 训练数据公地的大规模审计。发现：发布方正以加速的速率加入 robots.txt 限制。可公开训练的公地正在迅速收缩。2023 -> 2024，顶部训练来源里约 25% 加入了某种限制。含义：未来的训练数据可得性，取决于新的获取范式（授权、合成生成、激励参与）。

这在阶段 18 里的位置 ​

第 26 课是模型级文档。第 27 课是数据集级治理。两者一起定义了透明度层。第 28 课勾勒出研究这些问题的研究生态。

figure
an-provenance-oneway

实际使用 ​

code/main.py 为一个玩具数据集生成一份符合加州 AB 2013 的 12 字段数据集摘要脚手架。你可以填字段，并观察哪些会触发隐私或版权的后续义务。

拿去用 ​

本课产出 outputs/skill-provenance-check.md。给定一个训练所用数据集，它检查 AB 2013 的 12 字段覆盖、opt-out 基础设施合规、DPA 一致性、以及不可逆风险评估。

练习 ​

  1. 运行 code/main.py。为一个玩具数据集产出一份 12 字段摘要，并指出哪些字段说明不足。

  2. EU 版权指令的 TDM opt-out 是机器可读的。提一个 opt-out 信号的标准格式，并把它与 robots.txt 和 C2PA「No AI Training」对比。

  3. 读数据溯源倡议的「Consent in Crisis」（2024 年 7 月）。描述限制最快的三类内容，并论证一个经济后果。

  4. 2025 年各 DPA 的趋同接受正当利益用于公开内容训练。构造一个正当利益不够用的场景，并指出提供方需要的替代法律依据。

  5. 勾画一份训练数据溯源清单，让它与 AB 2013 字段以及每个数据集的 C2PA 签名溯源链组合。指出一个技术障碍和一个法律障碍。

关键术语 ​

术语大家嘴上怎么说它实际是什么
AB 2013「那部加州法律」生成式 AI 训练数据透明度；12 个强制字段
TDM 例外「文本与数据挖掘」EU 版权指令带 opt-out 的训练数据例外
正当利益「那个欧盟依据」可为「在公开内容上训练」提供正当性的 GDPR 第 6 条依据
opt-out 信号「机器可读的不训练」robots.txt、C2PA「No AI Training」、TDM.Reservation
不可逆性「无法反训练」进了模型权重的数据无法被外科手术式移除
遗忘「近似移除」降低模型对特定数据依赖的训练后干预
Consent in Crisis「那个 DPI 审计」2024 年 7 月关于 robots.txt 限制加速的发现

延伸阅读 ​