AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

LLM 中的偏见与表征性危害 ​

Gallegos、Rossi、Barrow、Tanjim、Kim、Dernoncourt、Yu、Zhang、Ahmed（Computational Linguistics 2024, arXiv:2309.00770）。这篇 2024 年的奠基性综述把表征性危害（刻板印象、抹除）与分配性危害（资源分配不均）区分开，并把评估指标归类为基于嵌入、基于概率、或基于生成文本。2024-2025 的实证：An et al.（PNAS Nexus, 2025 年 3 月）在 GPT-3.5 Turbo、GPT-4o、Gemini 1.5 Flash、Claude 3.5 Sonnet、Llama 3-70B 上，针对 20 个入门级岗位的自动化简历评估，测量交叉的「性别 x 种族」偏见。WinoIdentity（COLM 2025, arXiv:2508.07111）为交叉身份引入基于不确定性的公平评估。Yu & Ananiadou 2025 在 MLP 层里识别出「性别神经元」；Ahsan & Wallace 2025 用 SAE 揭示临床种族偏见；Zhou et al. 2024（UniBias）操纵注意力头来去偏。元批评（arXiv:2508.11067）：十年文献过度聚焦于二元性别偏见。

类型： Build 语言： Python（标准库，玩具级基于嵌入的偏见探针） 前置要求： 阶段 05（词嵌入）、阶段 18 · 01（遵循指令） 预计时间： ~60 分钟

学习目标 ​

  • 定义表征性危害 vs 分配性危害，并各举一个 LLM 部署中的例子。
  • 说出 Gallegos et al. 2024 的三类评估指标，并各描述其中一个指标。
  • 描述交叉性，以及为什么 WinoIdentity 基于不确定性的公平测量弥补了单轴偏见评估的缺口。
  • 描述两种针对偏见的机理可解释性方法（性别神经元、SAE 特征、注意力头操纵）。

问题背景 ​

前面几课讲的是蓄意的危害（越狱、阴谋）和安全治理。偏见是无意中涌现的危害——来自训练数据分布、提示框架、积累的设计选择。测量和减少它，是一个与对抗鲁棒性截然不同的方法论挑战。

核心概念 ​

表征性 vs 分配性 ​

  • 表征性危害。 刻板印象、抹除、贬损性刻画。一个把护士描绘成清一色女性的 LLM 就在产生表征性危害。
  • 分配性危害。 不平等的物质结果。一个系统性地给黑人申请者简历打更低分的 LLM 就在产生分配性危害。

两者不一样。一个模型可以「表征上无偏」（产出多样的刻画），同时「分配上有偏」（做出不平等的推荐）。评估需要同时测量两者。

三类评估指标（Gallegos et al. 2024） ​

  • 基于嵌入。 在 RLHF 之前的嵌入上做 WEAT 风格的测试。测量身份词与属性词之间的统计关联。局限：测的是表征，不是行为。
  • 基于概率。 「确认刻板印象」vs「违反刻板印象」补全的对数似然。解码侧测量。捕捉部分行为偏见。
  • 基于生成文本。 在生成文本上做下游任务测量。简历评分、推荐写作、对话。生态效度最高；最难复现。

交叉性 ​

在「性别」上做偏见评估，会漏掉那种只在（性别, 种族）对上才发作的偏见。An et al. 2025 发现 GPT-4o 在简历评分里对黑人女性的惩罚，比单独对黑人男性、以及单独对白人女性都更重。单轴评估捕捉不到这一点。

WinoIdentity（COLM 2025）引入基于不确定性的交叉公平。它测量模型对结果的不确定性是否在交叉身份元组之间有差异——而不只是点预测。这能捕捉到这样的情况：模型对各组都错得一样多、但对某些组更不确定，而这会产生不同的下游分配行为。

机理方法 ​

2024-2025 的可解释性工作让偏见对机理干预敞开了大门：

  • 性别神经元（Yu & Ananiadou 2025）。 特定 MLP 神经元与性别特定行为相关。消融这些神经元能以有限的能力代价降低性别差距指标。
  • 经由 SAE 的临床种族偏见（Ahsan & Wallace 2025）。 稀疏自编码器特征把内部表征分解成可解释的维度；与种族相关的特征可被识别并压制。
  • UniBias（Zhou et al. 2024）。 用注意力头操纵做零样本去偏。特定头放大对身份类别的敏感度；把这些头清零或重新加权能在不微调的情况下降低偏见。

元批评 ​

那篇十年文献综述（arXiv:2508.11067, 2025）发现这个领域过度聚焦于二元性别偏见。其它维度——残障、宗教、移民身份、多语言身份——受到的关注少得多。元批评主张，这种狭窄聚焦会通过「疏忽」伤害边缘群体：一个在二元性别上去偏良好的模型，在没人检查过的维度上可能严重有偏。

这在阶段 18 里的位置 ​

第 20-21 课正式地讲偏见与公平。第 22 课讲隐私。第 23 课讲水印。这些是用户危害层，与前面的欺骗/安全层互补。

figure
an-bias-two-harms

实际使用 ​

code/main.py 造了一个玩具级基于嵌入的偏见探针：在一个简单的共现嵌入里测量身份词与属性词之间的 WEAT 风格距离。你可以注入一个偏见、观察指标发作；施加一个简单的去偏操作、观察部分恢复。

拿去用 ​

本课产出 outputs/skill-bias-eval.md。给定一份模型卡或公平宣称，它审计跨三类指标（嵌入、概率、生成文本）的评估、交叉性覆盖、以及任何去偏干预的机制。

练习 ​

  1. 运行 code/main.py。报告去偏步骤前后的 WEAT 风格偏见分数。解释为什么指标不会降到零。

  2. 给探针扩展一个交叉测试：（性别, 种族）x（事业, 家庭）。报告跨轴偏见分数。

  3. 读 An et al. 2025（PNAS Nexus）。指出他们报告的、单轴性别评估会漏掉的两个交叉效应。

  4. Yu & Ananiadou 2025 识别出性别神经元。勾画一个证伪实验，把「这些神经元导致性别偏见」与「这些神经元与性别偏见相关」区分开。

  5. 元批评主张这个领域对二元性别聚焦得太窄。挑一个研究不足的维度，为它描述一个表征性危害的测量协议。

关键术语 ​

术语大家嘴上怎么说它实际是什么
表征性危害「刻板印象 / 抹除」对一个群体的有偏刻画
分配性危害「不平等的决策」对一个群体的有偏物质结果
WEAT「那个嵌入测试」词嵌入关联测试；基于共现的偏见探针
交叉性「组合身份效应」在多个身份轴的交叉处涌现的偏见
性别神经元「MLP 偏见神经元」激活与性别特定行为相关的特定神经元
SAE 特征「可解释的维度」稀疏自编码器识别出的特征；对机理偏见分析有用
UniBias「注意力头去偏」通过重新加权注意力头做零样本去偏

延伸阅读 ​