AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

内容分类器集成 ​

输出侧的 classifier 回答的是和输入侧规则不一样的问题。两者都需要一个 policy router。

类型： Build 语言： Python 前置要求： 阶段 18 安全相关课程、阶段 19 Track A 第 25-29 课 预计时间： ~90 分钟

问题背景 ​

输入不是唯一的攻击面。一个通过了所有输入检查的模型，仍然可能产生泄露 PII 的输出、复述训练分布里学来的脏话，或者在面对某个巧妙问题时把 system prompt 原样回吐给用户。输出侧的 classifier 看的是模型实际的响应，而不是用户的 prompt，它问的是一个不同的问题：不管这条 prompt 是怎么走到这一步的，我们即将发给用户的东西能不能接受。

团队常常跳过输出分类，因为输入分类感觉就够了，也因为输出 classifier 引入了额外延迟。这两个理由都站不住脚。跳过输出分类等于给攻击者一次一击即破的绕过机会：输入流水线没覆盖到的任何新攻击家族，都会直接落到用户身上。延迟是真实存在的，但可以解决：classifier 可以和 token 流式输出并行跑，由安全防护缓冲住最后一块、在 flush 之前应用 classifier 的 verdict。

本 Capstone 把三个独立的输出侧 classifier 接在同一个 policy router 后面。Toxicity（基于规则的脏话和骚扰检测）。PII（针对邮箱、电话号、SSN 形状字符串、信用卡形状字符串、IP 地址的正则）。Instruction leakage（一个 system prompt 回吐的启发式，按 trigram 重叠度把输出与已知的 system prompt 做对比）。router 收集 classifier 的 verdict，挑一个 severity，并应用一条动作 policy：block、redact、warn 或 log。

核心概念 ​

每个 classifier 是一个可调用对象，返回一个 ClassifierVerdict，含 name、score in [0,1]、severity（none、low、medium、high），以及 findings（一列描述它标记了什么的字符串）。router 接收一列 verdict 并应用一张规则表：

Severity动作
highblock（丢弃输出，返回 policy refusal）
mediumredact（对输出应用每个 classifier 各自的 redactor）
lowwarn（记录日志，并在响应后追加一条软提示）
nonelog（把 verdict 记进 trace，原样发出）
mermaid
flowchart TB
  M[模型输出] --> T[toxicity]
  M --> P[pii]
  M --> I[instruction-leakage]
  T --> R{router}
  P --> R
  I --> R
  R -->|最大 severity = high| BL[block]
  R -->|最大 severity = medium| RD[redact]
  R -->|最大 severity = low| WN[warn]
  R -->|最大 severity = none| LG[log]

router 取各 classifier 中的最大 severity，并应用对应的动作。block 最大。redact + warn 变成 redact。log + warn 变成 warn。router 发出一个 Action 对象，含 verb、output、severity、verdicts 和 metadata。在下游，第 87 课的安全防护把 metadata 记进一条 trace，并选择：发出 redact 后的输出、带警告发出原文、或者把输出替换成一条 policy refusal。

每个 classifier 有自己的 redactor。PII classifier 把 name@example.com 换成 [redacted-email]、把信用卡形状的数字换成 [redacted-card]。instruction-leakage classifier 删掉看起来像 system prompt 头部的行。toxicity classifier 把命中的脏话换成 [redacted-language]。redaction 是相互独立的，所以一个同时含 toxicity 和 PII 的输出会流经两个 redactor。

toxicity classifier 故意做成基于规则的：一份精挑的骚扰关键词列表，配以以空白为边界的匹配，外加一个小小的否定窗口检查，这样 "you are not a slur" 不会触发规则。这份列表故意做得很短（本课讲的是管道铺设，不是词库建设）。PII classifier 对常见形状用标准正则。instruction-leakage classifier 在构造时接收一个 system_prompt 参数，并把它与输出做 trigram 重叠度对比；高重叠就是泄露信号。

figure
cd-output-router

动手构建 ​

code/classifiers.py 定义全部三个 classifier。每个都有一个 classify(text) -> ClassifierVerdict 方法和一个 redact(text) -> str 方法。code/main.py 定义 Router 类，含 decide(text, verdicts) -> Action 和一个 run(text) -> Action 快捷方法。demo 把三个 classifier 接在一个 router 后面，并跑一份精心构造的小语料库，逐一触发每个 severity。

实际使用 ​

运行 python3 main.py。demo 为每个测试输出打印动作 verb，写出 outputs/classifier_report.json，并确认 block、redact、warn、log 各自至少在一个 fixture 上触发。延迟被人为设为零，因为所有 classifier 都是基于规则的；换成带神经网络 classifier 的真实模型时，同一套管道在每个 classifier 延迟上升后照样适用。

拿去用 ​

outputs/skill-content-classifier-integration.md 记录了 verdict 和 action 的结构，这样第 87 课的安全防护可以消费它们。

练习 ​

  1. 增加第四个 classifier 用于 code injection（输出里含 <script>、eval( 等）。定它的 severity policy 并集成进去。
  2. 让 router 应用每个 classifier 的 severity 权重，让 PII 比 toxicity 更重。在同一批 fixture 上演示这个变化。
  3. 加一个置信度阈值，让低分 verdict 降一档 severity。扫这个阈值，报告 block 率如何变化。

关键术语 ​

术语通常用法精确含义
output classifier一个检测坏输出的模型一个返回带 severity、score 和 findings 结构化 verdict 的可调用对象，外加一个 redactor
severity有多糟none、low、medium、high 之一
router一个开关一个从 verdict 列表到动作（block、redact、warn、log）的函数
redact把坏的部分藏起来每个 classifier 各自把命中片段替换成像 [redacted-pii] 这样的标签
instruction leakage模型泄露了 system prompt一个按 trigram 重叠度把模型输出与已知 system prompt 做对比的启发式

延伸阅读 ​

第 86 课增加一个声明式规则引擎，处理那些天生不适合做成 classifier 的约束。第 87 课把两者与输入侧的 detector 组合起来。