AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

CLIP 与对比式视觉-语言预训练 ​

OpenAI 的 CLIP（2021）证明了一个足以撑起后续五年的想法：只用嘈杂的网络图文对加一个对比损失，就能把图像编码器和文本编码器对齐到同一个向量空间。零监督标签。4 亿对。由此得到的嵌入空间能做零样本分类、图文检索，还能作为视觉塔插进每一个 2026 年的 VLM。SigLIP 2（2025）用 sigmoid 换掉 softmax，以更低的成本把规模推过了 CLIP。本节课把从 InfoNCE 到 sigmoid 成对损失的数学走一遍，并用纯标准库 Python 把训练步骤搭出来。

类型： Build 语言： Python（标准库，InfoNCE + sigmoid 损失实现） 前置要求： Phase 12 · 01（ViT patch）、Phase 7（Transformers） 预计时间： ~180 分钟

学习目标 ​

  • 从互信息推导出 InfoNCE 损失，并实现一个数值稳定的向量化版本。
  • 解释为什么 sigmoid 成对损失（SigLIP）能扩展到 batch 32768+ 而不需要 softmax 所要求的 all-gather 开销。
  • 通过构造文本模板（a photo of a \{class\}）并对余弦相似度取 argmax，跑一次零样本 ImageNet 分类。
  • 说出 CLIP / SigLIP 预训练给你的四根杠杆：batch 大小、温度、prompt 模板、数据质量。

问题背景 ​

CLIP 之前的视觉是监督式的。收集带标签的数据集（ImageNet：120 万张图，1000 个类别），训一个 CNN，发布。标签很贵，标签会偏向标注者能达成一致的东西，而且标签不经微调就无法迁移到新任务。

图文网络上免费躺着十亿多对松散标注的数据。一张金毛的照片配着 alt text "我家的狗 Max 在公园里"，本身就带着监督信号——这段文字描述了这张图。问题是：你能把它变成有用的训练吗？

CLIP 的答案：把图文对当成一个匹配任务。给定一批 N 张图和 N 段 caption，学着在 N-1 个干扰项之中把每张图匹配到属于它自己的 caption。监督信号是"这两个东西是一对；那 N-1 个不是"。没有类别标签。没有人工标注。只有一个对比损失。

由此得到的嵌入空间能做的事远超 CLIP 训练时的目标。ImageNet 零样本能work，是因为"a photo of a cat"嵌入到了那些从未被显式标为猫的猫图片附近。正是这个赌注催生了每一个 2026 年的 VLM。

核心概念 ​

双编码器 ​

CLIP 有两座塔：

  • 图像编码器 f：ViT 或 ResNet，每张图输出一个 D 维向量。
  • 文本编码器 g：小型 transformer，每段 caption 输出一个 D 维向量。

两座塔都把输出归一化成单位长度。因为两边都是单位范数，相似度就是 cos(f(x), g(y)) = f(x)^T g(y)。

对一批 N 个 (图像, caption) 对，构建形状为 (N, N) 的相似度矩阵 S：

S[i, j] = cos(f(x_i), g(y_j)) / tau

其中 tau 是一个可学习的温度（CLIP 初始化为 0.07；在 log 空间里学）。

InfoNCE 损失 ​

CLIP 在行和列上各做一次对称的交叉熵：

loss_i2t = CE(S, labels=identity)     # 每张图的正例是它自己的 caption
loss_t2i = CE(S^T, labels=identity)   # 每段 caption 的正例是它自己的图
loss = (loss_i2t + loss_t2i) / 2

这就是 InfoNCE。CE 里的 softmax 逼着每张图与它的 caption 比 batch 里其他所有 caption 更匹配。"负例"就是 batch 里其余所有项。batch 越大 = 负例越多 = 信号越强。CLIP 用 batch 32k 训；规模很要紧。

温度 ​

tau 控制 softmax 的锐度。tau 低 → 分布尖锐，有难负例挖掘的效果。tau 高 → 柔和，所有样本都贡献。CLIP 学的是 log(1/tau)，做了裁剪以防塌缩。SigLIP 2 固定初始 tau，改用一个可学习的偏置。

为什么 sigmoid 扩展得更好（SigLIP） ​

softmax 需要整个相似度矩阵保持同步。在分布式训练里，你必须把每个嵌入 all-gather 到每个副本，再做 softmax。这在通信上是按 world size 平方增长的。

SigLIP 用逐元素的 sigmoid 换掉 softmax：对每一对 (i, j)，损失是一个"这两个是匹配对吗？"的二分类，正类标签是对角线，其余都是负类。损失为：

L = -1/N sum over (i, j) [ y_ij log sigmoid(S[i,j]) + (1-y_ij) log sigmoid(-S[i,j]) ]

i == j 时 y_ij = 1，否则为 0。每一对的损失彼此独立。不需要 all-gather。每张 GPU 算自己的本地块再求和。SigLIP 2 能廉价地扩展到 batch 32k-512k，而 CLIP 在这里需要成比例增长的通信。

零样本分类 ​

给定 N 个类名，为每个类别构建一个文本模板：

"a photo of a {class}"

用文本编码器嵌入每个模板。用图像编码器嵌入你的图像。余弦相似度的 argmax = 预测类别。在目标类别上不做任何训练。

prompt 模板很要紧。CLIP 原论文每个类别用了 80 个模板（普通、艺术、照片、绘画等等）并把嵌入取平均，ImageNet +3 分。现代用法通常挑一两个模板。

线性探针与微调 ​

零样本是个基线。线性探针（在冻结的 CLIP 特征之上为你的目标类别训一个线性层）在域内任务上胜过零样本。全量微调在域内胜过线性探针，但可能损害零样本迁移。三种范式，三种取舍。

SigLIP 2：NaFlex 与密集特征 ​

SigLIP 2（2025）新增：

  • NaFlex：单个模型处理可变长宽比和分辨率。
  • 更好的密集特征，用于分割和深度估计，瞄准在 VLM 里作为冻结骨干使用。
  • 多语言：在 100+ 种语言上训练，而 CLIP 只有英语。
  • 10 亿参数规模，而 CLIP 封顶在 4 亿。

在 2026 年的开放 VLM 里，SigLIP 2 SO400m/14 是默认视觉塔。CLIP 在纯图文检索里仍是默认选择——前提是它那套特定的 LAION-2B 训练分布与你的查询模式相符。

ALIGN、BASIC、OpenCLIP、EVA-CLIP ​

ALIGN（Google，2021）：与 CLIP 同样的想法，18 亿对规模，90% 是噪声。证明了嘈杂数据也能 scale。OpenCLIP（LAION）：在 LAION-400M / 2B 上对 CLIP 的开放复现，多种规模，是首选的开放 checkpoint。EVA-CLIP：从掩码图像建模初始化；是 VLM 的强力骨干。BASIC：Google 的 CLIP+ALIGN 混合体。都是同一个家族，数据和调参不同。

零样本天花板 ​

CLIP 类模型在 ImageNet 零样本上封顶在 76% 左右（CLIP-G、OpenCLIP-G）。再往上要么需要大得多的数据（SigLIP 2 拿到 80%+），要么需要架构改动（监督头、更多参数）。这个基准正在饱和；真正的价值是下游 VLM 消费的那个嵌入空间。

figure
multimodal-fusion

实际使用 ​

code/main.py 实现了：

  1. 一个玩具双编码器（基于哈希的图像特征、字符级的文本特征），让你不用 numpy 就能看到 InfoNCE 的形状。
  2. 纯 Python 的 InfoNCE 损失（用 log-sum-exp 保证数值稳定）。
  3. 用于对比的 sigmoid 成对损失。
  4. 一个零样本分类例程：对一组文本 prompt 计算余弦相似度，取 argmax 做预测。

跑一下，看损失曲线。绝对数值是玩具级的；曲线形状与真正的 CLIP 训练器吐出来的一致。

拿去用 ​

本节课产出 outputs/skill-clip-zero-shot.md。给定一组图像（通过路径）和一个目标类别列表，它用 CLIP 模板构建文本 prompt，用指定的 checkpoint（如 openai/clip-vit-large-patch14）嵌入两侧，返回 top-1 / top-5 预测及相似度分数。这个 skill 拒绝对不在 prompt 列表里的类别下任何断言。

练习 ​

  1. 手算一个 4 对 batch 的 InfoNCE。构造 4x4 相似度矩阵，跑 softmax，挑出对角线，算交叉熵。拿这个手算结果验证你的 Python 实现。

  2. SigLIP 在温度之外还用了一个偏置参数 b：S'[i,j] = S[i,j]/tau + b。当 batch 类别严重不平衡（每行负例远多于正例）时，b 起什么作用？读 SigLIP 第 3 节（arXiv:2303.15343）。

  3. 为猫 vs 狗建一个零样本分类器。试两个 prompt 模板：a photo of a \{class\} 和 a picture of a \{class\}。在 100 张测试图上测准确率。模板集成是否胜过单模板？

  4. 算一下 512 张 GPU、batch 32k 下 softmax InfoNCE 与 sigmoid 成对损失的通信成本。哪个是 O(N)，哪个是 O(N^2)？引用 SigLIP 第 4 节。

  5. 读 OpenCLIP 缩放定律论文（arXiv:2212.07143，Cherti 等人）。从图里复现他们关于数据缩放的结论：在固定模型规模下，ImageNet 零样本准确率与训练数据规模之间是什么样的对数线性关系？

关键术语 ​

术语大家怎么说它实际指什么
InfoNCE"对比损失"在一个 batch 的相似度矩阵上做交叉熵；每项的正例是它配对的那项，负例是其余一切
Sigmoid 损失"SigLIP 损失"逐对的二元交叉熵；无 softmax、无 all-gather，在分布式训练里廉价地扩展
温度"tau"在 softmax/sigmoid 之前缩放 logit 的标量；控制分布的锐度
零样本"免微调分类"用文本 prompt 构造类别嵌入并按余弦相似度分类；在目标类别上不训练
Prompt 模板"a photo of a ..."围绕类名的文本脚手架；让零样本准确率波动 1-5 分
双编码器"双塔"一个图像编码器 + 一个文本编码器，输出在共享的 D 维空间里
难负例"难缠的干扰项"与正例相似到模型得费劲才能分开的负例
线性探针"冻结 + 一层"只在冻结特征之上训一个线性分类器；衡量特征质量
NaFlex"原生灵活分辨率"SigLIP 2 的能力：以任意长宽比和分辨率摄入图像而无需缩放
温度缩放"对数参数化的 tau"CLIP 参数化 log(1/tau) 让梯度表现良好；裁剪以防塌缩到接近零的 tau

延伸阅读 ​