AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

Vision-Language 预训练 ​

encoder、projection、decoder 都接好了。现在把它们放在一起训练。两个目标驱动学习：一个对比式的 image-text loss（InfoNCE），把匹配的对在联合 embedding 空间里拉近；一个语言建模 loss，要求 decoder 为每张图写 caption。两者结合，既教会网络为一句 caption 找到对的图，也教会它为一张图写出 caption。

类型： Build 语言： Python 前置要求： 第 19 阶段第 30-37 课（Track B 基础） 预计时间： ~90 分钟

学习目标 ​

  • 在一个 batch 的 image-caption 对上实现 InfoNCE 对比 loss。
  • 把对比 loss 和自回归语言建模 loss 组合起来。
  • 合成一个 200 对的 mock image-caption 语料，无需下载任何真实数据集。
  • 跑一个 50 步的 demo 训练循环，观察两个 loss 都在下降。

问题 ​

一个视觉语言模型需要两种本领。它得会排序：给一句 caption，在众多图里找到对的那张。它还得会生成：给一张图，写一句 caption。只在一种本领上预训练模型，你得到的是半个系统。CLIP 把排序做到了极致，却不会 captioning。GPT-4V 会 captioning，但排序用的是一个单独的检索头。多目标预训练一遍拿下两者。

InfoNCE 负责排序这一半。对于一个 N 对的 batch，模型把 N 个匹配对当作正例，把 N^2 - N 个不匹配对当作负例，然后在得到的 (N, N) 相似度矩阵上跑交叉熵 loss。LM loss 负责生成那一半：以图像为条件做标准的 next-token 预测。两个 loss 都可微，并且可以共享 encoder、projector 和 decoder 的权重。

核心概念 ​

mermaid
flowchart TB
  Batch[N 个 image-caption 对的 batch] --> Enc[视觉 encoder]
  Batch --> Tok[tokenize caption]
  Enc --> Pool[CLS pool + projection]
  Tok --> TxtEnc[text encoder mean pool]
  Pool --> ImgEmb[image embedding N x D]
  TxtEnc --> TxtEmb[text embedding N x D]
  ImgEmb --> Sim[相似度矩阵 N x N]
  TxtEmb --> Sim
  Sim --> CL[InfoNCE 双向]
  Enc --> Dec[cross-attention decoder]
  Tok --> Dec
  Dec --> LM[语言建模交叉熵]
  CL --> Total[contrastive + LM]
  LM --> Total

一段话讲清 InfoNCE ​

把 N 个 image embedding 堆成行，把 N 个 text embedding 也堆成行。两者都做 L2 归一化。计算 N x N 的矩阵 S = I T^T / tau，其中 tau 是一个可学习的温度。对角线上的项是匹配对；非对角线上的项是负例。施加交叉熵，目标的 argmax 沿对角线走：第 i 行应该在第 i 列取得最高值。沿列对称地再做一遍。总 loss 是两者的平均。这就是 8 行写出来的 CLIP loss。

温度很关键 ​

温度 tau 控制 softmax 有多尖。太小（例如 tau = 0.01），梯度就只来自最难的那个负例，训练很噪。太大，softmax 就摊平了，梯度消失。CLIP 把 tau 当作一个参数来学；这里的 demo 也一样。

语言建模 loss ​

decoder 通过 cross-attention 消费 image memory token，在每个位置预测下一个 text token。loss 是带 next-position 目标的标准交叉熵。padding 位置被从 loss 里 mask 掉。

组合两个 loss ​

total = contrastive + lm_weight * lm，其中 lm_weight 是一个标量（常取 1.0）。两个 loss 共享流进 encoder 和 projection 的梯度；只有 decoder 收到 LM-loss 的梯度。这就是 CoCa、BLIP、SigLIP 风格模型都在用的多任务配方，只是权重各异。

组件Loss 面影响范围
InfoNCE联合空间里的对排序Encoder + projection + text head
LM以图像为条件的 token 预测Encoder + projection + decoder
Combined多任务整个系统

为什么 demo 跑 50 步就够 ​

mock 语料是一个合成的 200 对集合，图像是随机的，caption id 也是随机的。batch size 16 跑 50 步 SGD 之后，两个 loss 都明显下降，即便其绝对值仍高于真实数据模型能达到的水平。demo 的意义是确认梯度管路端到端打通，以及加上 LM loss 不会让对比目标失稳。

figure
ch-infonce-diagonal

动手实现 ​

code/main.py 实现了：

  • MultimodalModel，组合了一个小 ViT encoder、MLP projector、一个极小的 text 侧 encoder（对 embedded id 做 mean-pool），以及第 61 课的 cross-attention decoder。
  • info_nce_loss(image_emb, text_emb, temperature)，双向的 CLIP 风格对比 loss。
  • lm_loss(logits, target_ids, padding_id)，带 mask 的 next-token 交叉熵。
  • make_mock_corpus(seed, n_pairs)，返回 200 个确定性的 (image, caption_ids) 对。
  • 一个训练循环，跑 50 步，batch size 16，Adam 优化器，带一个可学习的 log-temperature 参数。每 5 步打印两个 loss。

运行它：

bash
python3 code/main.py

输出：对比 loss 从约 ln(16) = 2.77 降向 2.4；LM loss 从随机均匀的 baseline ln(512) ≈ 6.24 降向约 4.7。两者的下降证明梯度接对了。真实模型要训练数百万步；动态过程是一样的。

实战应用 ​

这是以下模型交付的同一套 loss 配方：

  • CLIP（2021）。 仅 image-text 对比，外加一个单独的冻结-encoder caption 探针。
  • CoCa（2022）。 image-text 对比加 image-captioning LM loss，在一个模型里。本课构建的正是这个模式。
  • BLIP（2022）和 BLIP-2。 对比加 LM 加 image-text matching 头。三个 loss 组合。
  • SigLIP（2023）。 把 InfoNCE 换成 sigmoid 对 loss；对比角色相同，函数形式不同。
  • LLaVA 系列。 两阶段训练，第一阶段是对齐（在冻结 LM 上做 cosine），第二阶段加上 LM loss 并解冻 LM。第 60 课对应第一阶段；本课对应第二阶段。

测试 ​

code/test_main.py 覆盖了：

  • InfoNCE loss 在 image/text 行之间是对称的
  • 当相似度矩阵是一个由大正数构成的完美对角线时，InfoNCE loss 返回 0
  • LM loss 正确地 mask 掉 padding 位置
  • 模型 forward 无错地产出两个 loss
  • 5 步训练循环降低了组合 loss

运行它们：

bash
python3 -m unittest code/test_main.py

练习 ​

  1. 把 InfoNCE 换成 SigLIP 风格的 sigmoid 对 loss，在 mock 语料上对比收敛情况。

  2. 加一个 hard-negative mining 步骤：每隔一个 batch，从上一个 batch 选出最难的那个非对角线对并追加进来。训练并检查对比 loss 是否下降更快。

  3. 在联合 embedding 之上加一个 image-text matching 的二分类头（true/false：这两个匹配吗？）作为第三个 loss，复现 BLIP 的三头设置。

  4. 把 mock 语料换成由 Markov 链抽取的 caption-id 序列，链的转移矩阵以 image hash 为条件。captioning loss 应该会下降得更多，因为有了真正可学习的信号。

  5. 用 lm_weight = 0 训练同一个模型，再用 lm_weight = 1 训一次。对比对比 loss；LM loss 不应该让排序目标退步。

关键术语 ​

术语含义
InfoNCE噪声对比估计：在相似度矩阵上做交叉熵
Temperature控制对比 softmax 有多尖的标量
Hard negative模型觉得难分辨的非对角线对，适合用来采样
LM losscaptioning 侧的标准 next-token 交叉熵
Joint embedding space投影后 image 和 text 向量共处的共享空间

延伸阅读 ​

  • CLIP 论文，原始的对比配方。
  • CoCa 论文，对比加 captioning 在一个模型里。
  • SigLIP 论文，sigmoid 对 loss 变体，以及它为什么扩展性更好。