AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

Flamingo 与用于少样本 VLM 的门控交叉注意力 ​

DeepMind 的 Flamingo（2022）抢在所有人前面做了两件事。它证明了单个模型能处理任意交错的图像、视频、文本序列。它还证明了 VLM 能做 in-context 学习——给一个带三个 (图像, caption) 示例的少样本 prompt，模型就能给一张新图配上 caption，一步梯度都不走。机制是：门控交叉注意力层，插在冻结 LLM 已有的层之间，配一个从零起步的可学习 tanh 门，于是 LLM 的文本能力在初始化时被完整保留。本节课走一遍 Flamingo 的 Perceiver resampler 和门控交叉注意力架构——它是 Gemini 交错输入和 Idefics2 视觉 token 的祖先。

类型： Learn 语言： Python（标准库，门控交叉注意力 + Perceiver resampler 演示） 前置要求： Phase 12 · 03（BLIP-2 Q-Former） 预计时间： ~120 分钟

学习目标 ​

  • 解释门控交叉注意力如何通过 tanh(gate) = 0 在初始化时保留冻结 LLM 的文本能力。
  • 走一遍 Perceiver resampler：N 个图像 patch → 通过交叉注意力变成 K 个固定的"latent"query。
  • 描述 Flamingo 如何用尊重图像位置的因果掩码来处理交错的图文序列。
  • 复现一个少样本多模态 prompt 结构（3 个图-caption 示例后接一张查询图）。

问题背景 ​

BLIP-2 把 32 个视觉 token 喂进冻结 LLM 的输入层。每个 prompt 一张图时这能用。但如果你想喂很多张图、和文本交错呢，就像"这是图 A，给它配 caption；这是图 B，给它配 caption；现在这是图 C，给它配 caption"？LLM 的自注意力就得在单一一条流里同时处理图像 token 和文本 token，而哪些位置能关注哪些图像这个问题会变得很烦人。

Flamingo 的答案：根本不改 LLM 的输入流。在已有的 LLM 块之间插入额外的交叉注意力层。文本 token 照旧流过 LLM 的因果自注意力。每隔几个 LLM 块，文本 token 还会通过一个新的门控层交叉关注图像特征。这个门（初始化为零）意味着第 0 步时新层是 no-op——模型的行为与预训练 LLM 一模一样。随着训练推进，门打开，视觉信息开始流入。

Flamingo 回答的第二个问题：每个 prompt 里图像数量可变（0 张、1 张或很多张）时怎么处理？用一个 Perceiver resampler——一个小型交叉注意力模块，无论你有多少个 patch，都产出固定数量的视觉 latent token。无论 prompt 里有几张图，LLM 的交叉注意力层看到的形状都一样。

核心概念 ​

冻结的 LLM ​

Flamingo 从一个冻结的 Chinchilla 70B LLM 起步。全部 70B 权重原封不动。已有的文本自注意力和 FFN 正常运转。

Perceiver resampler ​

对 prompt 里的每张图，ViT 产出 N 个 patch token。Perceiver resampler 有 K 个固定的可学习 latent（Flamingo 用 K=64）。每个 resampler 块分两个子步骤：

  1. 交叉注意力：K 个 latent 关注 N 个 patch token（Q 来自 latent，K/V 来自 patch）。
  2. latent 内部的自注意力 + FFN。

过完 6 个 resampler 块，输出是 K=64 个维度 1024 的视觉 token，无论 ViT 产出了多少 patch。一张 224x224 的图（196 个 patch）和一张 480x480 的图（900 个 patch）都以 64 个 resampler token 的形式出来。

对视频，resampler 在时间维上应用：每帧的 patch 产出 64 个 latent，一个时间位置编码让模型能区分 t=0 和 t=N。整段视频变成 T * 64 个视觉 token。

门控交叉注意力 ​

在冻结 LLM 每隔 M 层（Flamingo 用 M=4），插入一个新的门控交叉注意力块：

x_after_llm_block = llm_block(x_before)
cross = cross_attn(x_after, resampler_output)
gated = tanh(alpha) * cross + x_after
x_before_next_block = gated
  • alpha 是一个初始化为零的可学习标量。
  • tanh(0) = 0，所以初始化时门控分支贡献为零。
  • 随着 alpha 偏离零，交叉注意力的贡献平滑增长。
  • 残差连接意味着即使门完全打开，也不会覆盖 LLM 的文本表示；它只是在上面叠加视觉信息。

这是 Flamingo 里最重要的一个设计选择：视觉条件是加性的、门控的、初始化为零的。第 0 步的 Flamingo 在纯文本输入上是一个完美的 Chinchilla 70B。

用于交错输入的掩码交叉注意力 ​

在像"<image A> caption A <image B> caption B <image C> ?"这样的 prompt 里，每个文本 token 应该只看到序列中排在它前面的图像。交叉注意力掩码强制：位置 t 处的文本 token 只关注图像索引 i < i_t 的那些图像 resampler token，其中 i_t 是位置 t 之前最近的那张图。"只看最近的前一张图"和"看前面所有图"都是合法选择；Flamingo 选了前者。

in-context 少样本学习 ​

一个 Flamingo prompt 长这样：

<image1> A photo of a cat. <image2> A photo of a dog. <image3> A photo of a

模型看到这个补全模式，输出"bird"（或 image3 显示的任何东西）。不走梯度。冻结 LLM 的 in-context 学习能力穿过门控交叉注意力传递了过来——这是论文的点睛之处，也是它重要的原因。

训练数据 ​

Flamingo 在三个数据集上训练：

  1. MultiModal MassiveWeb（M3W）：4300 万个图文交错的网页，重建了阅读顺序。
  2. 图文对（ALIGN + LTIP）：44 亿对。
  3. 视频文本对（VTP）：2700 万段短视频。

OBELICS（2023）是交错网页语料的开放复现，Idefics、Idefics2 和大多数开放的"类 Flamingo"模型都在它上面训练。

OpenFlamingo 与 Otter ​

OpenFlamingo（2023）是开放复现。架构完全相同（Perceiver resampler + 冻结 LLaMA 或 MPT 上的门控交叉注意力）。有 3B、4B、9B 的 checkpoint。由于基座 LLM 更小、数据更少，质量落后于 Flamingo。

Otter（2023）在 OpenFlamingo 基础上用 MIMIC-IT（一个多模态指令数据集）做指令微调，证明了门控交叉注意力对指令遵循也有效。

后代 ​

  • Idefics / Idefics2 / Idefics3：Hugging Face 的门控交叉注意力一脉，逐步简化（Idefics2 砍掉了 resampler，改用带自适应池化的直接 patch token）。
  • Flamingo 到 Chameleon 的转变：到 2024 年许多团队转向早融合（第 12.11 课）；在需要冻结骨干的场景里，Flamingo 式门控交叉注意力仍在生产中。
  • Gemini 的交错输入：概念上继承了 Flamingo 交错格式的灵活性，尽管确切机制是专有的。

与 BLIP-2 的对比 ​

BLIP-2Flamingo
视觉桥输入处一次 Q-Former每 M 层一次门控交叉注意力
视觉 token每张图 32 个每张图每个交叉注意力层 64 个
冻结 LLM是是
少样本 in-context弱强——论文的核心卖点
交错输入无原生支持有，正是设计目标
训练数据1.3 亿对13 亿对 + 4300 万交错页
参数量训 188M训约 10B（交叉注意力层）
算力8 张 A100 跑几天上千张 TPUv4 跑几周

预算有限做单图 VQA 选 BLIP-2。做交错、少样本或多图推理选 Flamingo/Idefics2。

figure
cross-attention-fusion

实际使用 ​

code/main.py 演示：

  1. 在 36 个假 patch token 上跑一个带 8 个可学习 latent 的 Perceiver resampler（纯 Python 交叉注意力）。
  2. 一个门控交叉注意力步骤：alpha = 0 → 输出等于输入（LLM 不变），然后 alpha = 2.0 → 视觉贡献被混入。
  3. 一个交错掩码构建器，为"(图 1) (文本 1) (图 2) (文本 2)"序列产出二维注意力掩码。

拿去用 ​

本节课产出 outputs/skill-gated-bridge-diagnostic.md。给定一个开放 VLM 的配置（是否有 resampler、交叉注意力频率、门控方案），它识别出 Flamingo 一脉的元素，并解释冻结策略。这对排查"为什么一次微调把文本性能搞退化了"很有用（答案：门开得太快太大了）。

练习 ​

  1. 算一下 Flamingo-9B 的视觉参数量：9B LLM + 1.4B 门控交叉注意力层 + 64M resampler。被训练的参数占总数的多少？

  2. 用 PyTorch 实现门控残差 y = tanh(alpha) * cross + x。用实验展示：alpha=0 时，初始化处 y==x 完全相等。

  3. 读 OpenFlamingo 第 3.2 节（arXiv:2308.01390），看他们在一个 batch 里每个 prompt 图像数量不同时是怎么处理多张图的。描述其填充策略。

  4. 为什么 Flamingo 的交叉注意力掩码让文本 token 只关注最近的前一张图，而不是前面所有图？读 Flamingo 论文第 2.4 节并解释这个取舍。

  5. in-context 少样本：为一个新的 Flamingo 变体构造一个带 4 个"图像 → 主体物体颜色"示例的 prompt。描述当你把示例数从 0 变到 8 时预期的准确率走势。

关键术语 ​

术语大家怎么说它实际指什么
Perceiver resampler"固定 latent 交叉注意力"从数量可变的输入 patch 产出 K 个固定 token 的模块
门控交叉注意力"tanh 门控桥"残差层 y = tanh(alpha)*cross + x，alpha 可学习，初始为 0
交错输入"混合序列"图像和文本按阅读顺序自由混排的 prompt 格式
冻结 LLM"无 LLM 梯度"文本 LLM 权重不更新；只训 resampler + 交叉注意力层
少样本"in-context 示例"在 prompt 里给几个 (图像, 答案) 对；模型无需微调即泛化
OBELICS"交错网页语料"一个开放数据集，1.41 亿个按阅读顺序排布图像和文本的网页
Chinchilla"70B 冻结基座"Flamingo 冻结的文本 LLM，来自 DeepMind 的 Chinchilla 论文
门控调度"alpha 怎么变"训练中交叉注意力门打开的速率
交叉注意力频率"每 M 层"多久插入一个门控交叉注意力块；Flamingo 用 M=4
OpenFlamingo"开放复现"MosaicML/LAION 的 3-9B 开放 checkpoint；架构与 Flamingo 完全相同

延伸阅读 ​