AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

顶点项目 04 —— 多模态文档问答（视觉优先的 PDF、表格、图表） ​

2026 年文档问答的前沿，从“先 OCR 再处理文本”转向了视觉优先的后期交互（late interaction）。ColPali、ColQwen2.5、ColQwen3-omni 把每一页 PDF 当成图像，用多向量后期交互做 embedding，让查询直接对 patch 做注意力。在财务 10-K、科学论文、手写笔记上，这套范式大幅领先于 OCR 优先。在 1 万页上端到端搭出这条流水线，再发一份跟“先 OCR 再处理文本”并排对比的报告。

类型： Capstone 语言： Python（流水线）、TypeScript（查看器 UI） 前置要求： 第 4 阶段（计算机视觉）、第 5 阶段（NLP）、第 7 阶段（transformer）、第 11 阶段（LLM 工程）、第 12 阶段（多模态）、第 17 阶段（基础设施） 涉及阶段： P4 · P5 · P7 · P11 · P12 · P17 预计时间： 30 小时

问题背景 ​

企业手里压着一堆被 OCR 流水线糟蹋的 PDF：带旋转表格的扫描版 10-K、公式密布的科学论文、只有当成图像才说得通的图表、手写批注。把这些当成文本优先来处理，等于丢掉一半信号。2026 年的答案是在原始页面图像上做后期交互的多向量检索。ColPali（Illuin Tech）提出了它；ColQwen2.5-v0.2 和 ColQwen3-omni 把准确率往上推。在 ViDoRe v3 上，视觉优先检索以可观的幅度领先“先 OCR 再处理文本”——而且在图表、表格、手写上这个差距还会拉大。

代价是存储和延迟。一个 ColQwen embedding 是每页约 2048 个 patch 向量，而不是单个 1024 维向量。原始存储会爆涨。DocPruner（2026）带来 50% 的剪枝且无可测量的准确率损失。你要给 1 万页建索引，衡量 ViDoRe v3 的 nDCG@5，在 2s 内给出答案，并直接跟“先 OCR 再处理文本”的基线对比。

核心概念 ​

后期交互意味着每个查询 token 都对每个 patch token 打分，再把每个查询 token 的最大分加起来。你拿到细粒度的匹配，不需要单个池化向量。一个多向量索引（Vespa、Qdrant 多向量，或 AstraDB）存这些逐 patch 的 embedding，检索时跑 MaxSim。

作答器是一个视觉-语言模型，它接收查询加 top-k 个检索到的页面图像，写出一个带证据区域（bounding box 或页面引用）的答案。Qwen3-VL-30B、Gemini 2.5 Pro、InternVL3 是 2026 年的前沿选择。对于公式和科学记号，一个 OCR 兜底（Nougat、dots.ocr）作为可选的文本通道拼进来。

评测是一个二维矩阵。一个轴：内容类型（纯文本段落、密集表格、柱状/折线图、手写笔记、公式）。另一个轴：检索方式（视觉优先后期交互 vs 先 OCR 再处理文本 vs 混合）。每个格子拿到 nDCG@5 和答案准确率。这份报告就是交付物。

架构 ​

PDFs -> page renderer (PyMuPDF, 180 DPI)
           |
           v
  ColQwen2.5-v0.2 embed (multi-vector per page, ~2048 patches)
           |
           +------> DocPruner 50% compression
           |
           v
   multi-vector index (Vespa or Qdrant multi-vector)
           |
query ----+----> retrieve top-k pages (MaxSim)
           |
           v
  VLM answerer: Qwen3-VL-30B | Gemini 2.5 Pro | InternVL3
    inputs: query + top-k page images + optional OCR text
           |
           v
  answer with cited page numbers + evidence regions
           |
           v
  Streamlit / Next.js viewer: highlighted boxes on source page

技术栈 ​

  • 页面渲染：PyMuPDF（fitz），180 DPI，竖排归一化
  • 后期交互模型：ColQwen2.5-v0.2 或 ColQwen3-omni（Hugging Face 上的 vidore 团队）
  • 索引：带多向量字段的 Vespa，或 Qdrant 多向量，或带 MaxSim 的 AstraDB
  • 剪枝：DocPruner 2026 策略（保留高方差 patch，50% 压缩、准确率损失 < 0.5%）
  • OCR 兜底（公式 / 密集表格）：dots.ocr 或 Nougat
  • VLM 作答器：自托管 Qwen3-VL-30B 或托管 Gemini 2.5 Pro；InternVL3 作兜底
  • 评测：ViDoRe v3 基准、多页推理用 M3DocVQA
  • 查看器 UI：Next.js 15，用 canvas 叠加证据区域
figure
ce-late-interaction

动手构建 ​

  1. 摄入。 遍历一份横跨 10-K、科学论文、扫描文档的 1 万页 PDF 语料。把每页渲染成 1536x2048 的 PNG。持久化 \{doc_id, page_num, image_path\}。

  2. embedding。 在每个页面图像上跑 ColQwen2.5-v0.2。输出形状约为 2048 个维度 128 的 patch embedding。用 DocPruner 留下信号最强的一半。写进 Vespa 多向量字段或 Qdrant 多向量。

  3. 查询。 对每个进来的查询，用查询塔做 embedding（token 级 embedding）。对索引跑 MaxSim：对每个查询 token，取它对页面 patch embedding 的最大点积，再求和。返回 top-k 个页面。

  4. 合成。 用查询和 top-5 页面图像调用 Qwen3-VL-30B。prompt：“只用提供的页面作答。每条断言都按 (doc_id, page) 引用，并指出区域（图、表、段落）。”

  5. 证据区域。 后处理答案，抽出被引用的区域。如果 VLM 吐出 bounding box（Qwen3-VL 会），就在查看器里把它们渲染成叠加层。

  6. OCR 兜底。 对被判定为公式密集的页面（基于图像方差的启发式），跑 Nougat 或 dots.ocr，把 OCR 文本作为图像之外的额外通道一并传入。

  7. 评测。 跑 ViDoRe v3（检索 nDCG@5）和 M3DocVQA（多页问答准确率）。同时用同一个合成器在同一份语料上跑“先 OCR 再处理文本”的流水线。产出一个 内容类型 × 方式 的矩阵。

  8. UI。 先做 Streamlit 原型；再做 Next.js 15 生产查看器，逐页叠加证据区域。

实际使用 ​

$ doc-qa ask "what was the 2024 operating margin change for segment EMEA?"
[retrieve]   top-5 pages in 320ms (ColQwen2.5, MaxSim, Vespa)
[synth]      qwen3-vl-30b, 1.4s, cited (form-10k-2024, p. 88) + (..., p. 92)
answer:
  EMEA operating margin moved from 18.2% to 16.8%, a 140bp decline.
  cited: 10-K-2024.pdf p.88 (Table 4, Segment Operating Margin)
         10-K-2024.pdf p.92 (MD&A, Operating Performance)
[viewer]     open with highlighted bounding boxes overlaid on p.88 Table 4

拿去用 ​

outputs/skill-doc-qa.md 描述交付物：一个视觉优先的多模态文档问答系统，针对某份具体语料调优，并在 ViDoRe v3 上对照“先 OCR 再处理文本”的基线评测。

权重标准怎么衡量
25ViDoRe v3 / M3DocVQA 准确率跟 OCR 文本基线和公开榜单对比的基准数字
20证据区域落地被引用区域中实际包含答案区间的占比
20存储与延迟工程DocPruner 压缩比、索引 p95、答案 p95
20多页推理在一份手工标注的 100 问多页集上的准确率
15来源核查体验查看器清晰度、叠加保真度、并排对比工具
100

练习 ​

  1. 在同一份语料上衡量 ColQwen2.5-v0.2 vs ColQwen3-omni。哪些页面是一个对、另一个漏的？给索引加一个“内容类别”标签，按类型路由。

  2. 激进地剪枝 embedding（75%、90%）。找到那道压缩悬崖：ViDoRe nDCG@5 跌破 OCR 基线的那个点。

  3. 做一个混合：并行跑“先 OCR 再处理文本”和 ColQwen，用 RRF 融合，再用 cross-encoder 重排。混合会不会胜过单独任一种？它在哪里帮助最大？

  4. 把 Qwen3-VL-30B 换成更小的 VLM（Qwen2.5-VL-7B）。衡量每美元准确率曲线。

  5. 加上手写笔记支持。渲染手写语料，用 ColQwen 做 embedding，衡量检索。跟手写 OCR 流水线对比。

关键术语 ​

术语大家嘴上怎么说它实际是什么
Late interaction（后期交互）“ColPali 风格的检索”查询 token 独立地对页面 patch 打分；MaxSim 做聚合
Multi-vector（多向量）“逐 patch 的 embedding”每个文档有很多向量，而不是一个池化向量
MaxSim“后期交互打分”对每个查询 token，取它对文档向量的最大相似度；再求和
DocPruner“patch 压缩”2026 年的剪枝，保留 50% 的 patch，准确率损失可忽略
ViDoRe v3“文档检索基准”衡量视觉文档检索的 2026 年标准
Evidence region（证据区域）“被引用的 bounding box”源页面上定位答案区间的一个 bbox
OCR fallback（OCR 兜底）“公式通道”对公式或表格密集的页面，跟视觉并用的文本流水线

延伸阅读 ​