Q：RAG 过程中如何处理文件里的图片？

来源：字节暑期agent实习二面

新手答：”把图片转成文字再检索。”

高手答：

RAG 中图片处理是多模态 RAG 的核心问题，主流方案：

1. 图片→文本描述（OCR + Caption）：用 OCR 提取图中文字，用多模态模型（如 GPT-4V/Qwen-VL）生成图片描述，将描述文本一起做 Embedding 索引
2. 多模态 Embedding 直接索引：用 CLIP 等模型直接将图片编码为向量，和文本向量放同一向量空间，支持跨模态检索
3. 图文联合分块：在 chunk 切分时保持图片与其上下文段落的关联——图片属于哪个段落，chunk 就包含”段落文本 + 图片描述/图片引用”
4. Layout-Aware 解析：用 PDF 解析工具（如 Unstructured、Marker）识别图片在文档中的位置和语义角色（图表？示意图？截图？），不同类型用不同处理策略
5. 延迟处理：检索阶段只用文本索引，召回相关 chunk 后发现有关联图片时，再把图片和文本一起送多模态模型做最终回答

差距在哪：面试官关注你对”多模态信息如何融入检索链路”的工程思考——不是有 OCR 就够了，要考虑检索效果和成本的平衡。