AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

嵌入模型 —— 2026 年深入剖析 ​

Word2Vec 给你每个词一个向量。现代嵌入模型给你每段文字一个向量，跨语言，带稀疏、稠密、多向量三种视图，尺寸量身适配你的索引。挑错了，你的 RAG 就检索错东西。

类型： Learn 语言： Python 前置要求： Phase 5 · 03（Word2Vec）、Phase 5 · 14（信息检索） 预计时间： ~60 分钟

问题背景 ​

你的 RAG 系统有 40% 的时候检索错段落。罪魁祸首很少是向量数据库或 prompt，而是嵌入模型。

2026 年挑一个嵌入，意味着要在五个维度上权衡：

  1. 稠密 vs 稀疏 vs 多向量。 每段一个向量、每 token 一个向量，还是一个稀疏加权词袋。
  2. 语言覆盖。 在纯英语任务上，单语言英语模型仍然胜出。语料混合时，多语言模型胜出。
  3. 上下文长度。 512 token vs 8192 vs 32768——而真实有效容量往往只有标称上限的 60-70%。
  4. 维度预算。 3072 个 float 全精度 = 每向量 12 KB。1 亿向量时，存储是每月 1300 美元。Matryoshka 截断把它砍掉 4 倍。
  5. 开源 vs 托管。 开源权重意味着你掌控整套栈和数据。托管意味着你用掌控换永远最新。

这节课点明各种取舍，让你按证据来挑，而不是按上个季度流行什么。

核心概念 ​

稠密、稀疏、多向量嵌入

稠密嵌入。 每段一个向量（通常 384-3072 维）。余弦相似度按语义邻近度给段落排序。OpenAI text-embedding-3-large、BGE-M3 稠密模式、Voyage-3。默认选择。

稀疏嵌入。 SPLADE 风格。一个 transformer 给每个词表 token 预测一个权重，然后把大部分清零。结果是一个大小为 |vocab| 的稀疏向量。捕捉词面匹配（像 BM25）但用的是学出来的词权重。在关键词密集的查询上强。

多向量（后期交互）。 ColBERTv2、Jina-ColBERT。每 token 一个向量。用 MaxSim 打分：对每个查询 token，找最相似的文档 token，把分数加起来。存储和打分更贵，但在长查询和领域专用语料上胜出。

BGE-M3：三种一次给齐。 单个模型同时输出稠密、稀疏、多向量表示。每种都能独立查询；分数通过加权和融合。当你想从一个 checkpoint 拿到灵活性时，这是 2026 年的默认。

Matryoshka 表示学习。 训练得让向量的前 N 维自己就构成一个有用的独立嵌入。把一个 1536 维向量截成 256 维，用约 1% 的准确率换 6 倍的存储节省。OpenAI text-3、Cohere v4、Voyage-4、Jina v5、Gemini Embedding 2、Nomic v1.5+ 都支持。

MTEB 排行榜只讲了一半的故事 ​

Massive Text Embedding Benchmark——发布时（2022）8 种任务类型下的 56 个任务，到 MTEB v2 扩到 100+ 个任务。2026 年初，Gemini Embedding 2 居检索榜首（67.71 MTEB-R）。Cohere embed-v4 领跑通用（65.2 MTEB）。BGE-M3 领跑开源权重多语言（63.0）。排行榜是必要的但不充分——永远在你的领域上做基准测试。

三层模式 ​

用例模式
快速首遍稠密 bi-encoder（BGE-M3、text-3-small）
召回增强稀疏（SPLADE、BGE-M3 稀疏）+ RRF 融合
top-50 上的精度多向量（ColBERTv2）或 cross-encoder 重排器

大多数生产栈三种都用。

figure
gx-matryoshka

动手构建 ​

第 1 步：基线——用 Sentence-BERT 做稠密嵌入 ​

python
from sentence_transformers import SentenceTransformer
import numpy as np

encoder = SentenceTransformer("BAAI/bge-small-en-v1.5")
corpus = [
    "The first iPhone launched in 2007.",
    "Apple released the iPod in 2001.",
    "Android is an operating system from Google.",
]
emb = encoder.encode(corpus, normalize_embeddings=True)

query = "When was the iPhone released?"
q_emb = encoder.encode([query], normalize_embeddings=True)[0]
scores = emb @ q_emb
print(sorted(enumerate(scores), key=lambda x: -x[1]))

normalize_embeddings=True 让点积等于余弦相似度。永远设它。

第 2 步：Matryoshka 截断 ​

python
def truncate(vectors, dim):
    out = vectors[:, :dim]
    return out / np.linalg.norm(out, axis=1, keepdims=True)

emb_256 = truncate(emb, 256)
emb_128 = truncate(emb, 128)

截断后重新归一化。Nomic v1.5、OpenAI text-3、Voyage-4 都训练得让头几级这样做是无损的。非 Matryoshka 模型（原始 Sentence-BERT）被截断时会急剧退化。

第 3 步：BGE-M3 的多功能性 ​

python
from FlagEmbedding import BGEM3FlagModel

model = BGEM3FlagModel("BAAI/bge-m3", use_fp16=True)

output = model.encode(
    corpus,
    return_dense=True,
    return_sparse=True,
    return_colbert_vecs=True,
)
# output["dense_vecs"]:    (n_docs, 1024)
# output["lexical_weights"]: list of dict {token_id: weight}
# output["colbert_vecs"]:  list of (n_tokens, 1024) arrays

三个索引，一次推理调用。分数融合：

python
dense_score = ... # 稠密向量上的余弦
sparse_score = model.compute_lexical_matching_score(q_lex, d_lex)
colbert_score = model.colbert_score(q_col, d_col)
final = 0.4 * dense_score + 0.2 * sparse_score + 0.4 * colbert_score

在你的领域上调权重。

第 4 步：在自定义任务上做 MTEB 评估 ​

python
from mteb import MTEB

tasks = ["ArguAna", "SciFact", "NFCorpus"]
evaluation = MTEB(tasks=tasks)
results = evaluation.run(encoder, output_folder="./mteb-results")

在一个有代表性的子集上跑你的候选模型。别只信排行榜排名——你的领域才算数。

第 5 步：从零手搓余弦 ​

见 code/main.py。平均哈希技巧嵌入（仅标准库）。比不过 transformer 嵌入，但展示了形状：分词 → 向量 → 归一化 → 点积。

坑 ​

  • 查询和文档用同一个模型。 有些模型（Voyage、Jina-ColBERT）用非对称编码——查询和文档走不同路径。永远查模型卡。
  • 缺前缀。 bge-* 模型需要在查询前加 "Represent this sentence for searching relevant passages: "。忘了的话有 3-5 个点的召回差距。
  • Matryoshka 截过头。 1536 → 256 通常安全。1536 → 64 不安全。在你的评估集上验证。
  • 上下文截断。 大多数模型对超过最大长度的输入默默截断。长文档需要分块（见第 23 课）。
  • 忽略延迟尾部。 MTEB 分数藏住了 p99 延迟。一个 600M 模型可能比 335M 模型高 2 个点，但每查询贵 3 倍。

实际使用 ​

2026 年的栈：

场景选择
纯英语、快、APItext-embedding-3-large 或 voyage-3-large
开源权重、英语BAAI/bge-large-en-v1.5
开源权重、多语言BAAI/bge-m3 或 Qwen3-Embedding-8B
长上下文（32k+）Voyage-3-large、Cohere embed-v4、Qwen3-Embedding-8B
纯 CPU 部署Nomic Embed v2（137M 参数，MoE）
存储受限Matryoshka 截断 + int8 量化
关键词密集查询加 SPLADE 稀疏，与稠密做 RRF 融合

2026 年的模式：从 BGE-M3 或 text-3-large 起步，用 MTEB 在你的领域上评估，如果某个领域专用模型胜出超过 3 个点就换。

拿去用 ​

存为 outputs/skill-embedding-picker.md：

markdown
---
name: embedding-picker
description: Pick embedding model, dimension, and retrieval mode for a given corpus and deployment.
version: 1.0.0
phase: 5
lesson: 22
tags: [nlp, embeddings, retrieval]
---

Given a corpus (size, languages, domain, avg length), deployment target (cloud / edge / on-prem), latency budget, and storage budget, output:

1. Model. Named checkpoint or API. One-sentence reason.
2. Dimension. Full / Matryoshka-truncated / int8-quantized. Reason tied to storage budget.
3. Mode. Dense / sparse / multi-vector / hybrid. Reason.
4. Query prefix / template if required by the model card.
5. Evaluation plan. MTEB tasks relevant to domain + held-out domain eval with nDCG@10.

Refuse recommendations that truncate Matryoshka to <64 dims without domain validation. Refuse ColBERTv2 for corpora under 10k passages (overhead not justified). Flag long-document corpora (>8k tokens) routed to models with 512-token windows.

练习 ​

  1. 简单。 用 bge-small-en-v1.5 在全维（384）、再在 Matryoshka 128 下编码 100 个句子。在 10 个查询上测 MRR 的下降。
  2. 中等。 在你领域的 500 个段落上对比 BGE-M3 的稠密、稀疏、colbert。哪个在 recall@10 上胜出？RRF 融合打得过最好的单一模式吗？
  3. 困难。 在你最关注的 2 个领域任务上，对三个候选模型跑 MTEB。报告 MTEB 分数、100 查询批次上的 p99 延迟、以及每百万查询的成本。挑帕累托最优的那个。

关键术语 ​

术语人们怎么说它实际是什么
稠密嵌入那个向量每段文本一个定长向量。用余弦相似度排序。
稀疏嵌入学出来的 BM25每个词表 token 一个权重；大部分为零；端到端训练。
多向量ColBERT 式每 token 一个向量；MaxSim 打分；索引更大，召回更好。
Matryoshka俄罗斯套娃戏法前 N 维自身就是一个有效的更小嵌入。
MTEB那个基准Massive Text Embedding Benchmark——发布时 56 个任务，v2 里 100+。
BEIR那个检索基准18 个 zero-shot 检索任务；常用于衡量跨领域稳健性。
非对称编码查询 ≠ 文档路径模型对查询和文档用不同的投影。

延伸阅读 ​