M
Maximum Marginal Relevance (MMR)
- 分类: 检索与生成
- 实际含义: 一种选择规则,在与查询的相关性和相对于已选条目的新颖性之间取得平衡。
- 为什么重要: 它可以减少重复的 chunk,使有限的上下文预算覆盖更多不同的证据。
- 实际使用: 先检索候选池,再使用有文档说明的相关性—多样性权重选择下一项,并同时评估答案质量和来源覆盖度。
- 常见混淆: MMR 对已有候选集合进行多样化;它不会检索缺失的证据,也不能证明所选段落正确。
- 相关术语: Reranker, Chunking, RAG (Retrieval-Augmented Generation), Grounding
- 来源: The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries
MCP (Model Context Protocol)
- 分类: Agent 与工具
- 常见说法: 让 AI 应用连接工具和上下文的一种标准方式。
- 实际含义: 一种开放协议,host 可借助已定义的消息生命周期和传输绑定,连接到暴露工具、资源、prompt 等能力的 server。
- 常见混淆: MCP 标准化能力发现和交换,但它本身不决定调用哪个工具是安全的,也不自行授予权限。
- 学习课程: Model Context Protocol
- 来源: Model Context Protocol specification
- 相关术语: Function Calling, Tool Contract, Least Privilege
Membership Inference
- 分类: 安全与治理
- 实际含义: 一种攻击:通过观察模型输出或其他可访问的信号,推测某条特定记录或样本是否被包含在模型训练数据中。
- 为什么重要: 即使模型不会逐字复现某条记录,可区分的行为仍可能泄露其是否参与了敏感数据集。
- 实际使用: 在真实查询接口下测试有代表性的成员和非成员,限制不必要的置信度信号,减少数据暴露,并根据效用要求评估隐私防护。
- 常见混淆: Membership inference 询问记录是否参与训练。Model extraction 试图复现模型行为,而直接 memorization 测试则询问能否恢复内容。
- 学习课程: Differential Privacy for LLMs
- 相关术语: Data Leakage, Data Minimization, Eval Set, Data Classification
- 来源: Membership Inference Attacks Against Machine Learning Models
Mixed Precision
- 分类: 数学与训练
- 常见说法: 使用低精度算术来节省速度和内存。
- 实际含义: 一种数值策略,对不同运算使用不同数据类型:通常为许多矩阵运算使用较低精度,并为需要更大数值范围或稳定性的值使用较高精度。
- 常见混淆: 对速度、内存和准确率的影响取决于硬件、数据类型、缩放方法、kernel 和模型,并不是固定倍数。
- 相关术语: Tensor, CUDA, NaN (Not a Number), Quantization
Modality
- 分类: 多模态系统
- 实际含义: 一种具有自身结构和采集过程的信息形式,例如文本、图像、音频、视频、深度信息或传感器测量值。
- 为什么重要: 不同模态具有不同的采样率、噪声、空间或时间结构以及缺失数据行为,因此一种预处理假设很少能适用于所有模态。
- 实际使用: 在设计对齐或融合前,记录每种模态的来源、单位、分辨率、时间信息、预处理和缺失值策略。
- 常见混淆: 模态不只是文件扩展名或特征列。多种编码可以表示同一种模态,一个样本也可以包含多种模态。
- 学习课程: MIO Any-to-Any Streaming
- 相关术语: Multimodal Model, Token, Tensor, Embedding
- 来源: ImageBind: One Embedding Space To Bind Them All; Multimodal Machine Learning: A Survey and Taxonomy
Modality Alignment
- 分类: 多模态系统
- 实际含义: 学习或建立不同模态表示之间的对应关系,以便匹配语义上或时间上相关的条目。
- 为什么重要: 当系统无法跨结构不同的输入连接同一事件、对象或概念时,融合和跨模态检索就会失败。
- 实际使用: 定义正样本对和负样本对,保留时间或空间元数据,评估错配示例,并将对齐与下游任务准确率分开衡量。
- 常见混淆: 对齐使表示能够比较或建立对应关系;它不要求表示变得完全相同,也不要求抹去模态特有的信息。
- 学习课程: Projection Layer Modality Alignment
- 相关术语: Shared Embedding Space, Contrastive Learning, Grounding, Multimodal Fusion
- 来源: Learning Transferable Visual Models From Natural Language Supervision
Model Card
- 分类: 评估与安全
- 实际含义: 一份结构化报告,描述模型的预期用途、评估条件、性能特征、局限性以及相关的伦理或安全考量。
- 为什么重要: 它为下游构建者提供背景,帮助判断已报告的证据是否适用于其用户和部署条件。
- 实际使用: 记录模型版本、训练和评估范围、子群体结果、已知失效模式、禁止用途以及每项声明的日期。
- 常见混淆: Model card 用于传达证据和局限性;它不是认证、担保、系统威胁模型,也不能替代针对具体部署的评估。
- 相关术语: Eval Set, Dataset Split, Distribution Shift, Alignment
- 来源: Model Cards for Model Reporting
Model Router
- 分类: AI-native 开发
- 实际含义: 一个组件,依据能力、延迟、成本、上下文大小、政策和当前可用性等要求,为请求选择模型或 provider。
- 为什么重要: 不同任务和故障条件适合不同模型;路由无需将每个请求发送给最大模型,也能提升结果质量。
- 实际使用: 将低风险提取任务发送给快速模型,将复杂代码审查发送给能力更强的模型,并且只故障转移到满足相同数据政策的 provider。
- 常见混淆: 路由是一项政策决策;随机负载均衡只是在分配流量。
- 相关术语: Evaluation (Eval), Circuit Breaker, Rate Limit, Cost per Successful Task
Model Serving
- 分类: 基础设施与服务
- 实际含义: 一层运行时和 API,负责加载带版本的模型产物、接受 inference 请求、调度执行、管理资源,并在运维契约下返回结果。
- 为什么重要: 如果未明确工程化排队、batching、放置、版本控制、取消和响应边界,再强大的模型也可能产出不可靠的产品。
- 实际使用: 固定模型和 tokenizer 版本,验证请求限制,暴露就绪状态和延迟信号,控制并发,并在将生产流量路由过去前测试回滚。
- 常见混淆: Model serving 的范围大于一次 inference 调用,小于完整应用;完整应用还可能包括检索、工具、政策和用户状态。
- 学习课程: Self-Hosted Serving Selection
- 相关术语: Inference, Model Router, Autoscaling, Observability
- 来源: Clipper
MoE (Mixture of Experts)
- 分类: 模型与推理
- 常见说法: 对每个 token 只激活部分参数的大型模型。
- 实际含义: 一种架构,包含多个 expert 子网络以及一个学习到的 router,后者为每个输入单元(通常是每个 token)选择其中一部分。稀疏激活无需在每次前向传播中使用所有 expert,也能增加总参数容量。
- 为什么重要: 计算、内存、通信、路由均衡和质量取决于具体架构与 serving 系统。
- 常见混淆: 除非模型开发者披露,否则产品名称不能证明其采用了 MoE 架构。
- 学习课程: Mixture of Experts
- 相关术语: Transformer, Model Router, Parameter
Multimodal Fusion
- 分类: 多模态系统
- 实际含义: 将来自一种以上模态的证据或学习到的表示结合起来,生成联合表示、预测或输出。
- 为什么重要: 各模态可以提供互补证据,但朴素的组合可能放大噪声、时间误差,或让某一信息流占据主导。
- 实际使用: 建立单模态基线,明确融合点和 mask,测试缺失与矛盾的输入,并报告每个已评估切片由哪些模态驱动。
- 常见混淆: Fusion 是组合操作;alignment 建立对应关系;仅将两种模态放进一个请求,并不能证明两者任一项已成功发生。
- 学习课程: Cross-Attention Fusion
- 相关术语: Early Fusion, Late Fusion, Cross-Attention, Modality Alignment
- 来源: Multimodal Deep Learning; Multimodal Machine Learning: A Survey and Taxonomy
Multimodal Model
- 分类: 多模态系统
- 实际含义: 一种模型,通过表示、对齐、融合、翻译或协同预测,从一种以上模态学习、关联或生成内容。
- 为什么重要: 多模态能力取决于模态如何交互,而不只是能接受多种输入类型;每个表示边界都可能发生故障。
- 实际使用: 记录支持的输入和输出组合,分别及联合评估每种模态,测试缺失或冲突的输入,并随模型跟踪预处理版本。
- 常见混淆: 一条含独立图像模型和文本模型的 pipeline 在系统层面是多模态的,但不一定是一个联合训练的 multimodal model。
- 学习课程: MIO Any-to-Any Streaming
- 相关术语: Modality, Vision-Language Model (VLM), Multimodal Fusion, Transformer
- 来源: Flamingo: a Visual Language Model for Few-Shot Learning; Multimodal Machine Learning: A Survey and Taxonomy