V
VAE (Variational Autoencoder)
- 分类: 模型与推理
- 常见说法: 一种概率生成式自编码器。
- 实际含义: 一种潜变量模型,以重建目标和正则项训练;该正则项让近似后验保持接近选定的先验。重参数化估计量使梯度可以穿过随机的潜变量采样过程。
- 常见混淆: VAE 并不要求每个潜变量分布都固定为同一个 Gaussian;具体先验和近似后验均是建模选择。
- 来源: Auto-Encoding Variational Bayes
- 相关术语: Latent Space, Encoder, Decoder, Diffusion Model
Vector Database
- 分类: 检索与生成
- 常见说法: 针对向量相似度搜索优化的数据库。
- 实际含义: 一种存储和索引系统,支持在向量表示上进行最近邻查询,通常还提供元数据过滤、持久化和近似索引。
- 常见混淆: 向量数据库负责存储和检索向量,不会生成高质量 embedding,也不保证检索结果相关。
- 相关术语: Embedding, Semantic Search, Hybrid Retrieval
Verification Gate
- 分类: 评估与安全
- 实际含义: 一个控制点:只有既定证据满足正确性或质量标准,流程才能继续。
- 为什么重要: 它把模型声称“已完成”转化为有证据支持的决策。
- 实际使用: 在补丁可应用、范围内测试通过、禁止修改的文件保持不变且所需产物齐备之前,阻止编码任务完成。
- 常见混淆: Verification 检查证据是否符合标准;Approval 则是在证据已知的情况下授予继续推进的权限。
- 学习课程: Verification Gates
- 相关术语: Approval Gate, Regression Test, Scope Contract, Structured Output
Vision-Language Model (VLM)
- 分类: 多模态系统
- 实际含义: 一种学习视觉表示与语言表示之间关系,或联合处理二者的模型,可用于检索、描述、问答或有依据的生成等任务。
- 为什么重要: VLM 的表现取决于视觉编码器、语言组件、连接机制、训练数据和分辨率策略,而非一个笼统的能力标签。
- 实际使用: 评估仅文本和仅视觉的对照,改变图像分辨率和布局;尽可能要求定位证据,并按视觉能力和语言分别报告失败情况。
- 常见混淆: 能接收图像并不能证明模型会正确使用图像;VLM 也不一定能生成图像。
- 学习课程: Vision-Language Models
- 相关术语: Multimodal Model, Vision Transformer (ViT), Cross-Attention, Visual Grounding
- 来源: CLIP; Flamingo
Vision Transformer (ViT)
- 分类: 多模态系统
- 实际含义: 一种视觉架构:将图像表示为带有位置信息的 patch embedding 序列,再用 transformer encoder blocks 处理该序列。
- 为什么重要: 它为视觉数据提供了序列模型接口,但性能和计算量取决于 patch 大小、分辨率、预训练和归纳偏置。
- 实际使用: 保持 patch 切分和归一化与训练时一致,考虑新分辨率下 position embedding 的行为,并在目标数据集上与合适的视觉基线比较。
- 常见混淆: ViT 是一类架构,不是所有能接收图像的 transformer;它的 patch 也并非天然具有语义。
- 学习课程: Vision Transformers
- 相关术语: Transformer, Patch Embedding, Self-Attention, Encoder
- 来源: An Image is Worth 16x16 Words
Visual Grounding
- 分类: 多模态系统
- 实际含义: 将语言表达与图像或视频中的空间证据关联起来,例如区域、物体、mask 或被跟踪的实体。
- 为什么重要: 流畅的视觉回答可能没有证据支持;grounding 能让所指对象可检查,并支持区域级评估。
- 实际使用: 要求回答同时给出方框、mask 或时间片段;测试含糊和不存在的指代,并将定位得分与语言正确性分开评估。
- 常见混淆: Visual grounding 识别被提及证据的位置。一般图像描述可以描述场景,却不必定位每项主张。
- 学习课程: Cross-Attention Fusion
- 相关术语: Grounding, Vision-Language Model (VLM), Attention, Evaluation (Eval)
- 来源: MDETR
Vocabulary
- 分类: 数据与表示
- 实际含义: token 标识符与 tokenizer 可输出单元之间的有限映射,其中包括普通 token、字节级 token 和特殊控制 token。
- 为什么重要: 词表设计会影响序列长度、多语言覆盖、代码表示、embedding 大小,以及 tokenizer 与模型权重之间的兼容性。
- 实际使用: 将词表和特殊 token 的分配与模型一同版本化,测试编码—解码往返,并且绝不能仅因 token 名称相近就替换 tokenizer。
- 常见混淆: 模型词表不是人类词语的字典;其中许多条目是片段、字节、空白模式或控制符号。
- 相关术语: Tokenization, Byte Pair Encoding (BPE), Token, Embedding
- 来源: Neural Machine Translation of Rare Words with Subword Units