AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

C ​

Calibration ​

  • 分类: 评估与安全
  • 实际含义: 系统声明的置信度与该置信度下预测实际正确频率之间的一致程度。
  • 为什么重要: 一个系统的平均准确率可以很高，但在用户依赖其评分的案例上，它仍可能危险地过度自信。
  • 实际使用: 按置信度分桶，比较置信度与经验准确率；当差距不可接受时，重新校准或选择拒答。
  • 常见混淆: Calibration 衡量的是置信度是否可靠，不是整体准确率、事实性或推理质量。
  • 相关术语: Softmax, Evaluation (Eval), Precision & Recall, Logits
  • 来源: On Calibration of Modern Neural Networks

Canary Release ​

  • 分类: 可靠性与运维
  • 实际含义: 一种部署策略：先将新版本暴露给少量流量或基础设施，再逐步扩大发布范围。
  • 为什么重要: 它能限制缺陷的影响范围，并在新模型、prompt、agent 或服务面向所有人之前提供生产环境证据。
  • 实际使用: 将符合条件的小部分用户路由到新版本，与对照组比较质量和运维指标；一旦触发预设失败条件就停止或回滚。
  • 常见混淆: Canary release 限制的是暴露范围；它不能取代部署前测试、审批或回滚准备。
  • 相关术语: Evaluation (Eval), Observability, Rollback, Verification Gate
  • 来源: Kubernetes Deployments: Canary Deployment

Chain of Thought (CoT) ​

  • 分类: Prompt 与上下文
  • 常见说法: 让模型展示它思考的每一步。
  • 实际含义: 在产出答案前用于拆解任务的中间推理。prompt 可以要求给出可见的理由，而有些系统使用不会返回给用户的内部推理。
  • 为什么重要: 拆解任务有助于处理多步问题，但流畅的理由并不能证明答案正确，也不能证明文本如实反映了模型的内部计算。
  • 实际使用: 要求给出简洁计划，独立核验结果，并索取可验证的计算过程或引用，而不是依赖冗长的推理记录。
  • 常见混淆: Chain of thought 不能替代工具、测试或外部验证。
  • 学习课程: Few-Shot and Chain of Thought
  • 相关术语: Prompt Engineering, Verification Gate, Evaluation (Eval)

Checkpoint ​

  • 分类: Agent 与工具
  • 实际含义: 用于从已知边界恢复的持久快照。在工作流中，它保存运行状态和产物引用；在模型训练中，它可保存参数、优化器状态、调度器状态和训练位置。
  • 为什么重要: 长时间运行的工作流和训练任务可在中断后恢复，不必重放已完成的工作或丢失代价高昂的进度。
  • 实际使用: 一个经过验证的步骤完成后，保存 agent 已接受的 patch 和测试证据；或者在关机前保存训练任务的权重、优化器状态、随机状态和数据位置。
  • 常见混淆: 工作流 checkpoint 和模型训练 checkpoint 都用于恢复，但保存的状态不同。两者都不只是转录记录，也不只是没有恢复元数据的权重文件。
  • 学习课程: Checkpoint Save and Resume; Repository Memory and State
  • 相关术语: Agent State, Durable Execution, Parameter, Optimizer

Chunked Prefill ​

  • 分类: 基础设施与服务
  • 实际含义: 一种服务技术：将长 prompt 的预填充计算切成更小、可调度的片段，使其能与其他请求的 decode 计算交错执行。
  • 为什么重要: 否则，一个长 prompt 可能独占加速器并延迟正在生成的请求，即使总吞吐量看起来健康，尾延迟仍会很差。
  • 实际使用: 根据实测工作负载选择分块策略，计入调度开销，并在混合 prompt 长度下比较预填充完成时间、decode 延迟和 goodput。
  • 常见混淆: Chunked prefill 改变的是 prompt 计算的调度方式，不会把用户上下文拆成彼此独立的语义块，也不会改变模型的上下文窗口。
  • 学习课程: vLLM Serving Internals
  • 相关术语: Prefill, Decode Phase, Dynamic Batching, Tail Latency
  • 来源: Sarathi-Serve

Chunking ​

  • 分类: 检索与生成
  • 常见说法: 把文档拆成小块。
  • 实际含义: 在建立索引前，将源材料划分为可检索单元。块边界、重叠、元数据和文档结构决定了检索能否返回足够上下文，又不致淹没 prompt。
  • 为什么重要: 合适的 chunking 策略取决于文档形态、查询类型、embedding 模型和评估结果。不存在通用的 token 大小或重叠比例。
  • 实际使用: 保持标题和代码块完整，附上源元数据；再用真实问题衡量检索质量，之后才调整块大小。
  • 相关术语: RAG (Retrieval-Augmented Generation), Reranker, Grounding

Circuit Breaker ​

  • 分类: AI-native 开发
  • 实际含义: 一种可靠性控制机制：当对某个依赖的调用失败次数超过阈值时，暂时停止调用，之后再探测该依赖是否已经恢复。
  • 为什么重要: 它可防止重复的模型或工具故障消耗系统其他部分的延迟预算、成本和容量。
  • 实际使用: provider 多次超时后打开熔断器，执行故障转移或返回受控响应；冷却期后只允许有限次健康探测。
  • 常见混淆: Circuit breaker 响应的是依赖健康状况；rate limit 控制的是允许的请求量。
  • 相关术语: Retry with Backoff, Rate Limit, Model Router, Backpressure

CNN (Convolutional Neural Network) ​

  • 分类: 模型与推理
  • 常见说法: 用于图像的神经网络。
  • 实际含义: 一种利用卷积操作（让滤波器在输入上滑动）检测局部模式的神经网络。层叠卷积可检测越来越复杂的特征：边缘、纹理和物体。
  • 常见混淆: 卷积同样适用于音频、时间序列和其他网格状数据。
  • 相关术语: Feature, Inductive Bias, Activation Function

Coding Agent ​

  • 分类: AI-native 开发
  • 实际含义: 专门处理软件工作的 agent，能够检查仓库、编辑文件、运行开发工具，并利用输出推进有明确范围的工程任务。
  • 为什么重要: 它的价值取决于仓库上下文、工具权限、审查边界和验证，而不只取决于代码生成质量。
  • 实际使用: 向 agent 提供 issue、范围契约、仓库指引和测试命令；接受前审查生成的 patch 和证据。
  • 常见混淆: 只会给出文本建议的 coding assistant 不一定是 agent。agent 会通过工具行动并观察结果。
  • 学习课程: Workbench for Real Repositories
  • 相关术语: Agent Harness, Repository Map, Patch, Scope Contract, Reviewer Agent

Compensating Action ​

  • 分类: Agent 与工具
  • 实际含义: 当原始操作无法原子回滚时，为在语义上抵消已完成副作用而特意执行的操作。
  • 为什么重要: 多步骤 agent 工作流会跨越数据库和外部服务，后续失败无法通过一笔事务撤销之前的写入。
  • 实际使用: 如果订票工作流已扣款但预订失败，应发起可追踪的退款并保留两项事件，而不是删除历史记录。
  • 常见混淆: 补偿是新的业务操作，不是时光倒流。它也可能失败，因此需要幂等性、监控和升级处理。
  • 相关术语: Durable Execution, Idempotency, Checkpoint, Approval Gate
  • 来源: Sagas

Content Provenance ​

  • 分类: 安全与治理
  • 实际含义: 关于一段媒体或其他数字内容的来源和编辑历史的可验证信息，包括与之关联的参与者、工具、转换过程和声明。
  • 为什么重要: 生成式系统使人们难以仅从表面判断来源主张，因此消费者和平台需要可检查的证据来了解内容是如何生成的。
  • 实际使用: 将溯源声明绑定到内容上，用受控身份为其签名，保留转换历史；当证据缺失或无法验证时清楚说明。
  • 常见混淆: Provenance 可以证明是谁声明了一段历史，以及记录是否被篡改；它不能证明所呈现的事件为真，也不能证明内容无害。
  • 学习课程: Watermarking, SynthID, Stable Signature, and C2PA
  • 相关术语: Data Provenance, Provenance Attestation, Audit Log, Grounding
  • 来源: C2PA Technical Specification

Context Compression ​

  • 分类: Prompt 与上下文
  • 实际含义: 在尽力保留后续模型决策所需信息的同时，减少源材料的 token 占用。
  • 为什么重要: 压缩可以让长任务符合预算，但每一个省略的细节都可能让模型丢失证据、约束或未解决状态。
  • 实际使用: 原样保留权威事实和标识符，概括重复历史，附上源指针，并在代表性任务上测试压缩后的上下文。
  • 常见混淆: 除非保留了完整原文，否则压缩就是有损的。更短的摘要并不自动等价于原上下文。
  • 相关术语: Token Budget, Context Engineering, Progressive Disclosure, Handoff
  • 来源: LLMLingua

Context Engineering ​

  • 分类: Prompt 与上下文
  • 实际含义: 设计模型在每一步接收的完整信息环境，包括指令、选定文件、检索到的证据、工具结果、示例、状态和输出约束。
  • 为什么重要: 模型表现不佳往往是因为相关证据缺失、过期、排序不当，或被噪声淹没。
  • 实际使用: 用目标、仓库规则、相关接口、最近的工具输出和未决决定组装紧凑的任务包，再随状态变化更新它。
  • 常见混淆: Prompt engineering 关注指令措辞；context engineering 还决定哪些证据和状态进入模型的工作上下文。
  • 学习课程: Context Engineering
  • 相关术语: Context Window, Progressive Disclosure, Agent State, Repository Map

Context Window ​

  • 分类: Prompt 与上下文
  • 常见说法: 模型能记住多少内容。
  • 实际含义: 在特定模型和 API 契约下，一次模型推理可用的最大 token 容量。该容量可能包括系统指令、消息、检索内容、工具交互和生成输出，具体计费方式和输出限制因 provider 而异。
  • 为什么重要: 只有应用程序发送或重建对话历史时，历史才会进入模型。更大的窗口并不保证其中每个细节都会被可靠使用。
  • 常见混淆: Context 是一次推理的临时输入；持久 memory 存在模型外部，并在之后被选择性放回上下文。
  • 学习课程: Context Engineering
  • 相关术语: Token Budget, Context Engineering, Prompt Cache, Agent State

Continuous Batching ​

  • 分类: 基础设施与服务
  • 实际含义: 一种服务调度器：在迭代边界加入和移除生成请求，而不是等待固定 batch 中的每个请求都结束。
  • 为什么重要: 自回归请求产生的输出长度不同，因此 continuous batching 能保持加速器利用率，而不会强迫短请求等待最长请求完成。
  • 实际使用: 当容量可用时接纳新请求，跟踪每个请求的延迟；当在线 batch 或 KV cache 预算已满时施加 backpressure。
  • 常见混淆: Continuous batching 是推理调度策略，不是梯度累积，也不是训练 batch size 技术。
  • 相关术语: Dynamic Batching, Decode Phase, Backpressure, Rate Limit
  • 来源: Orca

Contrastive Learning ​

  • 分类: 数学与训练
  • 常见说法: 通过比较学习。
  • 实际含义: 在 embedding 空间中训练，让相似样本对彼此靠近，让不相似样本对彼此远离。CLIP 就采用这种方式：匹配的图文对与不匹配的图文对相互区分。
  • 相关术语: Embedding, Cosine Similarity, Loss Function

Cosine Similarity ​

  • 分类: 数据与表示
  • 常见说法: 两个向量有多相似。
  • 实际含义: 两个向量的归一化点积。它比较方向而不是大小；对于实值向量，取值范围为 -1 到 1。
  • 常见混淆: 高 cosine similarity 只有结合 embedding 模型和数据分布才有意义。它不能证明事实等价或语义等价。
  • 相关术语: Embedding, Semantic Search, Reranker

Cost per Successful Task ​

  • 分类: AI-native 开发
  • 实际含义: 系统总成本除以满足既定成功标准的任务数量，其中包括重试、失败运行、工具使用和评估开销。
  • 为什么重要: 一次模型调用即便便宜，如果经常失败或需要反复人工纠正，整个工作流仍可能很昂贵。
  • 实际使用: 在 100 个仓库任务中测量 provider 收费和基础设施成本，再除以 patch 通过测试与审查的任务数量。
  • 常见混淆: Cost per token 衡量使用量；cost per successful task 衡量的是有用产出。
  • 相关术语: Evaluation (Eval), Retry with Backoff, Model Router, Verification Gate

Cross-Attention ​

  • 分类: 多模态系统
  • 实际含义: 一种注意力机制：query 表示来自一个序列或表示，而 keys 和 values 来自另一个序列或表示。
  • 为什么重要: 它让一个信息流能以可学习的方式从另一个信息流检索信息，例如语言 token 关注视觉特征。
  • 实际使用: 明确哪个信息流提供 queries、keys 和 values，对缺失或无效位置施加 mask，并检查消融掉一个模态后模型是否仍能工作。
  • 常见混淆: Cross-attention 并非天生就是多模态的。它可以连接两个文本序列或其他表示；self-attention 则从同一序列表示中派生 queries、keys 和 values。
  • 相关术语: Attention, Self-Attention, Vision-Language Model (VLM), Multimodal Fusion
  • 来源: Attention Is All You Need

Cross-Entropy ​

  • 分类: 数学与训练
  • 常见说法: 分类损失。
  • 实际含义: 一种基于赋给目标结果的负对数概率的损失。在 next-token 训练中，当模型为观测到的下一个 token 分配较低概率时，它会受到惩罚。
  • 常见混淆: 只有在平均方式和对数底数定义一致时，perplexity 才是平均 cross-entropy 取指数后的结果。
  • 相关术语: Loss Function, Softmax, Perplexity

CUDA ​

  • 分类: 模型与推理
  • 常见说法: GPU 编程。
  • 实际含义: NVIDIA 面向兼容 GPU 的通用计算平台和编程模型。深度学习框架借助 CUDA 库和 kernel 并行执行大量 tensor 操作。
  • 常见混淆: GPU 加速不等同于 CUDA；还有其他硬件和软件栈可用。
  • 相关术语: Tensor, Mixed Precision, JAX