多目标追踪与视频记忆

追踪是检测加关联。每帧检测。按 ID 把这一帧的检测匹配到上一帧的轨迹。

类型： Build 语言： Python 前置要求： 阶段 4 第 06 课（YOLO 检测）、阶段 4 第 08 课（Mask R-CNN）、阶段 4 第 24 课（SAM 3） 预计时间： ~60 分钟

学习目标

• 区分基于检测的追踪和基于查询的追踪，点名算法家族（SORT、DeepSORT、ByteTrack、BoT-SORT、SAM 2 记忆追踪器、SAM 3.1 Object Multiplex）
• 从零为经典的基于检测的追踪实现 IoU + 匈牙利分配
• 解释 SAM 2 的记忆库，以及为什么它比基于 IoU 的关联更能处理遮挡
• 读懂三个追踪指标（MOTA、IDF1、HOTA），为给定用例挑出要紧的那个

问题背景

检测器告诉你单帧里物体在哪。追踪器告诉你第 t 帧的哪个检测和第 t-1 帧的某个检测是同一个物体。没有它，你数不了越线的物体、跟不了穿过遮挡的球，也不知道"4 号车已经在车道上 8 秒了"。

追踪对每个面向视频的产品都至关重要：体育分析、监控、自动驾驶、医学视频分析、野生动物监测、字标计数。核心构件是共享的：一个逐帧检测器、一个运动模型（卡尔曼滤波或更丰富的东西）、一个关联步骤（在 IoU / 余弦 / 学到的特征上的匈牙利算法），以及一个轨迹生命周期（诞生、更新、消亡）。

2026 年带来两个新模式：SAM 2 基于记忆的追踪（用特征记忆而非运动模型关联）和 SAM 3.1 Object Multiplex（同一概念多实例的共享记忆）。这一课先走经典栈，再走基于记忆的方法。

核心概念

基于检测的追踪

flowchart LR
    F1["第 t 帧"] --> DET["检测器"] --> D1["t 时的检测"]
    PREV["到 t-1 为止的轨迹"] --> PREDICT["运动预测<br/>(卡尔曼)"]
    PREDICT --> PRED["t 时的预测轨迹"]
    D1 --> ASSOC["匈牙利分配<br/>(IoU / 余弦 / 运动)"]
    PRED --> ASSOC
    ASSOC --> UPDATE["更新匹配的轨迹"]
    ASSOC --> NEW["诞生新轨迹"]
    ASSOC --> DEAD["未匹配轨迹老化；N 帧后删除"]
    UPDATE --> NEXT["t 时的轨迹"]
    NEW --> NEXT
    DEAD --> NEXT

    style DET fill:#dbeafe,stroke:#2563eb
    style ASSOC fill:#fef3c7,stroke:#d97706
    style NEXT fill:#dcfce7,stroke:#16a34a

2026 年你会遇到的每个追踪器都是这个循环的变体。区别：

• SORT（2016）：卡尔曼滤波 + IoU 匈牙利。简单、快、无外观模型。
• DeepSORT（2017）：SORT + 每条轨迹一个基于 CNN 的外观特征（ReID 嵌入）。更好地处理交叉。
• ByteTrack（2021）：把低置信度检测作为第二阶段关联；不需要外观特征但在 MOT17 上是顶尖。
• BoT-SORT（2022）：Byte + 相机运动补偿 + ReID。
• StrongSORT / OC-SORT —— ByteTrack 的后代，运动和外观更好。

一段话讲清卡尔曼滤波

卡尔曼滤波为每条轨迹维护一个状态 (x, y, w, h, dx, dy, dw, dh) 加一个协方差。每帧用一个匀速模型预测状态，再用匹配到的检测更新。当预测不确定性高时，更新更信任检测。这给出平滑的轨迹，以及让一条轨迹穿过短暂遮挡（1-5 帧）的能力。

每个经典追踪器都在运动预测步用卡尔曼滤波。

匈牙利算法

给定一个 M x N 的代价矩阵（轨迹 x 检测），找出使总代价最小的一对一分配。代价通常是 1 - IoU(track_bbox, detection_bbox) 或外观特征的负余弦相似度。运行时是 O((M+N)^3)；M、N 最多约 1000 时，在 Python 里通过 scipy.optimize.linear_sum_assignment 够快。

ByteTrack 的关键点子

标准追踪器丢掉低置信度检测（< 0.5）。ByteTrack 把它们留作第二阶段候选：把轨迹匹配到高置信度检测之后，未匹配的轨迹用稍微宽松的 IoU 阈值尝试匹配低置信度检测。挽回短暂遮挡、人群附近的 ID 切换。

SAM 2 基于记忆的追踪

SAM 2 通过保留一个逐实例时空特征的记忆库来处理视频。给定一帧上的一个 prompt（点击、框、文本），它把实例编码进记忆。在后续帧上，记忆和新帧的特征做交叉注意力，解码器为新帧里的同一实例产出掩码。

没有卡尔曼滤波，没有匈牙利分配。关联隐含在记忆-注意力操作里。

优点：

• 对大遮挡鲁棒（记忆跨许多帧携带实例身份）。
• 和 SAM 3 的文本 prompt 结合时是开放词表的。
• 无需单独的运动模型就能工作。

缺点：

• 多目标追踪时比 ByteTrack 慢。
• 记忆库会增长；限制上下文窗口。

SAM 3.1 Object Multiplex

此前的 SAM 2 / SAM 3 追踪每个实例保留一个单独记忆库。50 个物体，50 个记忆库。Object Multiplex（2026 年 3 月）把它们塌成一个共享记忆加逐实例查询 token。代价在实例数量上次线性缩放。

Multiplex 是 2026 年人群追踪的新默认：演唱会人群、仓库工人、交通路口。

要知道的三个指标

• MOTA（多目标追踪准确率） —— 1 - (FN + FP + ID 切换) / GT。按错误类型加权；一个把检测和关联失败混在一起的单一指标。
• IDF1（ID F1） —— ID 精确率和召回率的调和平均。专门关注每条真值轨迹随时间保持其 ID 的好坏。对 ID 切换敏感的任务比 MOTA 好。
• HOTA（高阶追踪准确率） —— 分解为检测准确率（DetA）和关联准确率（AssA）。自 2020 年起的社区标准；最全面。

监控（谁是谁）：报 IDF1。体育分析（数传球）：HOTA。一般学术对比：HOTA。

cv3-track-assoc

动手构建

第 1 步：基于 IoU 的代价矩阵

import numpy as np

def bbox_iou(a, b):
    """
    a, b: (N, 4) 的 [x1, y1, x2, y2] 数组。
    返回 (N_a, N_b) 的 IoU 矩阵。
    """
    ax1, ay1, ax2, ay2 = a[:, 0], a[:, 1], a[:, 2], a[:, 3]
    bx1, by1, bx2, by2 = b[:, 0], b[:, 1], b[:, 2], b[:, 3]
    inter_x1 = np.maximum(ax1[:, None], bx1[None, :])
    inter_y1 = np.maximum(ay1[:, None], by1[None, :])
    inter_x2 = np.minimum(ax2[:, None], bx2[None, :])
    inter_y2 = np.minimum(ay2[:, None], by2[None, :])
    inter = np.clip(inter_x2 - inter_x1, 0, None) * np.clip(inter_y2 - inter_y1, 0, None)
    area_a = (ax2 - ax1) * (ay2 - ay1)
    area_b = (bx2 - bx1) * (by2 - by1)
    union = area_a[:, None] + area_b[None, :] - inter
    return inter / np.clip(union, 1e-8, None)

第 2 步：极简 SORT 风格追踪器

为简洁省略固定匀速卡尔曼——这里用简单的 IoU 关联；生产中卡尔曼预测必不可少。sort Python 包提供完整版本。

from scipy.optimize import linear_sum_assignment

class Track:
    def __init__(self, tid, bbox, frame):
        self.id = tid
        self.bbox = bbox
        self.last_frame = frame
        self.hits = 1

    def update(self, bbox, frame):
        self.bbox = bbox
        self.last_frame = frame
        self.hits += 1

class SimpleTracker:
    def __init__(self, iou_threshold=0.3, max_age=5):
        self.tracks = []
        self.next_id = 1
        self.iou_threshold = iou_threshold
        self.max_age = max_age

    def step(self, detections, frame):
        if not self.tracks:
            for d in detections:
                self.tracks.append(Track(self.next_id, d, frame))
                self.next_id += 1
            return [(t.id, t.bbox) for t in self.tracks]

        track_boxes = np.array([t.bbox for t in self.tracks])
        det_boxes = np.array(detections) if len(detections) else np.empty((0, 4))

        iou = bbox_iou(track_boxes, det_boxes) if len(det_boxes) else np.zeros((len(track_boxes), 0))
        cost = 1 - iou
        cost[iou < self.iou_threshold] = 1e6

        matched_track = set()
        matched_det = set()
        if cost.size > 0:
            row, col = linear_sum_assignment(cost)
            for r, c in zip(row, col):
                if cost[r, c] < 1.0:
                    self.tracks[r].update(det_boxes[c], frame)
                    matched_track.add(r); matched_det.add(c)

        for i, d in enumerate(det_boxes):
            if i not in matched_det:
                self.tracks.append(Track(self.next_id, d, frame))
                self.next_id += 1

        self.tracks = [t for t in self.tracks if frame - t.last_frame <= self.max_age]
        return [(t.id, t.bbox) for t in self.tracks]

60 行。拿逐帧检测，返回逐帧轨迹 ID。真实系统加上卡尔曼预测、ByteTrack 的第二阶段重匹配，以及外观特征。

第 3 步：合成轨迹测试

def synthetic_frames(num_frames=20, num_objects=3, H=240, W=320, seed=0):
    rng = np.random.default_rng(seed)
    starts = rng.uniform(20, 200, size=(num_objects, 2))
    velocities = rng.uniform(-5, 5, size=(num_objects, 2))
    frames = []
    for f in range(num_frames):
        dets = []
        for i in range(num_objects):
            cx, cy = starts[i] + f * velocities[i]
            dets.append([cx - 10, cy - 10, cx + 10, cy + 10])
        frames.append(dets)
    return frames

tracker = SimpleTracker()
for f, dets in enumerate(synthetic_frames()):
    tracks = tracker.step(dets, f)

三个沿直线移动的物体应在全部 20 帧里保持它们的 ID。

第 4 步：ID 切换指标

def count_id_switches(tracks_per_frame, gt_per_frame):
    """
    tracks_per_frame:  (track_id, bbox) 列表的列表
    gt_per_frame:      (gt_id, bbox) 列表的列表
    返回 ID 切换次数。
    """
    prev_assignment = {}
    switches = 0
    for tracks, gts in zip(tracks_per_frame, gt_per_frame):
        if not tracks or not gts:
            continue
        t_boxes = np.array([b for _, b in tracks])
        g_boxes = np.array([b for _, b in gts])
        iou = bbox_iou(g_boxes, t_boxes)
        for g_idx, (gt_id, _) in enumerate(gts):
            j = iou[g_idx].argmax()
            if iou[g_idx, j] > 0.5:
                t_id = tracks[j][0]
                if gt_id in prev_assignment and prev_assignment[gt_id] != t_id:
                    switches += 1
                prev_assignment[gt_id] = t_id
    return switches

这是一个简化的、接近 IDF1 的指标：数一个真值物体改变其被分配的预测轨迹 ID 的次数。真正的 MOTA / IDF1 / HOTA 工具在 py-motmetrics 和 TrackEval 里。

实际使用

2026 年的生产追踪器：

• ultralytics —— YOLOv8 + 内建 ByteTrack / BoT-SORT。results = model.track(source, tracker="bytetrack.yaml")。默认。
• supervision（Roboflow）—— ByteTrack 封装加标注工具。
• SAM 2 / SAM 3.1 —— 通过 processor.track() 做基于记忆的追踪。
• 自定义栈：检测器（YOLOv8 / RT-DETR）+ sort-tracker / OC-SORT / StrongSORT。

挑选：

• 30+ fps 的行人 / 车 / 盒子：ultralytics 配 ByteTrack。
• 人群里一个类别的许多实例：SAM 3.1 Object Multiplex。
• 带可辨认外观的重度遮挡：DeepSORT / StrongSORT（ReID 特征）。
• 体育 / 复杂交互：BoT-SORT 或学习式追踪器（MOTRv3）。

拿去用

这一课产出：

• outputs/prompt-tracker-picker.md —— 给定场景类型、遮挡模式和延迟预算，挑出 SORT / ByteTrack / BoT-SORT / SAM 2 / SAM 3.1。
• outputs/skill-mot-evaluator.md —— 写一个完整的评估框架，对真值轨迹算 MOTA / IDF1 / HOTA。

练习

1. （简单） 用 3、10、30 个物体跑上面的合成追踪器。各报告 ID 切换次数。找出仅用 IoU 的简单关联开始失效的地方。
2. （中等） 在关联前加一个匀速卡尔曼预测步。展示短（2-3 帧）遮挡不再导致 ID 切换。
3. （困难） 把 SAM 2 基于记忆的追踪器（通过 transformers）作为一个替代追踪器后端集成进来。在一段 30 秒的人群片段上跑 SimpleTracker 和 SAM 2，对比 ID 切换次数，手动为 5 个显眼的人标真值 ID。

关键术语

术语	大家嘴上怎么说	它实际是什么
基于检测的追踪	"先检测再关联"	逐帧检测器 + 在 IoU / 外观上的匈牙利分配
卡尔曼滤波	"运动预测"	线性动力学 + 协方差，用于平滑轨迹预测和遮挡处理
匈牙利算法	"最优分配"	解最小代价二分匹配问题；scipy.optimize.linear_sum_assignment
ByteTrack	"低置信度第二遍"	把未匹配轨迹重匹配到低置信度检测以挽回短暂遮挡
DeepSORT	"SORT + 外观"	加一个 ReID 特征做跨帧匹配；更好地保住 ID
记忆库	"SAM 2 技巧"	跨帧存储的逐实例时空特征；交叉注意力替代显式关联
Object Multiplex	"SAM 3.1 共享记忆"	带逐实例查询的单个共享记忆，用于快速多目标追踪
HOTA	"现代追踪指标"	分解为检测准确率和关联准确率；社区标准

延伸阅读

• SORT (Bewley et al., 2016) —— 极简的基于检测的追踪论文
• DeepSORT (Wojke et al., 2017) —— 加上外观特征
• ByteTrack (Zhang et al., 2022) —— 低置信度第二遍
• BoT-SORT (Aharon et al., 2022) —— 相机运动补偿
• HOTA (Luiten et al., 2020) —— 分解的追踪指标
• SAM 2 video segmentation (Meta, 2024) —— 基于记忆的追踪器
• SAM 3.1 Object Multiplex (Meta, March 2026)