深度 Q 网络（DQN）

2013 年：Mnih 在原始像素上训了一个 Q-learning 网络，在七个 Atari 游戏上击败了所有经典 RL agent。2015 年：扩展到 49 个游戏，登上 Nature，点燃了深度 RL 时代。DQN 就是 Q-learning 加上三个让函数近似稳定的技巧。

类型： Build 语言： Python 前置要求： Phase 3 · 03（反向传播）、Phase 9 · 04（Q-learning、SARSA） 预计时间： ~75 分钟

问题背景

表格 Q-learning 需要为每个 (状态, 动作) 对存一个单独的 Q 值。一个国际象棋棋盘有约 10⁴³ 个状态。一帧 Atari 是 210×160×3 = 100800 个特征。表格 RL 在几千个状态时就撑不住了，更别提十亿级。

修法事后看来很显然：把 Q 表换成神经网络 Q(s, a; θ)。但"事后看来显然"花了几十年。Q-learning 配上朴素函数近似会发散，原因是"致命三元组"——函数近似 + 自举 + 离策略学习。Mnih 等人（2013、2015）找出了三个让学习稳定下来的工程技巧：

1. 经验回放给转移去相关。
2. 目标网络冻住自举目标。
3. 奖励裁剪归一化梯度量级。

Atari 上的 DQN 第一次让单一架构、单一套超参数，从原始像素出发解决了几十个控制问题。从那以后造出来的每个"深度 RL"——DDQN、Rainbow、Dueling、Distributional、R2D2、Agent57——都叠在这个三技巧底座之上。

核心概念

目标函数。 DQN 在一个神经 Q 函数上最小化单步 TD 损失：

L(θ) = E_\{(s,a,r,s')~D\} [ (r + γ max_\{a'\} Q(s', a'; θ^-) - Q(s, a; θ))² ]

θ = 在线网络，每步用梯度下降更新。θ^- = 目标网络，周期性地从 θ 拷贝（每约 10000 步）。D = 过往转移的回放缓冲。

三个技巧，按重要性排序：

经验回放。 一个约 10⁶ 条转移的环形缓冲。每个训练步均匀随机采一个 minibatch。这打破了时间相关性（连续帧几乎一样），让网络能从稀有的有奖励转移上多次学习，并给连续的梯度更新去相关。没有它，神经网络配同策略 TD 在 Atari 上会发散。

目标网络。 在贝尔曼方程两侧用同一个网络 Q(·; θ)，会让目标每次更新都在动——"追自己的尾巴"。修法：留一个权重冻住的第二网络 Q(·; θ^-)。每 C 步，把 θ → θ^- 拷贝一次。这一次性把回归目标稳定上千个梯度步。软更新 θ^- ← τ θ + (1-τ) θ^-（DDPG、SAC 里用）是一个更平滑的变体。

奖励裁剪。 Atari 的奖励量级从 1 到 1000+ 不等。裁剪到 \{-1, 0, +1\} 能阻止任何单个游戏主导梯度。当奖励量级要紧时这么做就错了；对只看符号的 Atari 没问题。

Double DQN。 Hasselt（2016）修了最大化偏差：用在线网络选动作，用目标网络评估它。

target = r + γ Q(s', argmax_\{a'\} Q(s', a'; θ); θ^-)

即插即用，稳定地更好。默认就用它。

其他改进（Rainbow，2017）： 优先回放（更多采样高 TD 误差的转移）、dueling 架构（分开 V(s) 和优势头）、噪声网络（学习式探索）、n-步回报、分布式 Q（C51/QR-DQN）、多步自举。每个加几个百分点；增益大致可加。

f3-dqn-stability

动手构建

这里的代码只用标准库、不依赖 numpy——我们在一个极小的连续 GridWorld 上手搓了一个单隐层 MLP，所以每个训练步在微秒级跑完。算法和大规模的 Atari DQN 完全一致。

第 1 步：回放缓冲

class ReplayBuffer:
    def __init__(self, capacity):
        self.buf = []
        self.capacity = capacity
    def push(self, s, a, r, s_next, done):
        if len(self.buf) == self.capacity:
            self.buf.pop(0)
        self.buf.append((s, a, r, s_next, done))
    def sample(self, batch, rng):
        return rng.sample(self.buf, batch)

Atari 用约 50000 容量；我们的玩具环境 5000 就够。

第 2 步：一个极小的 Q 网络（手写 MLP）

class QNet:
    def __init__(self, n_in, n_hidden, n_actions, rng):
        self.W1 = [[rng.gauss(0, 0.3) for _ in range(n_in)] for _ in range(n_hidden)]
        self.b1 = [0.0] * n_hidden
        self.W2 = [[rng.gauss(0, 0.3) for _ in range(n_hidden)] for _ in range(n_actions)]
        self.b2 = [0.0] * n_actions
    def forward(self, x):
        h = [max(0.0, sum(w * xi for w, xi in zip(row, x)) + b) for row, b in zip(self.W1, self.b1)]
        q = [sum(w * hi for w, hi in zip(row, h)) + b for row, b in zip(self.W2, self.b2)]
        return q, h

前向：线性 → ReLU → 线性。这就是整个网络。

第 3 步：DQN 更新

def train_step(online, target, batch, gamma, lr):
    grads = zeros_like(online)
    for s, a, r, s_next, done in batch:
        q, h = online.forward(s)
        if done:
            y = r
        else:
            q_next, _ = target.forward(s_next)
            y = r + gamma * max(q_next)
        td_error = q[a] - y
        accumulate_grads(grads, online, s, h, a, td_error)
    apply_sgd(online, grads, lr / len(batch))

骨架就是第 04 课的 Q-learning，只有两处不同：（a）我们对一个可微的 Q(·; θ) 做反向传播，而不是索引一张表；（b）目标用的是 Q(·; θ^-)。

第 4 步：外层循环

每个 episode，对 Q(·; θ) 做 ε-greedy 行动，把转移推进缓冲，采一个 minibatch，走一个梯度步，周期性地同步 θ^- ← θ。模式如下：

for episode in range(N):
    s = env.reset()
    while not done:
        a = epsilon_greedy(online, s, epsilon)
        s_next, r, done = env.step(s, a)
        buffer.push(s, a, r, s_next, done)
        if len(buffer) >= batch:
            train_step(online, target, buffer.sample(batch), gamma, lr)
        if steps % sync_every == 0:
            target = copy(online)
        s = s_next

在我们这个用 16 维 one-hot 状态的小 GridWorld 上，agent 约 500 个 episode 学到近最优策略。在 Atari 上，把它放大到 2 亿帧，再加一个 CNN 特征提取器。

注意事项

• 致命三元组。 函数近似 + 离策略 + 自举可能发散。DQN 用目标网络 + 回放来缓解；两个都别拿掉。
• 探索。 ε 必须衰减，通常在训练前约 10% 里从 1.0 降到 0.01。早期探索不够，Q 网络会收敛到一个局部盆地。
• 高估。 对有噪声的 Q 取 max 会向上偏。生产中永远用 Double DQN。
• 奖励尺度。 裁剪或归一化奖励；梯度量级正比于奖励量级。
• 回放缓冲冷启动。 缓冲攒到几千条转移之前别训练。在约 20 个样本上的早期梯度会过拟合。
• 目标同步频率。 太频繁 ≈ 没有目标网络；太不频繁 ≈ 目标过时。Atari DQN 用 10000 个环境步。经验法则：每约 1/100 训练视野同步一次。
• 观测预处理。 Atari DQN 堆叠 4 帧让状态满足马尔可夫。任何带速度信息的环境都需要堆帧或循环状态。

实际使用

到了 2026 年，DQN 很少是 SOTA，但仍是离策略算法的参考基准：

任务	首选方法	为什么不用 DQN？
离散动作、类 Atari	Rainbow DQN 或 Muesli	同一框架，更多技巧。
连续控制	SAC / TD3（Phase 9 · 07）	DQN 没有策略网络。
同策略 / 高吞吐	PPO（Phase 9 · 08）	无回放缓冲；更易扩展。
离线 RL	CQL / IQL / Decision Transformer	保守 Q 目标，没有自举爆炸。
大离散动作空间（推荐）	带动作嵌入的 DQN，或 IMPALA	可以；修饰很重要。
LLM RL	PPO / GRPO	序列级而非步级；不同的损失。

教训仍然通用。回放和目标网络出现在 SAC、TD3、DDPG、SAC-X、AlphaZero 的自我对弈缓冲，以及每个离线 RL 方法里。奖励裁剪以 PPO 里的优势归一化形式活了下来。这个架构就是蓝图。

拿去用

存为 outputs/skill-dqn-trainer.md：

---
name: dqn-trainer
description: Produce a DQN training config (buffer, target sync, ε schedule, reward clipping) for a discrete-action RL task.
version: 1.0.0
phase: 9
lesson: 5
tags: [rl, dqn, deep-rl]
---

Given a discrete-action environment (observation shape, action count, horizon, reward scale), output:

1. Network. Architecture (MLP / CNN / Transformer), feature dim, depth.
2. Replay buffer. Capacity, minibatch size, warmup size.
3. Target network. Sync strategy (hard every C steps or soft τ).
4. Exploration. ε start / end / schedule length.
5. Loss. Huber vs MSE, gradient clip value, reward clipping rule.
6. Double DQN. On by default unless explicit reason to disable.

Refuse to ship a DQN with no target network, no replay buffer, or ε held at 1. Refuse continuous-action tasks (route to SAC / TD3). Flag any reward range > 10× per-step mean as needing clipping or scale normalization.

练习

1. 简单。 跑 code/main.py。画出每 episode 的回报曲线。多少个 episode 后滑动均值超过 -10？
2. 中等。 禁用目标网络（贝尔曼目标两侧都用在线网络）。测一下训练的不稳定性——回报是震荡还是发散？
3. 困难。 加上 Double DQN：用在线网络挑 argmax a'，用目标网络评估。在一个噪声奖励 GridWorld 上，对比有无 Double DQN 时 1000 个 episode 后 Q(s_0, best_a) 相对真实 V*(s_0) 的偏差。

关键术语

术语	大家嘴上怎么说	它实际是什么
DQN	"深度 Q-learning"	配神经 Q 函数、回放缓冲、目标网络的 Q-learning。
经验回放	"打乱的转移"	每个梯度步均匀采样的环形缓冲；给数据去相关。
目标网络	"冻住的自举"	在贝尔曼目标里用的 Q 的周期性拷贝；稳定训练。
致命三元组	"RL 为什么发散"	函数近似 + 自举 + 离策略 = 没有收敛保证。
Double DQN	"最大化偏差的修法"	在线网络选动作，目标网络评估它。
Dueling DQN	"V 和 A 头"	分解 Q = V + A - mean(A)；输出相同，梯度流更好。
Rainbow	"所有技巧"	DDQN + PER + dueling + n-步 + 噪声 + 分布式 合一。
PER	"优先回放"	按 TD 误差量级成比例地采样转移。

延伸阅读

• Mnih et al. (2013). Playing Atari with Deep Reinforcement Learning —— 开启深度 RL 的 2013 NeurIPS workshop 论文。
• Mnih et al. (2015). Human-level control through deep reinforcement learning —— Nature 论文，49 游戏 DQN。
• Hasselt, Guez, Silver (2016). Deep Reinforcement Learning with Double Q-learning —— DDQN。
• Wang et al. (2016). Dueling Network Architectures —— dueling DQN。
• Hessel et al. (2018). Rainbow: Combining Improvements in Deep RL —— 技巧堆叠的论文。
• OpenAI Spinning Up — DQN —— 清晰的现代讲解。
• Sutton & Barto (2018). Ch. 9 — On-policy Prediction with Approximation —— 教科书对"致命三元组"（函数近似 + 自举 + 离策略）的处理，DQN 的目标网络和回放缓冲就是为驯服它而设计的。
• CleanRL DQN implementation —— 消融研究里用的参考单文件 DQN；适合和本课的从零版本对照着读。