aiwiki.page
中文
计算机 / 人工智能 / deep-q-network

深度Q网络

深度Q网络是一种强化学习方法,利用深度神经网络、经验回放和目标网络估计动作价值,并从经验中学习决策。

23 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
强化学习Q学习深度学习DeepMind表征学习马尔可夫决策过程策略(强化学习)人工神经网络深度Q网络

深度Q网络(DQN)是一种强化学习方法,将Q学习与深度神经网络相结合,用于估计执行特定动作的长期价值。它使智能体能够从图像等高维观测中学习,而不必为每一种可能的状态—动作对分别保存价值估计。标准DQN算法通过两种机制稳定学习过程:一是经验回放,即重复利用已存储的交互经验;二是目标网络,即提供变化较慢的学习目标。DQN主要面向动作集合有限且离散的问题。

历史发展

Q学习最初采用动作价值表来表示价值。当环境中的状态数量极多,或观测以摄像头图像等形式提供时,这种方法就不再切实可行。早期研究探索了用神经网络近似价值函数,但将非线性近似与强化学习更新相结合,往往会导致学习不稳定。

DeepMind的研究人员在2013年的论文《利用深度强化学习玩Atari游戏》(Playing Atari with Deep Reinforcement Learning)中,提出了一个引人注目的深度Q学习系统。该系统利用屏幕图像和奖励,学会了玩多款Atari 2600游戏。随后,2015年发表于《自然》的论文《通过深度强化学习实现人类水平的控制》(Human-level control through deep reinforcement learning)介绍了影响深远的DQN架构及训练流程,其中引入了独立的目标网络,并在49款Atari游戏上进行了评估。

Atari实验结果表明,采用相同的网络架构和大体一致的训练流程,可以从视觉观测中学习多种不同的任务。每款游戏都单独训练了一个智能体:这些结果并不意味着同一个网络同时掌握了所有游戏,也不意味着它学会了具有普适性的人类水平智能。不同游戏之间的表现也存在显著差异,尤其是在奖励稀疏或成功需要长远规划的游戏中。

DQN展示了如何联合训练表征学习与基于价值的控制,因此成为深度强化学习的重要基础。

数学表述

状态、动作与回报

DQN通常在马尔可夫决策过程的框架下表述。在时刻 tt,智能体观测状态 sts_t,选择动作 ata_t,获得奖励 rtr_t,随后转移到 st+1s_{t+1}。

其目标是最大化期望折扣回报:

Gt=∑k=0∞γkrt+k,G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k},

其中,0≤γ<10\leq\gamma<1 是折扣因子。对于按回合划分的任务,只要回报有明确定义,也可以使用 γ=1\gamma=1。

对于策略(强化学习) π\pi,动作价值函数为

Qπ(s,a)=Eπ[Gt∣st=s, at=a].Q^\pi(s,a) = \mathbb{E}_\pi[G_t\mid s_t=s,\ a_t=a].

最优动作价值函数 Q∗Q^* 满足贝尔曼最优方程:

Q∗(s,a)=E[rt+γmax⁡a′Q∗(st+1,a′)∣st=s, at=a].Q^*(s,a) = \mathbb{E}\left[ r_t+\gamma\max_{a'}Q^*(s_{t+1},a') \mid s_t=s,\ a_t=a \right].

该方程将一个动作的价值表示为其即时奖励与后续最优动作的折扣价值之和。

神经网络近似

DQN不存储价值表,而是用人工神经网络表示动作价值,记为 Q(s,a;θ)Q(s,a;\theta),其中 θ\theta 表示网络中可训练的参数。

在标准架构中,网络以状态表征为输入,为每个可用动作输出一个价值。贪心动作定义为

a∗(s)=arg⁡max⁡aQ(s,a;θ).a^*(s)=\arg\max_a Q(s,a;\theta).

对于图像观测,先由卷积神经网络提取空间特征,再由全连接层输出动作价值。对于低维数值观测,多层感知机可能就已足够。

网络并不直接将最优动作作为类别标签来预测,而是估计期望回报,再据此选择动作。

学习机制

DQN采用时序差分学习:将一个估计值向某个目标更新,而该目标本身又包含对未来价值的估计。这一过程称为自举。

经验回放

在交互过程中,智能体将转移样本

(st,at,rt,st+1,dt)(s_t,a_t,r_t,s_{t+1},d_t)

存入经验回放缓冲区,其中 dtd_t 表示该次转移是否使底层任务终止。

训练时,从已存储的转移样本中随机抽取小批量样本,而不是只使用最新一次交互。这会产生以下效果:

  • 减弱连续观测之间较强的时间相关性。
  • 使一次交互能够用于多次更新。
  • 混合由智能体不同时期的行为所收集的经验。

回放并不会使数据完全独立,也不会使训练分布保持平稳。缓冲区内容仍在不断变化,重要经验可能十分罕见,也可能被覆盖。

DQN是一种离策略方法:它可以利用其他行为策略生成的转移样本,学习贪心目标策略的价值。在标准DQN中,行为策略通常是在智能体当前策略中加入探索机制后得到的版本。

目标网络

DQN维护一个参数为 θ\theta 的在线网络,以及一个参数为 θ−\theta^- 的目标网络。对于抽取的一条转移样本,标准目标为

yt=rt+γ(1−dt)max⁡a′Q(st+1,a′;θ−).y_t= r_t+\gamma(1-d_t) \max_{a'}Q(s_{t+1},a';\theta^-).

目标网络定期从在线网络复制参数,在两次复制之间保持参数不变。这会减缓被预测量的变化,有助于减少导致不稳定的反馈。

当 dt=1d_t=1 时,目标就是 rtr_t:在真正的终止状态之后,不再有后续价值。外部施加的时间限制并不一定意味着底层任务进入了终止状态,因此,将每一次截断都视为终止可能会引入偏差。

损失与参数更新

一种基本的训练目标是最小化时序差分误差平方的期望:

L(θ)=E(s,a,r,s′,d)∼D[(r+γ(1−d)max⁡a′Q(s′,a′;θ−)−Q(s,a;θ))2],L(\theta) = \mathbb{E}_{(s,a,r,s',d)\sim\mathcal D} \left[ \left( r+\gamma(1-d)\max_{a'}Q(s',a';\theta^-) - Q(s,a;\theta) \right)^2 \right],

其中,D\mathcal D 表示回放缓冲区的采样分布。

参数通过小批量梯度优化和反向传播进行更新。更新过程中,目标被视为常量,梯度不会通过目标网络传播。因此,这种更新通常称为半梯度更新。

Huber损失函数也得到广泛使用。它在误差较小时呈二次形式,在误差较大时呈线性形式,从而限制异常大的时序差分误差的影响。学习率、回放容量、更新频率和目标网络参数复制间隔,都是重要的超参数。

探索

DQN通常采用 ε\varepsilon-贪心行为策略:

  • 以 ε\varepsilon 的概率随机选择一个动作。
  • 否则,选择在线网络估计价值最高的动作。

探索概率通常会在训练过程中逐渐降低。这种机制虽然简单,却无法对较长的动作序列进行系统性探索。如果必须先执行许多相互配合的动作,才能获得任何正反馈,智能体就可能无法发现有用的行为。

经典Atari实现

具有广泛影响力的Atari实现将原始游戏画面转换为更便于处理的输入表征。它将图像转换为灰度图并缩放至 84×8484\times84 像素,再将最近四帧堆叠起来。帧堆叠能够提供单幅图像无法揭示的有限运动信息。

通常,一个动作会在模拟器中连续执行数帧。图像预处理也减轻了画面闪烁的影响。奖励被裁剪到一个较小的范围内,使不同游戏的奖励尺度更具可比性。

这些选择是该实验系统的重要组成部分,但并不是DQN的定义。其他应用可以使用不同的观测、奖励尺度、网络架构和交互安排。

奖励裁剪也会改变优化目标:在裁剪后的奖励上训练的智能体,最大化的是经过变换的回报,不一定是原始分数。同样,堆叠少量帧也不能保证输入包含预测未来结果所需的全部信息。

主要扩展

双重DQN

标准DQN使用同一组目标网络价值,既选择使价值最大的动作,又评估该动作。当估计中含有噪声时,对这些估计取最大值可能会偏向那些被高估的值。

双重DQN将动作选择与动作评估分离:

a∗=arg⁡max⁡a′Q(st+1,a′;θ),a^*=\arg\max_{a'}Q(s_{t+1},a';\theta),
ytDouble=rt+γ(1−dt)Q(st+1,a∗;θ−).y_t^{\mathrm{Double}} = r_t+\gamma(1-d_t) Q(s_{t+1},a^*;\theta^-).

在线网络负责选择动作,目标网络负责评估该动作。这减少了一种高估来源,但并不能保证在所有情形下都得到无偏估计或稳定的学习过程。

优先经验回放

优先回放会更频繁地抽取某些转移样本,通常以时序差分误差的大小作为优先级。这些样本可能比均匀抽样得到的样本更有助于推进学习。

由于优先抽样改变了采样分布,可以使用重要性采样权重来补偿由此产生的偏差。较大的误差并不总意味着经验更有用:随机奖励或不可消除的不确定性也可能产生较大误差。

对偶网络

对偶架构将状态价值估计与各个动作的相对优势估计分开。一种常见的组合方式为

Q(s,a)=V(s)+A(s,a)−1∣A∣∑b∈AA(s,b).Q(s,a) = V(s)+A(s,a) - \frac{1}{|\mathcal A|} \sum_{b\in\mathcal A}A(s,b).

其中,V(s)V(s) 估计状态价值,A(s,a)A(s,a) 表示动作的相对优势。减去平均优势,可以消除这两个分量组合时的歧义。当许多动作会产生相似后果时,这种架构可能有所帮助。

分布式方法与组合方法

分布式强化学习对可能回报的概率分布进行建模,而不只是估计其期望。分布式DQN变体可以在学习更丰富预测目标的同时,仍按期望回报选择动作。

其他扩展包括多步回报、参数化探索噪声,以及面向部分可观测环境的循环架构。Rainbow整合了多项DQN改进,包括双重DQN、优先回放、对偶网络、多步学习、回报分布估计和噪声网络。

应用及其与其他方法的关系

DQN特别适合动作集合规模可控、动作离散且经验能够提供足够信息的环境。它已被用于游戏智能体研究,也被用于探索模拟环境中的调度、资源分配及其他序贯决策问题。

它与监督学习的核心区别在于,训练时并不提供正确动作的标签。奖励可能延迟出现,智能体的动作也会影响其后续接收到的观测。不过,每次网络更新都类似于以构造出的数值目标为依据进行回归。

DQN是基于价值的方法,而不是策略梯度方法:它学习动作价值,并从中导出策略。相比之下,行动者—评论家方法在训练价值估计器的同时,还训练一个显式策略。

标准DQN不适合连续动作空间,因为其目标需要在所有可能动作中求最大值。动作数量有限时,可以逐一计算它们的价值;动作连续变化时,这一最大化过程通常需要借助其他机制。

局限性与评估

稳定性与收敛性

经验回放和目标网络提高了实际训练中的稳定性,但并不能保证深度非线性价值近似在一般情况下收敛。DQN将函数近似、自举和离策略学习结合在一起,这一组合通常称为致命三要素。在某些情况下,这些因素可能导致估计不准确,甚至发散。

样本效率与计算成本

DQN可能需要与环境进行大量交互。回放提高了已收集转移样本的复用率,但如果每次交互都涉及实际物理操作或复杂仿真,学习成本仍可能很高。训练成本取决于网络规模、观测存储、回放采样,以及每次交互对应的更新次数。

部分可观测性与泛化

如果相同的观测可能对应不同的底层情形,那么在缺少额外历史信息时,前馈DQN可能无法作出正确选择。帧堆叠只能部分缓解这一问题。循环神经网络能够纳入更长的历史信息,但也会带来额外的训练难题。

在一个环境中表现出色,也不意味着具备稳健的泛化(机器学习)能力。视觉外观、状态转移动态或可用动作的变化,都可能导致显著的分布偏移。

对奖励与基准测试的依赖

DQN优化的是给定的奖励信号,而不是某种独立规定的任务成功标准。设计不当的奖励可能诱发非预期行为,包括奖励黑客行为。

报告的性能取决于评估细节,例如随机种子、交互预算、评估期间的探索方式、回合终止规则,以及测试期间是否继续学习。以人类表现为基准进行归一化的游戏得分,是一种有用的比较指标,但汇总分数可能掩盖各项任务之间的巨大差异。