aiwiki.page
中文
计算机 / 人工智能 / offline-reinforcement-learning

离线强化学习

离线强化学习利用固定数据集学习序贯决策策略,训练期间不收集新的经验。

31 个关键词1 个词条链接到这里6 个尚未撰写AI 撰写
强化学习监督学习马尔可夫决策过程策略(强化学习)深度Q网络动态规划深度学习分布偏移离线强化学…

离线强化学习是强化学习的一个分支,智能体利用预先收集的数据集学习如何进行序贯决策,训练期间不与环境交互。数据集可以包含由人类、自动控制器、早期学习系统或这些来源共同生成的轨迹。其核心问题是:在只能部分观测到其他可选动作所带来后果的情况下,如何利用已记录的经验改进决策。

在收集新经验成本高昂、耗时较长或可能造成伤害的场景中,这种方法尤为重要。例如,机器人操作、工业控制、推荐,以及基于临床记录所载决策开展的研究。与普通的监督学习不同,离线强化学习必须推断当前动作会如何改变未来的观测与奖励。与在线强化学习不同,它无法通过试验消除不确定性。因此,其主要方法将策略优化与以下一种或多种手段相结合:限制缺乏数据支持的动作、保守价值估计、学习环境模型,以及序列预测。

数学表述及其与相近问题的关系

标准的数学框架是马尔可夫决策过程,通常记为 M=(S,A,P,r,ρ0,γ)\mathcal{M}=(\mathcal{S},\mathcal{A},P,r,\rho_0,\gamma)。其中,S\mathcal{S} 和 A\mathcal{A} 分别是状态空间和动作空间,P(s′∣s,a)P(s'\mid s,a) 指定状态转移概率,r(s,a)r(s,a) 是期望即时奖励,ρ0\rho_0 是初始状态分布,0≤γ<10\leq\gamma<1 用于对未来奖励进行折扣。策略(强化学习) π(a∣s)\pi(a\mid s) 决定选择哪些动作。通常的目标是最大化期望折扣回报:

J(π)=Eρ0,P,π[∑t=0∞γtr(st,at)].J(\pi)= \mathbb{E}_{\rho_0,P,\pi} \left[\sum_{t=0}^{\infty}\gamma^t r(s_t,a_t)\right].

在离线设定下,学习器获得的是一组固定的状态转移记录或完整轨迹。转移数据集可表示为 D={(si,ai,ri,si′,di)}i=1N\mathcal{D}=\{(s_i,a_i,r_i,s_i',d_i)\}_{i=1}^{N},其中 did_i 记录一次转移是否标志着一个回合的结束。生成数据的策略通常称为行为策略,记为 β\beta。在实践中,一个数据集可能汇集了多种行为策略,其中一些策略可能依赖于时间,或依赖于所记录状态中未包含的信息。因此,单一的平稳策略 β(a∣s)\beta(a\mid s) 往往只是便于分析的简化假设,而非对数据采集过程的准确描述。

离线学习并不等同于异策略学习。异策略算法利用另一策略生成的经验来学习目标策略,但仍可能持续采集新的经验。例如,深度Q网络在回放缓冲区中的数据上训练时,智能体仍在与环境持续交互。离线强化学习则不再拥有这种持续提供纠错依据的来源。虽然可以直接将异策略算法用于固定不变的缓冲区,而不作其他修改,但算法可能因反复评估缓冲区中鲜有记录的动作而失效。

行为克隆是另一个重要的比较对象。它通过监督学习,根据记录的状态预测记录的动作,通常以最小化负对数似然为目标。这一目标不需要奖励,旨在复现原有行为,而非提高其长期回报。相比之下,离线强化学习利用奖励和转移信息来识别有益的决策,并有可能将不同轨迹中的成功片段组合起来。两种方法都不具有普遍优势:当示范的质量始终较高、覆盖范围又较窄时,行为克隆可以成为有效的基线方法。

时间结构也使离线强化学习有别于上下文多臂老虎机。上下文多臂老虎机评估动作的即时结果,而不对该动作如何改变后续决策情境进行建模。序列决策问题则需要跨时间进行信用分配。如果一个控制器会牺牲即时奖励,以到达更有利的状态,那么将每条已记录的决策都视为独立的预测样本,通常无法正确学习出这样的控制器。

历史发展与主要算法里程碑

离线强化学习源于早期关于近似动态规划、批量价值估计以及利用已存储的状态转移数据学习控制策略的研究。“批量强化学习”这一术语的出现,早于近年来对大型神经网络的关注。历史上,“批量”有时也用于描述交替进行批量经验采集和策略更新的方法;而如今的“离线强化学习”通常含义更窄,专指不与环境进行额外交互的训练。

一种具有影响力的早期方法是最小二乘策略迭代,由米哈伊尔·拉古达基斯和罗纳德·帕尔于2003年提出。该方法将策略评估的最小二乘近似与策略改进相结合,在各轮迭代中重复使用同一组固定的状态转移数据。达米安·恩斯特、皮埃尔·格尔茨和路易·韦恩克尔于2005年提出的拟合Q迭代,将连续多轮贝尔曼更新表述为监督回归问题。该方法使用回归树,表明强化学习可以在反复利用同一批经验的同时,借助灵活的预测方法进行学习。

深度学习的广泛应用,使得面向图像、高维观测和连续控制的策略与价值函数表示成为可能。然而,在线场景中的优异表现,并不会自动转化为可靠的离线性能。深度学习算法可能为数据未覆盖的动作赋予很高的价值,随后又通过自举放大这些误差。这促使研究重点从简单地重复利用数据,转向显式控制已记录行为与所学策略之间的不匹配。

2019年至2022年间,出现了多种具有影响力的算法。斯科特·藤本、戴维·梅格和多伊娜·普雷库普于2019年提出批量约束深度Q学习,利用对数据集中动作的学习近似来限制动作选择。同样于2019年提出的自举误差累积削减方法,使用分布约束来抑制选择数据未覆盖的动作。阿维拉尔·库马尔及其同事于2020年提出保守Q学习,对数据无法直接支持的动作的过高价值估计施加惩罚。这些方法确立了策略约束和价值悲观性作为核心设计原则的地位。

其他进展则将这一领域拓展到了约束Q学习之外。MOPO和MOReL等基于模型的方法均于2020年提出,它们将学习得到的动力学模型与限制模型利用的机制相结合,以防策略利用模型误差。2021年提出的Decision Transformer和Trajectory Transformer,将离线决策的某些方面重新表述为序列建模问题。2022年在国际学习表征会议(ICLR)上发表的隐式Q学习表明,可以围绕拟合得到的价值估计来组织策略改进,而在训练评价器时无须对任意动作求最大值。

基准测试也日趋标准化。2020年推出的D4RL汇集了一系列数据集,旨在揭示覆盖范围狭窄、行为质量参差不齐以及需要拼接轨迹片段等难点。同年推出的RL Unplugged为多种强化学习领域提供了数据集和评估规程。这些资源使算法比较更加系统化,同时也揭示出,结果在很大程度上取决于数据集的构建方式和评估方案的选择。

分布偏移、覆盖性与可辨识性的局限

核心的统计难题在于:用于学习的数据与学得策略所引发的情境之间存在分布偏移。描述这一问题的一种有效方式是折扣状态—动作占用分布:

dπ(s,a)=(1−γ)∑t=0∞γtPr⁡π(st=s,at=a).d^\pi(s,a)= (1-\gamma)\sum_{t=0}^{\infty} \gamma^t \Pr_\pi(s_t=s,a_t=a).

训练数据近似反映行为策略或多种行为策略混合后的占用分布,而部署时则按照 dπd^\pi 产生观测。因此,即便策略的各个动作在局部看来都合理,它仍可能将系统带入训练中很少出现的状态。

这一问题在Q学习中尤为突出。用于拟合的贝尔曼目标通常形如 y=r+γmax⁡a′Q(s′,a′)y=r+\gamma\max_{a'}Q(s',a')。无论数据集中是否存在关于某个动作的有效证据,最大化操作都会将其纳入搜索。如果函数近似意外地为缺乏数据支持的动作赋予了较高的价值,这个价值就会进入某条已记录转移的目标值。后续更新会沿着数据集中的转移关系,将这一错误向前面的状态传播。随后,策略优化又会优先选择那些估计误差恰好偏高的动作。这种反馈通常称为外推误差或自举误差。

覆盖性决定了哪些改进有充分依据。如果行为策略在某个相关状态下从未采取过某个动作,仅凭数据集可能无法判断该动作会产生什么结果。两个环境可以在所有已观测到的转移上完全一致,却对那个未被观测的动作给出截然不同的结果。若无额外的结构性假设,任何学习算法都无法根据同一组观测区分这两个环境。因此,表面上的优化失败可能反映的是信息缺失,而非优化器或模型架构不够好。

理论分析通常通过密度比或集中性系数来刻画覆盖性,其中涉及 dπ(s,a)/dβ(s,a)d^\pi(s,a)/d^\beta(s,a) 等量。比值较大,说明目标策略依赖的数据事件在数据集中缺乏充分代表。有些理论保证只要求数据覆盖某个合适的比较策略,而非所有可能的策略。这些保证的含义取决于具体的函数类、决策时域和误差度量。在比值有界的假设下成立的保证,并不自动适用于行为策略未知或高度集中的高维数据集。

因此,数据集规模与有效覆盖性是不同的属性。上百万条几乎相同的轨迹,可能足以对某一种运行工况附近的情况作出极为准确的估计,却几乎无法为其他选择提供证据。相反,规模适中但多样性丰富的数据,可以支持将决策重新组合成有用的策略。在导航任务中,一组轨迹可能连接起始区域与某个交叉口,另一组轨迹则连接该交叉口与目的地。学习一条完整路线需要相互兼容的状态信息和衔接各段路线的转移;这并不意味着可以凭空构造一条穿过未观测区域的捷径。

观测记录还带来了另一项局限。如果记录的状态遗漏了同时影响动作选择和结果的信息,那么表面上的动作—结果关系就可能具有误导性。这涉及因果关系和隐藏混杂,而不仅仅是神经网络的预测误差。许多标准的离线强化学习分析都假设状态表示包含足够充分的信息,因此并未解决这一问题。

行为约束与策略正则化

有一类方法通过限制学得的策略与已记录行为之间的偏离程度来进行学习。其出发点并非行为策略必然最优,而是在观测到的动作附近,预测通常有更充分的数据支撑。一个通用的正则化目标为

max⁡πEs∼D, a∼π(⋅∣s)[Q(s,a)]−λEs∼D[D(π(⋅∣s),β(⋅∣s))],\max_\pi \mathbb{E}_{s\sim\mathcal{D},\,a\sim\pi(\cdot\mid s)} [Q(s,a)] -\lambda \mathbb{E}_{s\sim\mathcal{D}} [D(\pi(\cdot\mid s),\beta(\cdot\mid s))],

其中,DD 衡量差异,λ\lambda 控制约束强度。相关算法也可以施加硬约束,而不是引入惩罚项。具体采用何种差异度量,决定了哪些偏离会受到抑制。

基于似然的惩罚项偏向于选择拟合出的行为模型认为概率较高的动作。其他方法则使用基于核的距离来比较分布,或直接约束采样得到的动作。这些方案并不能相互替代。如果要求新策略严格复现行为分布,就可能使其无法在质量参差不齐的数据集中集中选择最佳动作。相比之下,以支持集为导向的约束力求排除缺乏数据支持的动作,同时允许在数据所涵盖的动作之间大幅重新分配概率。

批量约束深度 Q 学习展示了一种利用生成模型限制动作的方法。在其连续控制形式中,变分自编码器以状态为条件对动作建模。该算法从这一模型中采样候选动作,允许对其施加有界扰动,再利用学得的动作价值选出一个候选动作。生成模型近似刻画哪些动作在数据集下是合理的,而评价器则区分这些动作的预期回报。其效果取决于行为模型:遗漏有用的动作模态可能使策略受到不必要的限制,而生成缺乏数据支持的动作则可能削弱约束的作用。

2021 年提出的 TD3+BC 展示了一种更简单的设计。它通过添加行为克隆项来修改连续控制算法中行动器的目标函数,该项通常是行动器输出的动作与数据集动作之间的距离平方。经过适当的归一化和缩放,这一相对微小的改动便在基准测试中取得了具有竞争力的结果。它也凸显了性能强、调参细致的基线方法的重要性:要改进朴素的离线训练,并不一定需要复杂的不确定性模型或分布估计器。

优势加权回归提供了另一条互补路径。它不生成任意动作再估计其质量,而是根据估计的优势值,提高已记录动作的似然。一个典型目标用 exp⁡(A(s,a)/τ)\exp(A(s,a)/\tau) 对数据集中动作的对数似然加权,其中温度为 τ\tau。优势值较高的动作获得更大的影响力,使策略能够在观测到的动作分布内偏向更好的决策。由于指数权重可能使学习过程过度集中于少数样本,通常会对权重进行裁剪和归一化。

这些方法始终面临一种权衡。较强的正则化能减少对缺乏数据支持的预测的依赖,但也可能保留数据集中的不足。较弱的正则化允许更大的改进空间,却增加了受到外推误差影响的风险。此外,仅有动作层面的相似性并不能保证轨迹层面的安全:每一步的微小变化可能累积起来,使访问到的状态发生显著变化。策略约束处理了一个重要的误差来源,但并不能免除对长时程后果的考察。

保守价值学习与隐式策略改进

第二大类方法着重调整价值估计,而不只是依赖显式的行为约束。其核心思想是悲观性:当证据不足时,算法应避免给出让不确定动作显得格外有吸引力的价值估计。这与在线强化学习中常用于鼓励探索的乐观性不同。由于没有机会检验乐观猜测,离线学习器更没有理由把不确定性当作潜在机会的证据。

保守 Q 学习(CQL)在贝尔曼拟合目标中加入惩罚项,相对于数据集中动作的价值,压低从广泛范围内采样得到的动作的价值。对于离散动作,一种有代表性的正则项为

α Es∼D[log⁡∑aexp⁡Q(s,a)−Ea∼D(⋅∣s)Q(s,a)].\alpha\, \mathbb{E}_{s\sim\mathcal{D}} \left[ \log\sum_a \exp Q(s,a) - \mathbb{E}_{a\sim\mathcal{D}(\cdot\mid s)} Q(s,a) \right].

其中,对数求和指数项侧重于高价值动作,第二项则使惩罚以记录在数据集中的动作为参照。在连续动作空间中,所需的动作积分或求和通过采样来近似。因此,这个正则项针对的是那些原本可能仅因外推而变得有吸引力的价值估计。

在特定假设下,CQL 的理论分析确立了策略期望价值的下界性质。这类结果并不意味着,神经网络在每个状态—动作对上给出的估计都是经过校准的置信下界。实际实现会引入近似误差、有限样本效应,以及优化方案选择带来的影响。过度保守也可能压制真正有价值的动作,尤其是在成功行为罕见的情况下。惩罚强度必须在防范缺乏数据支持的乐观估计与区分优劣决策的能力之间取得平衡。

隐式 Q 学习(IQL)采用的思路是,在价值学习过程中避免显式地对数据集之外的动作进行最大化。它以数据集中动作的价值为依据,使用非对称平方误差,即期望分位数回归,来拟合状态价值函数。当期望分位数参数 τ>0.5\tau>0.5 时,正残差获得更大的权重,因此拟合出的状态价值更侧重于观测到的动作价值分布的上部。随后,其动作价值函数使用形式为 r+γV(s′)r+\gamma V(s') 的目标值,而不是通过对任意候选动作取最大值来构造目标值。

IQL 通过优势加权的行为克隆提取策略。因此,其评价器和行动器的更新始终依托数据集中已有的动作,同时仍然偏向优于平均水平的动作。期望分位数并非分位数:前者由非对称平方偏差定义,而后者由非对称绝对偏差定义。这一区别很重要,因为由此得到的价值既取决于残差的概率,也取决于残差的大小,而不只是取决于百分位排名。

其他方法利用集成学习、不确定性估计或鲁棒优化来获得保守的目标值。不同价值函数之间的分歧可能表明数据支持不足,但并不天然构成完整的不确定性度量。采用相似架构和数据训练的网络可能具有相同的误差。更一般地说,悲观的离线学习依赖于识别证据不足之处;仅仅从所有价值中减去一个任意设定的惩罚,并不能提供有意义的保证。

学习得到的动力学与基于模型的规划

基于模型的离线强化学习拟合环境的近似模型,并将其用于规划或进一步训练。学习得到的转移模型 P^(s′∣s,a)\widehat{P}(s'\mid s,a) 通常还配有奖励模型,使学习器能够在不与真实系统交互的情况下生成合成轨迹。这可以提高已记录转移数据的复用程度,并支持对候选动作序列进行显式比较。模型可以直接基于物理变量运行;当观测为图像或其他高维信号时,也可以通过学习得到的潜在空间运行。

主要风险在于策略会利用模型的缺陷。在不完善的模型中优化的策略,可能找到一些动作序列,仅仅因为模型出错,就能在模拟中获得高奖励。即使模型在留出的已记录转移数据上平均预测误差很低,它在优化后的策略所到达的区域中仍可能表现不佳。优化会改变真正需要保证准确性的数据分布。当预测被反复向前递推时,这一问题尤其严重,因为局部的小误差会改变后续状态,并随时间累积放大。

MOPO 是“基于模型的离线策略优化”(Model-based Offline Policy Optimization)的缩写,它通过利用模型不确定性估计对合成奖励施加惩罚来应对这一问题。其修正后的奖励可概括为 r~(s,a)=r^(s,a)−λu(s,a)\widetilde{r}(s,a)=\widehat{r}(s,a)-\lambda u(s,a),其中 uu 衡量不确定性或预测之间的分歧。该算法利用生成的经验训练策略,同时抑制轨迹经过不确定区域。从真实数据集中的状态出发进行短程模型推演,可以缩短误差累积的跨度,但无法消除模型偏差。

MOReL,即“基于模型的离线强化学习”(Model-Based Offline Reinforcement Learning),采用了一种相关的悲观式构造方法。它识别被认为了解不足的状态—动作区域,并在学习得到的决策过程中,将进入这些区域视为转移到一个不利的吸收态。这样,不确定性就转化为显式的规划代价。已知区域与未知区域之间的界限本身也是估计出来的,因此,理论结论取决于不确定性机制能否正确反映模型误差,以及数据集能否支持相关比较。

学习得到的世界模型还可以利用无模型价值学习并未直接编码的结构信息。物理约束、物体之间的关系或已知方程,都可能缩小合理动力学的范围。这类信息有时能够支持模型泛化到所记录的具体状态—动作对之外。然而,要声称能够可靠地外推,就必须确保结构假设恰当。仅以复现观测为训练目标的灵活预测模型,并不会自动识别未见过的干预所产生的影响。

因此,基于模型的评估不能只报告单步预测准确性。相关测试包括多步一致性、奖励预测准确性、不同运行条件下的校准情况,以及针对该模型优化所得策略的表现。即便开展这些测试,如果所有可用的验证数据都来自同一个狭窄的行为分布,评估仍然存在局限。关键问题不在于模型能否重建熟悉的轨迹,而在于执行模型所鼓励的决策时,其误差能否保持可控。

序列建模与回报条件策略

序列建模方法将决策表述为对轨迹的预测,而不再仅仅依赖贝尔曼递推。轨迹包含按时间顺序排列的状态、动作和奖励;自回归模型可以学习这些要素之间的统计关系。这将离线强化学习与表征学习以及最初为自然语言处理开发的架构联系起来。这种联系体现在建模机制上,并不意味着语言预测与最优控制等价。

Lili Chen 及其同事于 2021 年提出的决策 Transformer,使用包含未来累计回报、状态和动作的序列来训练因果 Transformer架构模型。对于有限长度的轨迹,未来累计回报词元通常表示

Gt=∑k=tTrk.G_t=\sum_{k=t}^{T}r_k.

模型以近期轨迹和期望回报为条件预测动作。部署时,回报条件变量会随着奖励的获得而更新。训练可以采用普通的监督预测损失,无需拟合贝尔曼方程,也无需估计动作价值函数。

以回报为条件改变了模仿学习的目标。模型不再复现所有行为不加区分地混合后的模式,而是可以将更好的结果与特定动作模式关联起来。当数据集包含不同质量的轨迹时,这种方式可以选出类似于高回报样本的行为。然而,以一个很大的数值目标为条件,并不能保证该目标可以实现。如果数据中没有高回报样本,或者高回报来自有利的随机因素,而非可控的动作选择,模型就可能没有依据来产生所要求的结果。

Michael Janner 及其同事于 2021 年提出的轨迹 Transformer,以自回归方式对轨迹的各个组成部分建模,并通过搜索预测序列来进行规划。在其最初的形式中,连续量被离散化为词元。这不同于根据期望回报直接预测动作:学到的轨迹分布能够支持对后续轨迹的不同可能走向进行评估。其规划质量仍取决于生成的状态转移和奖励是否准确,而且搜索也可能利用预测误差,正如优化过程可能利用传统动力学模型中的误差一样。

扩散模型提供了另一种表示复杂动作分布或轨迹分布的方式。基于扩散模型的规划器生成候选轨迹,并可以将目标、奖励或其他约束作为生成条件。与单一的确定性动作预测器相比,其表达能力较强的分布能够更自然地表示多种彼此不同的成功行为。然而,基于扩散模型的策略学习并不一定属于离线强化学习:如果模型仅接受模仿示范的训练,且不涉及基于奖励的改进或规划,那么将其归为模仿学习可能更恰当。

序列方法较为自然地支持对历史信息的依赖和大规模预训练,但长上下文并不能解决所有决策问题。长时程信用分配、隐蔽混杂因素和覆盖不足等问题依然存在。此外,经典的基于价值的方法有时能够将局部有用的状态转移组合起来,形成从未以完整轨迹形式记录过的策略。序列模型能在多大程度上实现类似的重组,取决于其表征、训练目标、条件设置方式和规划流程,而非仅仅取决于模型规模。

离线评估、模型选择与基准测试

离策略评估利用其他策略收集的数据,估计目标策略的回报。当直接部署成本高昂或不可行时,这种评估不可或缺。学习与评估是两项不同的任务:一个策略可能很容易表示,却难以用现有数据评估;算法在训练中预测的价值,也未必是对其真实性能的独立估计。要可靠地比较策略,既需要关注统计不确定性,也需要审视将日志数据与目标策略联系起来的各项假设。

重要性采样根据记录轨迹中的动作在目标策略和行为策略下出现的概率,对轨迹重新加权。轨迹权重可以采用以下形式:

w(τ)=∏t=0Tπ(at∣st)β(at∣st).w(\tau)= \prod_{t=0}^{T} \frac{\pi(a_t\mid s_t)}{\beta(a_t\mid s_t)}.

在满足适当的支持集与数据记录假设时,加权回报可以用于估计目标策略的性能。然而,当决策时域较长时,概率比的连乘可能产生极大的方差。对行为概率的估计会引入额外误差,而在连续动作空间中,确定性或概率高度集中的目标策略尤其难以与行为策略形成充分的分布重叠。如果某些动作在相关日志数据中出现的概率为零,任何重新加权方案都无法还原这些动作的结果。

基于模型的评估通过估计得到的环境模型预测结果,而拟合 Q 评估则利用状态转移数据,反复估计固定目标策略的价值。双重稳健估计量将价值模型与重要性加权修正相结合,力求在明确的假设下获得较好的偏差或方差性质。不应将其名称理解为能够抵御任意模型误设的保证。样本之间的依赖、隐藏混杂、分布重叠不足,以及对辅助模型估计不佳,都可能破坏理论分析所需的条件。

策略选择又增加了一层困难。如果使用同一个带有噪声的评估器来比较许多算法、随机种子和超参数设置,最终胜出的策略可能只是利用了评估误差。与随机划分单条状态转移相比,按完整轨迹、数据采集时段或来源系统划分数据可能更合适。当相关的轨迹片段或未来信息越过预设的评估边界时,就会发生数据泄漏。与此同时,留出数据上的状态转移预测损失衡量的是预测拟合程度,不一定能衡量策略质量。

D4RL 明确呈现了多种数据集特征,包括随机行为、训练尚未完成的策略、经验回放缓冲区、专家示范,以及不同质量水平的数据混合。其迷宫与导航任务有助于揭示拼接轨迹片段和处理稀疏奖励的难度。部分 D4RL 任务采用如下形式的归一化得分:

100 J(π)−JrandomJexpert−Jrandom.100\, \frac{J(\pi)-J_{\mathrm{random}}} {J_{\mathrm{expert}}-J_{\mathrm{random}}}.

这些参考策略定义的是一种评分尺度,而不是通用的成功概率;得分可能低于零,也可能超过 100。

必须区分离线训练与完全离线的评估。许多基准研究在固定数据集上训练,却通过在模拟器中执行所得策略来评估它们。这种做法可以有效衡量算法性能,但并未解决实际部署中的问题:当不存在这样的测试环境时,该如何选择策略。反复利用模拟器调优,还可能使报告的结果比真正完全不与环境交互的开发流程所能达到的结果更好。

应用、部署边界与尚未解决的问题

机器人技术是离线强化学习的一个重要应用领域,因为与物理环境交互既耗时,又可能损坏设备。离线数据集可以汇集遥操作、脚本控制器以及早期机器人策略产生的数据。基于奖励的学习可以从质量参差不齐的示范中识别有用的动作,也可以整合不同轨迹中的技能。实践中的重要难题包括摄像头变化、物体差异、同步不准确,以及采集数据的机器人与运行所学策略的机器人之间的差异。在某一种操作配置下取得优异结果,并不能证明系统对这些变化具有鲁棒性。

在工业系统中,历史控制器日志可用于研究能源消耗、流程效率和维护相关决策。这类记录通常广泛覆盖正常运行状态,却很少包含异常或不安全条件下的信息。现有控制器还可能一直在实施某些约束,而这些约束并未明确体现在学习目标中。因此,用奖励最大化策略取代原有控制器的行为,可能会移除一些保护措施,而数据集并未将这些措施标识为独立规则。仅凭离线证据,无法证明系统符合物理运行限值。

推荐系统提供了大量交互日志,而且天然涉及延迟效应,例如某次推荐是否会改变用户后续的参与度。然而,展示哪些项目是由此前的系统决定的,因此,对于未展示的备选项目,并没有直接观测到的用户反应。位置效应、用户群体的变化以及不断更新的项目目录,使数据解读更加复杂。究竟适合采用上下文多臂老虎机模型,还是序贯强化学习模型,取决于实际的决策过程以及所研究的时间效应。

临床记录包含观测、干预和结局的序列,因此推动了离线强化学习研究。这些是观测性数据,而非随机实验数据。治疗选择可能反映出未被结构化变量记录的临床医生知识,而记录中的干预措施也可能只是潜在病情变化的间接指标。测量缺失、采样时间不规则以及机构间的差异,都使状态表示更加复杂。对策略价值的回顾性估计,本身并不能证明治疗有效或具有临床安全性。

从离线到在线的学习提供了一种中间情境:先用静态数据初始化策略,再通过新的交互加以改进。这可以减少所需的在线经验量,但也引入了过渡问题:保守的离线策略可能探索不足,而立即取消保守性约束又可能使系统受到不可靠价值估计的影响。这类系统在后期阶段并非完全离线,因此,评估其收益时,必须同时考虑额外交互带来的成本与风险。

尚待解决的研究问题包括:利用神经网络进行可靠的不确定性估计、在无法访问环境时选择策略、在数据覆盖不足的情况下进行长时程学习,以及跨任务和不同机器人形态的泛化。更丰富的观测和预训练表征可以帮助从数据集中提取更多信息,但如果没有额外假设,就无法推知数据中任意缺失的后果。同样,即使奖励估计准确,若该奖励遗漏了预期任务的重要方面,对其进行优化仍可能产生奖励黑客行为。因此,离线强化学习必须区分三个独立的问题:数据支持哪些行为、算法能够估计哪些结果,以及部署后的系统实际在优化什么目标。