深度强化学习一定要用到奖励工程吗？伯克利 AI 研究院：并不需要_分类器

“

机器人系统也朝着终生学习的目标迈进了一步！

”

AI 科技评论按：近年来，强化学习技术在控制领域大放异彩。然而，奖励函式的设计问题一直以来都是困扰着人们的“老大难”问题。近期，伯克利的研究人员提出了一种基于“事件变分逆控制”的端到端深度强化学习正规化，使机器人无需依赖奖励工程便能实现高效的深度强化学习，成功地在机器人控制问题上取得了重大突破。伯克利 AI 研究院将相关成果释出在部落格上，AI 科技评论编译如下。

将任务的目标告知他人是件很容易的事：我们可以使用语言向他们描述希望得到的结果，向他们展示一段教学视讯，或者综合使用这些方法。但在另一方面，为机器人指定一项强化学习任务则是一件需要付出巨大努力的事。在先前大量的工作中，研究者们已经将深度强化学习技术应用于真实的机器人上，而这些工作使用的是特定的感测器来获得奖励或学习任务，在这些任务中，机器人的内部感测器可以被用来衡量奖励。例如，使用热成像仪跟踪液体流动（https://arxiv.org/abs/1608.00887），或者使用专门构建的计算机视觉系统来跟踪物体（https://arxiv.org/abs/1707.01495）。由于对于任何我们希望学习的新任务来说，首先都需要准备好这些仪器环境，这就使我们在广泛将强化学习技术应用于机器人时遇到了重大的瓶颈，并且我们难以在缺乏这些仪器的开放世界环境中直接使用这些方法。

为此，我们开发出了一种端到端的方法，它使机器人可以在不需要任何手动的奖励工程的情况下，从描述了如何完成一个任务的适当数量的影象中学习。机器人仅仅从这些资讯（大约 80 张影象）中开始学习，且偶尔向用户查询额外的标签。在查询过程中，机器人会向用户展示一张影象并要求使用者为该影象打上标签，从而确定该影象是否代表任务已被成功完成。使用者需要提供此类查询的次数并不多（大约 25-75 次），而机器人则能通过使用这些查询结果，在 1-4 小时的互动时间内直接在真实世界中学习，最终结果显示，这种方法是最高效的适用于真实世界的基于影象的机器人强化学习方法之一。我们已经对该方法进行开源，地址如下：

https://github.com/avisingh599/reward-learning-rl

我们提出的方法使我们能够以端到端方式利用影象画素资料解决诸多基于现实世界的机器人问题，且无需任何人为设计的奖励函式。

基于分类器的奖励

虽然我们先前的大多数的工作都倾向于利用专门构建的系统来获取奖励，从而解决所面临的任务，同时此前也曾探索了一种简单的替代方案。我们可以使用一组目标影象来指定任务，而后训练分类器来区分目标影象与非目标影象。接着，该分类器分类成功的概率可以被用作训练强化学习智慧体来实现该目标的奖励。

通过示例影象指定任务通常是非常直接的。如上图所示，任务可能是将与图片中同样多的葡萄酒倒入玻璃杯中、像图片中一样将衣服叠起来，以及按照图中的样式摆放餐具。

尽管分类器是在现实世界中为强化学习智慧体指定任务的最直观、最直接的解决方案，但它们在应用于现实世界中的问题上时也会产生不少问题。然而，使用目标分类器来指定任务的使用者，不仅需要为该任务提供正样本，而且还需要提供负样本。此外，这组负样本必须足够详尽，同时涵盖机器人可能到达经过的所有空间区域。如果该组负样本提供的资讯不够详尽，那么强化学习演算法可能会通过找出分类器在训练期间未曾见过的场景而轻易骗过分类器。下方的示例展示了“分类器利用（exploitation）”这一问题：

【注：原图过大，敬请扫描二维码检视本图】在这个任务中，机器人的目标是将绿色的物体推到红色标记上方。我们使用一个分类器作为奖励函式，通过强化学习来训练该机器人。右下角可以看到分类器成功分类的概率随时间变化的视觉化结果。正如我们看到的，即便分类器输出的成功概率为 1.0，机器人也仍然无法完成这个任务。而强化学习演算法已经成功地以一种特殊的方式移动机器臂，从而骗过了分类器，这是因为该分类器并没有在这种特定的负样本上被训练过。

攻克“分类器利用”问题

我们采用的最新方法被称为“事件变分逆控制”（variational inverse control with events，VICE，https://sites.google.com/view/inverse-event），它试图通过取代以对抗式的方式来挖掘分类器所需要的负样本来解决这个问题。该方法在一开始会随机初始化分类器和策略。首先，它会调整分类器并更新策略，从而最大化奖励；接下来，它会训练分类器将使用者所提供的目标示例与通过强化策略收集到的样本区分开来。然后，强化学习演算法会利用更新后的分类器作为学习策略的奖励，从而实现希望实现的目标；这一迭代过程将持续到策略收集到的样本与使用者提供的目标示例无法被区分开来。这一过程类似于生成对抗网络（https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf），并且基于某种逆强化学习（https://arxiv.org/abs/1710.11248）的一种形式（https://arxiv.org/abs/1611.03852）。但与标准的逆强化学习不同，这种方法不需要示例演示——而仅需要在分类器开始训练时提供成功完成任务的示例影象。VICE（如下图所示）能够有效解决初始分类器的利用问题，而使用者则不再需要提供任何负样本示例。

【注：原图过大，敬请扫描二维码检视本图】我们看到，分类器学习的成功概率与实际成功情况密切相关，这使得机器人可以学会成功完成任务的策略。

虽然 VICE 能够在无需任何奖励工程的前提下，学会用于解决现实世界中的机器人任务的端到端的策略，但它其仍然有着自己的局限性：VICE 需要事先得到数千个正样本才能完成学习，这会大大增加人类使用者的工作量。为了解决这个问题，我们开发出了一种新方法，它使机器人能够在除了使用适量的初始目标示例之外，还能够向用户提出的标签查询。我们将这种方法称为“利用主动目标查询的强化学习”（RAQ，https://sites.google.com/view/reward-learning-rl/）。在这些主动查询过程中，机器人会向用户展示一张影象并要求使用者为该影象打标签，以确认该影象是否表示任务已被成功完成。虽然这种主动请求使用者为每个状态打标签的作法实际上相当于要求使用者手动提供奖励讯号，但该方法只需要使用者给机器人在训练期间看到的一小部分影象打标签，对于在无需手动设计奖励的情况 言下学习机器人技能的任务而言，这是一种高效且实用的方法。

在这个任务中，我们的目标是将书籍放入书架中的任意一个空槽内。该图展示了我们的演算法所做出的一些查询示例。该演算法根据在学习解决任务的过程中积累的经验挑选出了以上几幅影象（使用学到的分类器得出的概率估计），并由使用者为这些影象打上二分类的“成功/失败”的标签。

我们将这种组合方法称为 VICE-RAQ，在事先拥有 80 张目标示例影象、后续进行 25-75 次主动查询的情况下，它能够完成现实世界中的机器人任务。我们采用了最近提出的“soft actor-critic”演算法（https://bair.berkeley.edu/blog/2018/12/14/sac/）来进行策略优化，可以在与现实世界互动的大约 1-4 小时内完成任务，这比先前在影象上进行端到端的策略训练的方法要快得多。

我们的方法能够在一个小时多一点的互动时间内学会完成将物体推到指定地点的任务（目标是将杯子推到白色杯托之上），而且只需要进行 25 次查询。即使对于更为复杂的书架摆放和布帘覆盖任务，我们的方法也只需要不到 4 个小时的互动时间，以及不到 75 次的主动查询。

解决涉及可形变目标的任务

由于我们在本任务中基于影象画素学习奖励函式，因此可以解决那些难以手动指定奖励函式的任务。我们进行的实验任务之一，是将布覆盖在一个盒子上——这实际上是用桌布覆盖桌面任务的一种简化版本。为了成功完成任务，机器人必须平稳地覆盖布料，不能压皱布料也不能让任何地方起褶皱。我们发现我们的方法能够成功地解决这项任务。为了展示本任务所面临的挑战，我们评估了另一种仅使用机器人末端效应器的位置作为观测资料、并基于该测量资料（与目标的欧氏距离）手动定义奖励函式的方法。我们观察到，这种对比基准方法并不能实现该任务的既定目标，因为它只会简单地以直线运动的方式将末端效应器移动至目标位置，然而直线轨迹并不能解决这项任务。

上图：使用机械臂的位置作为观测资料手动定义奖励函式的策略的实验结果。下图：使用基于画素学习到的奖励函式的策略的实验结果。

分类器描述一个任务的表达能力要远远强于目标影象，这一点在有多张描述目标的图片的任务中可以很好地体现出来。在我们实验的书架摆放任务当中，目标是将书籍插入书架上的空槽处。机械臂拿起书籍的初始位置是随机的，任务要求机器人能够从任意的起始位置成功地完成任务。最重要的是，书架上有若干个空槽，意味着不同的起始位置可能对应不同的最优目标空槽。在这里，我们看到我们的方法学到了一种能够根据书籍在轨迹中的初始位置将其插入不同空槽的策略。机器人通常更倾向于将书放入最近的槽中，因为这能够最大化其从分类器那里获得的奖励。

上图：机器人选择将书籍插入左侧的空槽。下图：机器人选择将书籍插入右侧的空槽。

相关工作

近年来，研究人员提出了多种资料驱动型方法来解决奖励规范问题（reward specification problem），其中逆强化学习（IRL，https://ai.stanford.edu/~ang/papers/icml00-irl.pdf）是一种效能较为突出的方法。VICE 与最近提出的 IRL 方法密切相关，例如：带引导机制的成本学习（https://arxiv.org/abs/1603.00448）与对抗逆强化学习（https://arxiv.org/abs/1710.11248）。IRL 方法要求人类专家提供实现正确的（状态、动作）对轨迹，而 VICE 只需要最终希望实现的状态，这就使得任务指定变得简单得多，同时也让强化学习演算法能够自主发现更多能够完成任务的新颖方式（而非简单模仿专家的行为）。

我们的方法还与生成对抗网络（https://arxiv.org/abs/1406.2661）相关。受到生成对抗网络（GAN，https://arxiv.org/abs/1606.03476）启发的各类技术已被广泛应用于控制问题，但是与前面提到的逆强化学习技术一样，这些技术也要求我们事先拥有“专家轨迹”（expert trajectories）资料。我们的方法表明，这种对抗性学习框架可以被扩充套件至无需专家演示引导的体系当中，而我们只需要给出想要达到的理想状态的示例即可。

在过去几年当中，用于机器人的端到端感知与控制技术获得了极大的关注，但初步的方法要么要求能够在训练过程中利用低维状态（例如，物件的位置，https://arxiv.org/abs/1504.00702）、要么需要单独训练机器人的中间表征（https://arxiv.org/abs/1509.06113）。而最近，研究者提出的一些方法（https://bair.berkeley.edu/blog/2018/12/14/sac/）能够直接通过画素学习策略，而无需依赖于训练过程中的低维状态，但它们仍然需要获取奖励的仪器。我们的方法在这方面有了进一步的提升——能够直接根据画素学习策略与奖励函式。这种方法使我们能够解决那些较难指定奖励的任务，例如：机器臂盖桌布任务。

结语

通过使机器人能够在无需使用者对奖励函式或专家演示进行程式设计的情况下实现强化学习，我们坚信我们的方法让强化学习在成为机器人实现全能型操作的实用、自动和易用的工具的道路上，前进了一大步。通过使机器人在无需任何仪器或手动奖励设计的条件下就能够直接在现实世界环境中提升技能，我们亦坚信我们的方法也意味着，直接从现实环境中学习的机器人系统也朝着终生学习的目标迈进了一步。在未来，这种能力可以使机器人得以通过与现实世界的互动直接获取广泛且高度泛化的技能。

End-to-End Robotic Reinforcement Learning without Reward Engineering（RSS 2019）

论文作者：Avi Singh, Larry Yang, Kristian Hartikainen, Chelsea Finn, Sergey Levine

论文下载地址：https://arxiv.org/abs/1904.07854

开源代码：https://github.com/avisingh599/reward-learning-rl

Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition（NeurIPS 2018）

论文作者： Justin Fu*, Avi Singh*, Dibya Ghosh, Larry Yang, Sergey Levine

论文下载地址：https://arxiv.org/abs/1805.11686

开源代码：https://github.com/avisingh599/reward-learning-rl

via https://bair.berkeley.edu/blog/2019/05/28/end-to-end/

点选，查