OpenAI手把手增强学习从头教，释出教育资源Spinning Up

OpenAI现于Deep RL中发布Spinning Up，这是设计来供任何人学习，以成为深度增强学习熟练实作者的教育资源， Spinning Up内含了增强学习程式码、教程、教育练习题以及文件。

OpenAI认为，在深度学习领域，增强学习将在强大的人工智能技术中扮演核心角色，市面上虽然有不少人工智能学习资源，但是增强学习是更具挑战性的课题，因此才设计了Spinning Up，帮助人们学习并使用这个技术。

透过与OpenAI的学者和研究员合作，发现即使是原本缺乏机器学习经验的人，只要有良好训练资源，也可以很快的在增强学习技术上手。Spinning Up就是基于以上需求建立的计划，并在2019年被整合到了2019年的学者和研究员计划的课程之中，OpenAI提到，熟悉增强学习能让人们参与跨领域的科学研究，像是人工智能安全，其中就涉及了增强学习以及其他技能的结合。

Deep RL中的Spinning Up内容丰富囊括不少资源，其中包括增强学习的术语、各种算法和基本理论的介绍，还介绍了研究增强学习的方法，以及一系列按主题编排的重要论文清单，另外，有一个经仔细整理的程式码储存库，其中包含了许多独立的算法实作，包含Vanilla Policy Gradient（VPG）、Trust Region Policy Optimization（TRPO）以及Proximal Policy Optimization（PPO）等各种算法，当然还有一些练习，供学员学以致用。

OpenAI提到，Spinning Up中的范例程式码都是为新手设计的，结构简单友善易于学习，他们以撰写最小实作以展示理论，避免了增强学习函式库存在的混淆层以及抽象层，也减少使用模组化，力求程式码逻辑清晰，并有详细的程式码注解，帮助学习者了解程式码功能。

除了学习资源外，Openai对该专案还有持续的支援计划，在Spinning Up发布的前3个星期，会快速的处理发现的臭虫、安装问题以及解决文件中错误和模糊的地方，以提高读者自学的品质，在发布6个月后，将根据收到社群的回馈，对套件状态进行仔细地审查，并宣布接下来的更新计划。在期间OpenAI与研究人员，如有对Spinning Up进行更改，也会推送更新到公开程式码储存库，供所有人使用。

Deep RL中的Spinning Up计划，是OpenAI倡议新教育的一部分，而这也是他们实践组织章程，寻求创建一个全球社群，以共同解决强人工智能（Artificial General Intelligence，AGI）全球挑战。OpenAI希望透过Spinning Up让更多人熟悉增强学习，以推进安全且对公众有益的人工智能技术。接下来OpenAI还会继续和其他组织合作，以帮助推广这些人工智能教育资源，现在正与柏克莱CHAI（Human-Compatible AI）中心合作，计划举办深度学习研讨会。