OpenAI举办机器学习擂台，让AI玩家在SEGA音速小子上决胜负

OpenAI举办人工智能转移学习（Transfer Learning）比赛，采用整合了30款SEGA Mega Drive经典游戏的Gym Retro平台，参赛者将需要面对前所未见的关卡，以评估其强化学习算法（Reinforcement Learning Algorithm）举一反三的能力。

OpenAI表示，在典型的增强学习研究中，算法经常一再的于相同环境中测试，而这样不只让算法容易以记忆的方式取胜，开发者也可以调整出最适合的超级参数组。这次的经典游戏大赛反其道而行，OpenAI会以音速小子系列游戏的自订义关卡，来测试参赛者的算法。

OpenAI释出了经典基准（Retro-baselines），向参赛者展示增强学习算法在游戏关卡中的应用。而经典基准显示，即使使用了转移学习，增强学习算法的学习能力还是远低于人类，人类只玩1个小时的游戏，其得分相当于算法学习玩18个小时。

参赛者可以使用各种环境以及参数训练算法，但是实际比赛时，只能在官方准备好的全新关卡上游玩18小时，约执行100万步。OpenAI表示，18个小时看起来是一段很长的时间，但事实上得到的结果仍然差强人意。

（如下图）这个经典基准测试中，提供了一些实验结果给参赛者参考，内含Rainbow DQN、PPO以及简单随机猜测JERK等算法的执行结果。他们发现，使用转移学习的PPO算法，可以大幅提升学习效能，甚至是其他算法的两倍。

而随着比赛消息的释出，他们也对外公布Gym Retro测试版，这是将经典游戏包装成增强学习环境的系统，其中包含来自SEGA Mega Drive的30款经典游戏以及62款Atari 2600的游戏。

在过去5年，Arcade一直是增强学习的主要测试环境，目的在于让机器学习挑战人类玩家的运动技能以及解决问题的能力。OpenAI表示，Gym Retro提供更为现代地控制台界面，SEGA Mega Drive的游戏也比Atari拥有更多层次，包括更多维度与玩法，借此不只能扩大增强学习研究可用的游戏数量，同时也能增加测试复杂性。在Gym Retro中，玩家可以直接透过JSON文件来控制关卡组成。

比赛将于4月5日至6月5日举行，为期两个月，而官方表示，获奖者会得到非常酷的奖杯，期望开发者踊跃挑战。