教 AI 逐帧搓招玩《铁拳》通关最高难度,现在的街机游戏爱好者有点东西
消息来源:baojiabao.com 作者: 发布时间:2024-05-20
现在的 AI 都开始学着逐帧搓招打街机了?《拳皇 98》《街头霸王》《死或生》…… 一干童年回忆全都玩了个遍,其中还有号称要打 5000 场才能入门的 3D 格斗游戏《铁拳》:
没错,就是那个对新手极不友好的《铁拳》,随便拉一张角色的搓招表感受一下这个复杂度:(没错,各种压帧判定的 JF 技就是其特色之一)
▲ 铁拳 TT2 出招表
但 AI 偏偏就能在入坑没多久就通关了最高难度:
▲ 左侧为 AI
这款 AI 的背后是一位个人开发者,也是一位骨灰级的街机游戏爱好者。他训练出来的新手"铁匠"在 Reddit 的"比赛录播"已经有近 500 的热度:
强化学习训练框架
这位 AI 铁匠的背后,是一个叫做 DIAMBRA Arena 的强化学习交互框架。DIAMBRA Arena 提供了多个强化学习研究和实验环境,具有情节性的强化学习任务,由离散的动作(如游戏手柄按钮)和屏幕中的像素和数据(如人物血条)组成。
在这一框架中,智能体会向环境发送一个动作,环境对其进行处理,并相应地将一个起始状态转换为新状态,再将观察和奖励返回给智能体,以此交互循环:
要实现上述循环的代码也非常简单:
import diambraArena# Mandatory settingssettings = {}settings["gameId"] = "do" # Game selectionsettings["romsPath"] = "/path/to/roms/" # Path to roms folderenv = diambraArena.make("TestEnv", settings)observation = env.reset()while True: actions = env.action_space.sample() observation, reward, done, info = env.step(actions) if done: observation = env.reset() breakenv.close()
这一框架目前支持 Linux、Windows、MacOS 等主流的操作系统。而这款 AI 的"实战场"为早期的 Tekken Tag Tournament,当然,搓招复杂度完全不逊色于之后的新版本……
开发者选择了风间仁(Jin)和吉光(Yoshimitsu)两名具有代表性的角色作为主要操作对象。输入分别为:从 RGB 转换为灰度,并缩小到 128 x 128px 的游戏屏幕像素值、对战局数(Stage)、人物血条、游戏界面的一侧。
训练中的奖励是一个基于生命值的函数,如果对方生命值损伤则得到正面奖励,己方控制的角色生命值损失则得到负面惩罚。
同时,AI 的动作速率也被限定为最大速率的 1/10,即游戏中每 6 步发送一个动作。由于框架使用的是一种离散的动作空间,因此,智能体在训练中的同一时间只能选择一个移动动作 9 向上,向下等)或攻击动作(冲击,踢,出拳)。
因此,虽然一个连击组合的实战能力更强,但由于 AI 无法同时点击两个动作,在真实的对战中,便会出现 AI 频繁使用踢(Kick)和更换角色(swap)两个动作的情况:
评论区有资深 PVP 爱好者表示,想要看到这种顶级 AI 选手互虐的激烈场景,而开发者本人对此非常赞同:
我们正在创建一个平台,在这个平台上,程序员将提交他们训练有素的 AI 并互相对抗,并在我们的频道上播放比赛。
AI 锦标赛
现在,开发者团队已经开始正式筹备这个"AI 游戏锦标赛",背后的程序员和开发者们相当于是"教练"或者"选手家长",最终的获胜者可获得 1400 瑞士法郎(折合人民币 9261 元)。
"比赛项目"也不止是铁拳一种,开发者表示,这些格斗游戏的底层机制都比较类似,只需要修改一下组合技、人物血条数值等游戏的差异性属性。
所以,他们的 DIAMBRA Arena 框架面向各类街机视频游戏提供完全符合 OpenAI Gym 标准的 Python API。像死或生、街头霸王等多个流行的街机游戏都被囊括其中:
GitHub 链接:
https://github.com/diambra/diambraArena
视频链接:
https://www.youtube.com/watch?v=9HAKEjhIfJY
参考链接:
[1]https://www.reddit.com/r/reinforcementlearning/comments/sq1s3f/deep_reinforcement_learning_algorithm_completing/
[2]https://www.reddit.com/r/MachineLearning/comments/sqra1n/p_deep_reinforcement_learning_algorithm/
2022-05-08 07:02:24相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24