可以装在手机里的 3D 姿态估计,模型尺寸仅同类 1/7,平均关节位置误差却只有 5 厘米
消息来源:baojiabao.com 作者: 发布时间:2024-05-15
长久以来,三维姿态估计都在追求准确性上一路狂奔。
但精度提高的同时,也带来了计算成本的上升。
而刚刚被 CPVR 2021 接受的论文中所提出的模型,MobileHumanPose 却可以同时做到又小又好。
还是放在手机上都能 hold 得住的那种。来感受一下:
这种动作的健身操也没问题:
据了解,这个模型的尺寸,只有基于 ResNet-50 的模型的 1/7,算力达到了 3.92GFLOPS。
而且平均每关节位置误差(MPJPE),也只有大约 5 厘米。
那么这一模型到底是如何在有限的算力下产生极佳性能的呢?
基于编码器-解码器结构的改进
这是一个从基本的编码器-解码器结构改良得来的模型。
在编码器用于全局特征提取,而解码器进行姿态估计的基础架构上,研究团队对其主干网络、激活函数,以及 Skip concatenation 功能都进行了修改。
先来看研究团队选择的主干网络,MobileNetV2。
他们在 MobileNetV2 的前四个倒置残差块(Residual Block)处修改了通道大小,获得了性能提升。
接下来,将 PReLU 函数用于实现激活功能,其中 ai 为学习参数 yi 是输入信号。
这一函数中的可学习参数能够在每一层网络都获得额外的信息,因此在人体姿势估计任务中使用参数化 PReLU 时可提升性能。
▲ 修改了激活函数后的 baseline
现在,模型的效率已经不低了,但考虑到推理速度,团队使用 Skip concatenation 结构。这一结构能从编码器到解码器中导出低级别特征信号(Lowlevel feature signal),不会降低性能。
参数量减少 5 倍,计算成本降到 1/3
团队使用 Human3.6M 和 MuCo-3DHP 作为三维人体姿势数据集,他们提出了 MobileNetV2 的大小两个模型。
在 Human3.6M 上,MobileNetV2 大模型实现了 51.44 毫米的平均每关节位置误差。
且其参数量为 4.07M,对比同类模型的 20.4M(chen)减少了 5 倍,计算成本为 5.49GFLOPS,是同类模型的 1/3 不到(14.1G)。
对于多人三维姿势估计任务,研究者使用 RootNet 来估计每个人的绝对坐标,在 MuPoTS 的 20 个场景中进行了实验:
实验结果证明,对比 Zerui Chen 等研究者提出的获 ECCV 2020 的三维人体姿态估计方法,MobileNetV2 在一般场景中的性能都更好,且在少数场景中取得了最佳性能:
在模型效率上,MobileNetV2 的大模型效率为 2.24M/3.92GFLOPS,远超同类模型的 13.0M/10.7GFLOPS(Zerui Chen)。
而小模型也能实现 56.94 毫米的平均每关节位置误差,有 224 万个参数,计算成本为 3.92GFLOPS。
作者介绍
论文的三位作者皆毕业于韩国高等技术研究院,一作 Sangbum Choi 为该校的电机及电子工程专业硕士。
论文:
https://openaccess.thecvf.com/content/CVPR2021W/MAI/html/Choi_MobileHumanPose_Toward_Real-Time_3D_Human_Pose_Estimation_in_Mobile_Devices_CVPRW_2021_paper.html
开源地址:
[1]https://github.com/SangbumChoi/MobileHumanPose
[2]https://github.com/ibaiGorordo/ONNX-Mobile-Human-Pose-3D
2022-05-08 03:36:40相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24