DoubleFusion:深度和骨架结合的解决方案
消息来源:baojiabao.com 作者: 发布时间:2024-05-18
我们已经介绍过很多单目的动作捕捉方案,最近的单目动捕方案可以说大同小异,在原理上基本没有什么区别,都是利用卷积神经网络识别对象,估算骨骼模型,再在此基础上进行渲染。这些解决方案的困难也都类似,例如老大难的遮挡问题,脚踝处的识别和骨骼模型往往估计不准等等。
最近,清华、北航、南加州大学、马克思普朗克研究所等的研究人员合作了一篇论文DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor,提出了一种叫做DoubleFusion、基于单个深度摄像头的解决方案,对人体动作捕捉识别有更好的效果。
简单地讲,DoubleFusion的原理是这样的,一般深度摄像头的动作捕捉来源于深度数据,因此可以构建人身体的表面形状(即包含衣服在内的外形数据),但这种方案难以在有遮挡的情况下实现捕捉,为了补足深度捕捉的缺憾,DoubleFusion将它和估算骨架模型的方案融合了起来,因此形成了一个“双层表面表示”,外层是深度数据得到的表面重建的数据,内层则是骨架模型数据,最终计算得到最合理的动作数据。我们看到的完整的身体模型,实际上是内外两层数据相互制约、相互融合的结果。
具体来说,DoubleFusion的输入只有捕获的深度数据,而输出是捕捉目标的双层表面。在骨架估计方面,它采用最近出现的基于Mask-RCNN的模型SMPL,可以非常迅速的得到比较完美的骨架模型,在外表数据方面,采用同样是近年来提出的捕获方法DynamicFusion。外表数据生成一个节点图,主要用于判断姿势变化方式,骨架数据同样形成节点图,主要用作判据,尽量避免姿势变化中违法骨骼连接的情况。
那么,这个方案的实际效果如何?
DoubleFusion方案比单方面骨架模型估计的方案效果更好,例如与BodyFusion相比较, 后者即使较紧身的衣服也会对结果产生影响,而前者捕捉的结果更为干净、完整;另外DoubleFusion的每帧最大误差更小,而且平均误差也较小,在捕捉快速运动期间表现也要更好,还有,实时重建的身体形状和显示的目标穿着看起来也要更合理一些。
从性能上来说,测试环境中,DoubleFusion每一帧执行6次ICP迭代,进行关节运动跟踪需要21毫秒,9毫秒用于体积形状和身体姿态的优化;另外,输入的深度数据属于异步运行处理,算上运行时间不到1毫秒,综合下来基本是每帧32毫秒。
然而,这种解决方案还是存在限制,例如,当用户穿着较厚的衣服时,这个方案在捕捉过程中会将衣服的厚度都当成人的身体来计算,导致身体建模的误差出现;另外,目前的方案还无法处理人物对象之间的交互,不过按照论文的说法,这将会在未来的研究中得到解决。
最后,必须要说的是,这篇论文提出的解决方案效果可能比较好,但要实现它,深度摄像头至少是必须品,而现在的市场上仍然有很大一部分智能手机没有深度摄像头,否则之前的普通摄像头单目动捕也不至于备受关注。从这个方面来说,论文中解决方案的实用价值可能并没有我们想像中那么大。
对这篇文章感兴趣的同学可以戳https://arxiv.org/abs/1804.06023 下载了解。
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45