3D人体扫描技术新论文 将来或许可以应用到手机中
消息来源:baojiabao.com 作者: 发布时间:2024-03-29
最近在各社交平台上大火的《头号玩家》想必大家都看过,抛开片中大量的彩蛋不提,该片搭配的VR技术,展现出的真实沉浸感也非常吸引人。不过,除了VR技术,3D人体扫描技术或许也可以用一种另类的方式达到相似的效果。
3D人体扫描技术,是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。这种技术的应用在现实生活中并不鲜见。前段时间苹果的Animoji和三星的AR emoji都来源于这种技术,这种技术也可以应用到服装试穿中,甚至有健身房依靠采用这种技术测量各种关乎健康的关键数值(体重指数、体脂成分等等)来吸引顾客。
不过,现有的方案有一个缺点,有的扫描装置需要特殊的照相设备来检测景深,有的则需要照相机矩阵来探查人体,而最近,德国布伦瑞克工业大学和 Max Planck Institute for Informatics 的研究人员发表了一篇论文,提出一种新的算法,可以使用单个角度的标准视频素材为人体创建 3D 模型,用时仅需数秒。
这篇论文描述了如何为单目视频中的移动人体做准确的 3D 建模。基于参数化的人体模型,论文提出了稳健的处理流程,对穿衣服的人群也能够获得 大约5mm 分辨率的 3D 模型。另外,论文中展示了对大量物体的评估结果,并分析了整体表现。可以说,只需要一个智能手机或者摄像头,这种方法就能让每个人都创造自己的全动画数字孪生体,并可应用到社交 VR 或者在线时装购物的虚拟试穿。
图 1:本论文提出的技术首创从人的单个视频序列中提取精确的 3D 人体模型,包括头发和衣服,这些人在摄像机前面移动,从而保证我们能从各个角度看到他们(图片来自论文)
具体来说,论文提出的方法由 3 个步骤构成:(1)姿势重建;(2)一致形态评估;(3)帧精炼和纹理图生成。其中第一步基本采用以前的研究,第三步中的纹理获取和时变性细节是可选性的。
第一步,论文采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3D人体形状。本论文中,研究者首先拟合 SMPL 模型和 2D 检测,估计每一帧的初始人体形状和 3D 姿势。基于拟合结果,研究者将每一帧中的轮廓点与人体模型中的 3D 点结合起来,根据每个投影光线的对应 3D 模型点的反向变形模型,变换投影光线;处理所有帧的拟合结果后,就得到了一个“可视外壳”,即以标准姿势展示的人体形状。
在多个 3D 数据集上的研究结果表明本论文提出的方法可以重建 3D 人类形状,即使单目视频很模糊的情况下,准确率仍然高达 4.5 mm
为了评估对象的一致形态,研究者首先计算每个帧的 3D 姿势。他们扩展了 评估的方法,使其鲁棒性更好,以最大化地显示每帧实例中的轮廓。在评估过程中,由于时间的变化,衣物可能会有微小的变形变形,这些姿势的一致形态可能和帧轮廓有轻微的错配。
在视频序列中估计几何图形时,研究者需要一次优化多个姿势,更重要的是,优化过程中需要在内存中存储多个模型,使得计算成本高昂,且可行性不强。
研究者采用基于 SMPL 高效优化单个位移面的方法,一次性拟合所有帧,这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频(这样我们可以从各个侧面看到这个人)中提取出准确的 3D人体模型(包括头发和衣服)。
最后,为了计算纹理和捕捉时间演化细节,第三步中将对一致形态的偏离进行每一帧的优化,从而给出精炼的逐帧形态,以此计算纹理图。本文的方法依赖于图像的前景分割。因此,研究者使用了中基于 CNN 的视频分割方法,并对每个序列用 3-4 个手工分割图像进行训练。另外,为了克服在单目时3D人体形态重构中模糊性的问题,研究者使用 SMPL 身体模型作为起始点。
图 7:定性测试结果:因为重构的模版与 SMPL 人体模型有同样的拓扑结构,我们可以使用 SMPL 来改变重构形体的姿态和外形。虽然 SMPL 不建模带衣着人体的变形,但变形模版看起来还是可信的,从质量上来看足够承担多种应用。
图 9:输入图像(竖线左)与构建形象(竖线右)的对比。正如图像右侧所示,用本文方法构建的形体准确地覆盖了输入图像。在右下角还呈现了构建模型的侧面视角。
之前我们已经提到过一个可以对人体全身进行识别的技术(Facebook新研究为未来全身AR打下基础),它与这次讨论的技术是有差别的,Facebook的新研究识别出的人体是2D而非3D,但它们之间也有联系,譬如二者都采用基于CNN的视频分割方法来识别人体轮廓和纹理。实际上,论文中也说明识别纹理的方法并不是创新性的。
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45