APP下载

3D人体扫描技术新论文 将来或许可以应用到手机中

消息来源:baojiabao.com 作者: 发布时间:2024-03-29

报价宝综合消息3D人体扫描技术新论文 将来或许可以应用到手机中

最近在各社交平台上大火的《头号玩家》想必大家都看过,抛开片中大量的彩蛋不提,该片搭配的VR技术,展现出的真实沉浸感也非常吸引人。不过,除了VR技术,3D人体扫描技术或许也可以用一种另类的方式达到相似的效果。

3D人体扫描技术,是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。这种技术的应用在现实生活中并不鲜见。前段时间苹果的Animoji和三星的AR emoji都来源于这种技术,这种技术也可以应用到服装试穿中,甚至有健身房依靠采用这种技术测量各种关乎健康的关键数值(体重指数、体脂成分等等)来吸引顾客。

不过,现有的方案有一个缺点,有的扫描装置需要特殊的照相设备来检测景深,有的则需要照相机矩阵来探查人体,而最近,德国布伦瑞克工业大学和 Max Planck Institute for Informatics 的研究人员发表了一篇论文,提出一种新的算法,可以使用单个角度的标准视频素材为人体创建 3D 模型,用时仅需数秒。

这篇论文描述了如何为单目视频中的移动人体做准确的 3D 建模。基于参数化的人体模型,论文提出了稳健的处理流程,对穿衣服的人群也能够获得 大约5mm 分辨率的 3D 模型。另外,论文中展示了对大量物体的评估结果,并分析了整体表现。可以说,只需要一个智能手机或者摄像头,这种方法就能让每个人都创造自己的全动画数字孪生体,并可应用到社交 VR 或者在线时装购物的虚拟试穿。

图 1:本论文提出的技术首创从人的单个视频序列中提取精确的 3D 人体模型,包括头发和衣服,这些人在摄像机前面移动,从而保证我们能从各个角度看到他们(图片来自论文)

具体来说,论文提出的方法由 3 个步骤构成:(1)姿势重建;(2)一致形态评估;(3)帧精炼和纹理图生成。其中第一步基本采用以前的研究,第三步中的纹理获取和时变性细节是可选性的。

第一步,论文采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3D人体形状。本论文中,研究者首先拟合 SMPL 模型和 2D 检测,估计每一帧的初始人体形状和 3D 姿势。基于拟合结果,研究者将每一帧中的轮廓点与人体模型中的 3D 点结合起来,根据每个投影光线的对应 3D 模型点的反向变形模型,变换投影光线;处理所有帧的拟合结果后,就得到了一个“可视外壳”,即以标准姿势展示的人体形状。

在多个 3D 数据集上的研究结果表明本论文提出的方法可以重建 3D 人类形状,即使单目视频很模糊的情况下,准确率仍然高达 4.5 mm

为了评估对象的一致形态,研究者首先计算每个帧的 3D 姿势。他们扩展了 评估的方法,使其鲁棒性更好,以最大化地显示每帧实例中的轮廓。在评估过程中,由于时间的变化,衣物可能会有微小的变形变形,这些姿势的一致形态可能和帧轮廓有轻微的错配。

在视频序列中估计几何图形时,研究者需要一次优化多个姿势,更重要的是,优化过程中需要在内存中存储多个模型,使得计算成本高昂,且可行性不强。

研究者采用基于 SMPL 高效优化单个位移面的方法,一次性拟合所有帧,这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频(这样我们可以从各个侧面看到这个人)中提取出准确的 3D人体模型(包括头发和衣服)。

最后,为了计算纹理和捕捉时间演化细节,第三步中将对一致形态的偏离进行每一帧的优化,从而给出精炼的逐帧形态,以此计算纹理图。本文的方法依赖于图像的前景分割。因此,研究者使用了中基于 CNN 的视频分割方法,并对每个序列用 3-4 个手工分割图像进行训练。另外,为了克服在单目时3D人体形态重构中模糊性的问题,研究者使用 SMPL 身体模型作为起始点。

图 7:定性测试结果:因为重构的模版与 SMPL 人体模型有同样的拓扑结构,我们可以使用 SMPL 来改变重构形体的姿态和外形。虽然 SMPL 不建模带衣着人体的变形,但变形模版看起来还是可信的,从质量上来看足够承担多种应用。

图 9:输入图像(竖线左)与构建形象(竖线右)的对比。正如图像右侧所示,用本文方法构建的形体准确地覆盖了输入图像。在右下角还呈现了构建模型的侧面视角。

之前我们已经提到过一个可以对人体全身进行识别的技术(Facebook新研究为未来全身AR打下基础),它与这次讨论的技术是有差别的,Facebook的新研究识别出的人体是2D而非3D,但它们之间也有联系,譬如二者都采用基于CNN的视频分割方法来识别人体轮廓和纹理。实际上,论文中也说明识别纹理的方法并不是创新性的。





2018-04-19 02:32:00

相关文章