APP下载

Facebook更新ARStudio 增加SketchfabAPI和背景分割功能

消息来源:baojiabao.com 作者: 发布时间:2024-03-29

报价宝综合消息Facebook更新ARStudio 增加SketchfabAPI和背景分割功能

随着AR的逐渐兴起,巨头们追逐AR开发的趋势已经十分明显,各家都开始推出自己的AR开发平台,像苹果的ARKit、谷歌的ARCore,还有我们这次的主角AR Studio。

作为一个发布已经有一段时间的AR开发平台,AR Studio可以提供的功能并不是很丰富,只提供开发者制作各种滤镜、特效和贴图的能力,甚至可以说,Facebook对AR的理解,更多地是停留在相机捕捉到的实际环境影像的基础上,叠加一些滤镜、贴图、边框效果,这与Snapchat的相机滤镜功能并没有太大的区别。

而最近,在F8 开发者会议上, Facebook宣布,将会更新AR Studio,集成 Sketchfab 的下载 API,同时,将使AR Studio具备更多功能。

Sketchfab 的共同创始人兼首席执行官 Alban Denoyel 在博客文章中说,"与 Facebook 合作是我们实现下载 API 的一个重要里程碑。我们确实认为 Facebook 是一个将该功能带到用户端的候选者。现在, 将 API 集成到创建者端将使开发人员更容易地将3D 内容导入到其 AR 体验中。”

关于AR Studio的更新, Facebook提供了两个新的功能,一个是实现对身体和手部的追踪;一个是对场景基于语义的理解,以此为基础可以得到更高保真度的背景分割。

先看背景分割吧,背景分割是许多可视化应用中重要操作。要求独立提取特定对象的图像,从技术上讲,需要将动态的前景与静态的背景分离。

举个例子,如果有一张没有游客的房间或者没有车辆的道路背景图,那么很简单,只要将新图和背景图做减法,就能得到前景图了。但是多数情况是没有这样的背景图的。所有我们需要在任何情况下都可以提取背景图。当有车辆阴影时,就变得很复杂。阴影也是移动的,简单的减法会把阴影算在前景里,这是一件比较麻烦的事。

Facebook对此有自己的解决方案。今年一月底,我们就发过一篇文章:Facebook新研究为未来全身AR打下基础,在这篇文章中,说过Facebook发表了一篇论文,对原有的Mask R-CNN框架进行了优化,得到一个新的、占用内存更小、效率更高的框架Mask R-CNN2Go,这个框架可以直接被应用到智能手机上,而智能手机可以基于它实现对场景的语义理解,并且在此基础上实现背景分割,识别人的整个身体。

从目前的信息来看,Facebook的新AR Studio提供的功能与这篇论文提到的功能非常相似,只是论文中比较关注利用背景分割对人整个身体的识别,而实际的功能则更为全面,将识别对象的选择权交到了开发者的手中。

这么一来,新的AR Studio提供的身体和手部追踪功能就好理解了,身体的追踪就是完全还原了论文中提到的功能,手部追踪也只是把分割的对象从身体变成了手而已。换句话说,本次AR Studio更新的功能可能都是来源于Facebook改进的语义识别框架Mask R-CNN2Go。

当然,对场景的语义理解不止做到背景分割这样一个功能,还可以处理一些细节的问题。通过对场景进行语义理解, AR 内容将能够更有意义地与现实世界中的对象交互,例如, 当在场景中识别出杯子时,虚拟的蒸汽从真正的杯子中升起,这将使Facebook的AR体验更加真实。

总之,Facebook对其AR开发平台的更新将改善AR Studio功能上的丰富性,优化其创造的AR体验。对AR Studio来说,将会是一个不小的进步。





2018-05-06 23:31:00

相关文章