Facebook更新ARStudio 增加SketchfabAPI和背景分割功能
消息来源:baojiabao.com 作者: 发布时间:2024-03-29
随着AR的逐渐兴起,巨头们追逐AR开发的趋势已经十分明显,各家都开始推出自己的AR开发平台,像苹果的ARKit、谷歌的ARCore,还有我们这次的主角AR Studio。
作为一个发布已经有一段时间的AR开发平台,AR Studio可以提供的功能并不是很丰富,只提供开发者制作各种滤镜、特效和贴图的能力,甚至可以说,Facebook对AR的理解,更多地是停留在相机捕捉到的实际环境影像的基础上,叠加一些滤镜、贴图、边框效果,这与Snapchat的相机滤镜功能并没有太大的区别。
而最近,在F8 开发者会议上, Facebook宣布,将会更新AR Studio,集成 Sketchfab 的下载 API,同时,将使AR Studio具备更多功能。
Sketchfab 的共同创始人兼首席执行官 Alban Denoyel 在博客文章中说,"与 Facebook 合作是我们实现下载 API 的一个重要里程碑。我们确实认为 Facebook 是一个将该功能带到用户端的候选者。现在, 将 API 集成到创建者端将使开发人员更容易地将3D 内容导入到其 AR 体验中。”
关于AR Studio的更新, Facebook提供了两个新的功能,一个是实现对身体和手部的追踪;一个是对场景基于语义的理解,以此为基础可以得到更高保真度的背景分割。
先看背景分割吧,背景分割是许多可视化应用中重要操作。要求独立提取特定对象的图像,从技术上讲,需要将动态的前景与静态的背景分离。
举个例子,如果有一张没有游客的房间或者没有车辆的道路背景图,那么很简单,只要将新图和背景图做减法,就能得到前景图了。但是多数情况是没有这样的背景图的。所有我们需要在任何情况下都可以提取背景图。当有车辆阴影时,就变得很复杂。阴影也是移动的,简单的减法会把阴影算在前景里,这是一件比较麻烦的事。
Facebook对此有自己的解决方案。今年一月底,我们就发过一篇文章:Facebook新研究为未来全身AR打下基础,在这篇文章中,说过Facebook发表了一篇论文,对原有的Mask R-CNN框架进行了优化,得到一个新的、占用内存更小、效率更高的框架Mask R-CNN2Go,这个框架可以直接被应用到智能手机上,而智能手机可以基于它实现对场景的语义理解,并且在此基础上实现背景分割,识别人的整个身体。
从目前的信息来看,Facebook的新AR Studio提供的功能与这篇论文提到的功能非常相似,只是论文中比较关注利用背景分割对人整个身体的识别,而实际的功能则更为全面,将识别对象的选择权交到了开发者的手中。
这么一来,新的AR Studio提供的身体和手部追踪功能就好理解了,身体的追踪就是完全还原了论文中提到的功能,手部追踪也只是把分割的对象从身体变成了手而已。换句话说,本次AR Studio更新的功能可能都是来源于Facebook改进的语义识别框架Mask R-CNN2Go。
当然,对场景的语义理解不止做到背景分割这样一个功能,还可以处理一些细节的问题。通过对场景进行语义理解, AR 内容将能够更有意义地与现实世界中的对象交互,例如, 当在场景中识别出杯子时,虚拟的蒸汽从真正的杯子中升起,这将使Facebook的AR体验更加真实。
总之,Facebook对其AR开发平台的更新将改善AR Studio功能上的丰富性,优化其创造的AR体验。对AR Studio来说,将会是一个不小的进步。
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45