AR‧VR双周报第35期:Google开源释出手势操控演算工具,可用于需要大量手势控制的VR应用

Google研究团队以MediaPipe开源演算工具用于建立手指追踪算法,通过使用机器学习来侦测手部21处关节点,来感知手的形状和移动,来达到手部追踪、自动辨识。
08/24~09/06精选AR‧VR新闻
混合实境 微软
微软二代混合实境头戴装置HoloLens 2,预计将于9月推出上市
原定计划今夏开卖的微软新一代混合实境头戴装置HoloLens 2,却迟迟未见其上市的消息。不过,该公司执行副总Harry Shum最近在参加上海举行的世界人工智能大会时,向在场的参加者预告,该装置将于9月推出上市。此前,根据微软官方公布资讯,第二代HoloLens售价3,500美金,并提供了开发商版和企业用标准版。首波供货市场包括美国、加拿大、日本、中国、德国、英国、爱尔兰、澳洲、新西兰及法国。HoloLens 2结合新的ToF测距感测器,并搭载AI与语意理解能力,还能提供眼动追踪,可以更自然地与不同物件互动,另外也支援虹膜辨识,能使用Windows Hello企业身份来登入。除了使用界面和操作性能大幅提升外, HoloLens 2 也可搭配微软的Dynamic 365应用,包括AR版远端桌面Remote Assist、室内设计用的Layout及装配产线员工使用的Guides等。
扩增实境 Google
Google将ARCore重新命名为Google Play Services for AR服务
近日,Google悄悄地将自家行动扩增实境开发平台ARCore更名,改以Google Play Services for AR做为该服务新命名,来取代原有的ARCore服务名称。ARCore是Google推出的扩增实境(AR)软件开发套件(SDK),去年2月释出1.0版,让开发者可以用它在Android平台上来开发各种AR应用,而在今年5月最新一版更新中,则是加入扩增影像(Augmented Images)和光线评估(Light Estimation)功能,让开发者可以打造出更有互动感和真实感的AR体验。不只是采用新名称,该公司也宣布在新版可以支援在如Pixel 2和3手机提供高达60fps影像渲染的逼真画面,从而带来更流畅的影像预览和优化的AR体验。
脸书 VR
脸书展示更逼真的VR虚拟化身系统,能够像真人做出生动表情实现远距交流
脸书的AR / VR研发小组Facebook Reality Labs近日揭露其正在开发的一套Codec Avatars虚拟化身系统,能够侦测各种脸部表情,可以帮助使用者更容易建立逼真的虚拟化身。只要戴上他们开发的VR头戴装置,通过该装置上的3个摄影镜头,就能用来捕捉使用者的面部表情,包含眼睛、嘴巴等动作,因为结合机器学习和电脑视觉,让这套系统能比传统方法更能准确地呈现出复杂面部表情的细微差别,包括咬唇、脸颊及舌头动作的位置变化都能捕捉,而且是即时动态呈现,适用运用在需要远距交流的虚拟实境社交互动中。该小组还发表了他们的完整研究论文,提供深入研究该系统背后的方法和实作原理。
Google 手势操控
Google开源释出手势操控演算工具,用手机就能执行手势追踪
Google日前公开了新的手势操控方法,可以透过其开源释出的一个MediaPipe演算工具,在行动装置上即时完成多点手指追踪。MediaPipe是一个开源的跨平台框架,可以用来建立处理来自不同样态的感知数据,如声音或影像等,该研究团队将MediaPipe用于建立手指追踪算法,通过使用机器学习来侦测手部21处关节点,来感知手的形状和移动,来达到手部追踪、自动辨识。不像其他的手部侦测作法,必须要依赖强大的电脑,Google表示,采用这套演算工具,可以在手机上就能执行,而且不只能侦测双手的动作,甚至可以扩大追踪到多手。因此,也很适合用在需要大量手势控制的VR应用,来取代传统VR控制器。
天气预报 混合实境
五级超大飓风侵美!美国天气公司也以3D混合实境来教导观众如何做好防台准备
美国天气公司The Weather Channel日前在播报今年第一个五级超大飓风多利安(Dorian)即将侵袭美国时,也采用3D混合实境技术,来教导电视前的观众如何做好防台准备。从影片中可以看到,气象播报主持人Stephanie Abrams站在民宅前院草坪上,逐一讲解遭遇风暴的安全和疏散技巧,从登陆前的48小时开始,到风暴来临前几分钟,以MR方式来模拟不同阶段飓风带来的威力强度,比如刮强风、雷雨、甚至倒塌的路树等,通过这种身临其境的体验,让民众提高警觉,以降低飓风带来的伤亡。在早之前,该公司去年也曾在播报佛罗伦斯飓风袭击美国时,结合了混合实境来预测暴风路径。
AR 儿童眼镜
美国眼镜商推出AR镜框应用,让儿童购买前可先试戴找出最合身的眼镜镜框3
美国儿童眼镜商Fitz Frames近日推出一款AR应用程序,可以让家长替小孩挑选最适合自己配戴的近视眼镜或太阳眼镜镜框,只要用手机打开App,会先拍摄和测量小孩的脸型,以便根据小孩的脸型来提供不同镜框尺寸。该应用提供了6种不同设计镜框,每个镜框也有多种颜色可挑选。透过AR技术,儿童还可以选择虚拟镜框进行试戴,也可以在手机上以不同角度来查看,看适不适合,再决定要不要购买。下订之后,会以3D打印方式将镜框制作出来,寄送给消费者。每副售价95美元。不过目前该App仅是测试版,且仅支援iOS平台。
苹果 AR眼镜
iOS13揭密!苹果正在开发代号“Garta”的AR眼镜
虽然前不久才传出苹果已中止AR眼镜的开发工作,但是近日有国外媒体在本月新款iPhone即将发布的iOS 13测试文件中发现,苹果正在开发一款名为“Garta”的AR眼镜,还能够搭配使用一款可支援立体声的AR应用程序StarBoard,并提供了可切换的头戴式模式,这也意味着,iOS 13也可支援AR头戴装置。更进一步分析iOS 13程式码,也能发现许多与AR相关的名称描述,如ARStarBoardViewController、ARStarBoardSceneManager等。此前,多位知名分析师也都声称,苹果计划在2020年推自家AR眼镜。不过至今,苹果官方仍未证实这项消息。责任编辑/余至浩
图片来源/微软、Facebook Reality Labs、Fitz Frames、The Weather Channel、Google
更多AR‧VR动态
1.澳洲科研机构Data61宣布将成立国家混合实境实验室,聚焦发展数位分身在制造业的产业应用
2.HTC以Vive Focus展示VR赏屋应用,最多一次可6人同时观看互动
3.美国NBC与MSNBC气象播报也结合AR地图预测飓风多利安路径
4.VR电影正夯! HTC一连以5部原创VR电影入围威尼斯影展
资料来源:iThome整理,2019年09月
