从SDK看MagicLeap要做什么 具备什么功能

文章相关引用及参考：映维网

我们需要等到设备在今年下半年上市后才能知晓答案。

（映维网 2018年04月13日）在不久前，我写道Magic Leap可能将主要从他们发布的专利入手。尽管专利确实提供了他们正在研发的项目的线索，但Magic Leap没有公布产品将具备的功能。在当时，一系列的功能都不存在。

但现在它们已经正式出现:

1. Audio（音频）：支持立体音频输出和语音麦克风录制。

2. Camera （摄像头）：摄像头可以捕捉静态图像与视频。

3. Dispatch（调度）：允许应用程序利用Magic Leap浏览器或其他应用来打开URL。

4. Eye Tracking （眼动追踪）：能够检测用户眼睛的注视点位置。系统同时可以检测眨眼。

5. Graphics （图形）：OpenGLES，Desktop和Vulkan渲染通道。

6. Hand Gestures & Key Point Tracking （手部姿势与关键点追踪）：识别用户的手部姿态（手势），并且追踪可识别点在手指指尖上的位置，如食指指尖。

7. Head Tracking （头部追踪）：支持完整的6自由度头部姿态追踪。

8. Image Tracking（图像追踪）：追踪用户环境中指定图像目标的位置和方向。

9. Input (Control / MLMA Support) ：从Magic Leap Control中检索3自由度（方向）或完整的6自由度（位置和方向）。检测按钮和触摸板按下动作，以及模扳机键。触发值范围从0到1。支持一系列的触摸板手势范围，同时支持触觉振动和LED铃声反馈。用户界面无缝兼容Magic Leap Controls和Magic Leap Mobile App。

10. Light Trackin（光线追踪）：提供用户环境周围光线的信息（亮度，全局色温）。

11. Media Codec （媒体编解码器）：底层，硬件加速的媒体编码与解码。

12. Media Player （媒体播放器）：简单，直接的媒体播放界面。

13. Meshing （网格划分）：将世界深度数据转换为可用于遮挡和物理的联网三角网格。

14. Music Service （音乐服务）：支持连接和收听流媒体音乐服务。

15. Occlusion （遮挡）：一个将深度数据提供给Magic Leap平台以处理硬件遮挡的界面。

16. Planes （平面）：识别用户环境中放置内容的平面。这包括天花板，地板和墙壁的语义标记。

17. Raycast （光线投射）：发射光线并获取与世界深度数据相交的交点。

18. Secure Storage （安全存储）：将应用程序的数据保存到设备的加密存储。

根据这份列表和开发文档其他信息，我们可以更好地猜测Magic Leap One的功能，以及其面临的挑战。

1. 眼动追踪

根据其效果，眼动追踪将成为Magic Leap十分关键的一点。由于没有触摸屏或鼠标操作，在混合现实中进行选择一直都是挑战。手势的准确度或许没有你想像中那么高，而采用头部姿态进行操作则意味着你需要付出大量的头部运动。如果能够单纯看向一个对象，然后通过眨眼或采取一定的姿势来实现操作，这将成为一个重大的进步。

2. 手部姿势

Magic Leap One将支持8种手部姿势。这显然多于HoloLens。结合眼动追踪，这种手势将形成Magic Leap交互的基础，至少对不采用控制器的应用程序而言是这样。

3. 控制器

Magic Leap控制器具备你所期待的一切基本内容：触控板，Home键，扳机键…但这个控制器同时支持6自由度追踪。我们暂时不清楚具体的精度，但单纯通过加速度计提供方向和位置数据是一项相当困难的挑战。正如映维网过去所言，Magic Leap似乎采用了磁性追踪来促进这一点。位于Lightwear侧边的突起空区有可能是装载了磁性追踪所需的磁性线圈。如果事实确实如此，我们有可能看到Magic Leap实现可以比拟Vive的追踪精度，但无需笨重的外部摄像头或基站。

文档中揭示的另一个细节，但尚未详细说明的是：Magic Leap移动应用程序的存在。这款应用程序可能用于安卓和iOS，并作为Magic Leap的控制器。文档暗示，它会将智能手机的触控输入传输到Magic Leap，这样智能手机就能像Magic Leao控制器上的触控板那样工作。我认为这可能表明Magic Leap有可能将单独出售控制器，而如果你不想为其进行投资，你可以把智能手机用作是控制器。

4. 遮挡/深度映射

Magic Leap直接在API中支持遮挡。遮挡是一个众所周知的难题，以前的消费设备都没有很好地予以解决。它需要准确的深度映射，而这正是困扰著Tango和HoloLens的地方。在非常特殊的情况下，这些设备可以很好地支持遮挡。我怀疑Magic Leap将采用一定的预测性判断，有可能通过机器学习来更好地支持遮挡。

文档表明，Magic Leap采用了基于IR的深度感测器，与Project Tango和Hololens类似。这意味着它们难以支持明亮的日光和昏暗的材料。

文档清楚地表明，这不适用于动态的移动对象。它指出：“系统预计环境大部分是静态，而变化（例如移动的对象或行走在设备前面的人员）只是偶尔发生。对于小的变化，重建应该可以在数秒内缓慢更新以添加新的对象或删除移动的对象。显著或持续变化的环境可能将导致洞孔或不正确的几何形状。”

这意味着如果有人进入你的视场中时，遮挡将不起作用。数字对象将出现在它们的前面。我们希望Magic Leap能够在未来的迭代改进这一点。

5. 图像追踪

图像追踪功能直接集成在Magic Leap SDK中。这使得Magic Leap能够识别给定的图像，并追踪其在现实世界中的位置。这不是我期望在API层看到的功能。我设想了这么一款应用程序，它能够令墙上的艺术品生动起来。下面是一个例子（但这个体验不是运行在Magic Leap上）。

6. 对标ARCore/ARKit

SDK同时包含平面检测和光线追踪等功能。对此，这已经成为AR工具包的基本要素。

7. Lumin OS

Magic Leap将运行名为Lumin OS的定制操作系统。Lumin基于安卓，但经过了大量修改以支持空间计算的要求。这对开发者来说是个好消息，因为这意味着任何具备安卓或linux经验的开发者都将在一定程度上熟悉Magic Leap的平台。这同时意味着Magic Leap没有尝试重新发明一个全新的工具，而是利用安卓开源项目的多年积累。

在上面列出的功能中，我们看到了Dispatches的存在。这听起来像是Android Intent系统的重命名。这项功能允许你为特定的行为选择特定的应用程序，例如选择默认浏览器。尽管目前尚不清楚Magic Leap是否允许用户选择默认应用程序，或者说他们是否会强迫用户选择他们自家的应用程序，但这仍然是一个很好的迹象，因为说明了我们在这个平台上有着更多的选择。

8. 效果？

文档已经说明了我们可以期待Magic Leap将有着怎样的功能。就以往而言，从来没有这样一款如此小尺寸的设备能够像Magic Leap One那样拥有如此多的功能。但关键的问题不是有多少功能，而是具体的效果如何。控制器的追踪是否精准？图像保真度如何？眼动追踪的精度如何？我们可以期待怎样的GPU/CPU性能？你可以为设备提供世界上所有的功能，但如果效果糟糕，这一切都不再重要。对此，我们需要等到设备在今年下半年上市后才能知晓答案。

原文链接：https://yivian.com/news/43901.html