NEC整合穿戴式装置与扩增实境技术，让手臂就是系统输入界面最新消息

图片来源:

iThome

早期所发展的扩增实境（Augmented Reality，AR）大多体现在娱乐应用，像是让镜头拍摄一张图像时，接着就能在一旁的屏幕或平板画面上，显现摄影镜头捕捉到的实景之外，并自动显现生动的虚拟影像。

近年来，AR应用越来越夯，并有许多企业能够应用的情境与方案，像是与平板结合应用，将系统资讯与实景整合，以提供更主动与视觉化的应用，对于设备检查与维护很有帮助。

像是现场工作人员可以拿着平板电脑，以装置内建的相机扫描设备旁的QRcode，就能在平板画面上显示AR扩增实境的内容，包含设备的维护、检查指示、维修纪录等，也就是可以直接提供更多的资讯内容在实景之中。

另一方面，穿戴式装置应用也是未来技术的热门议题，在医疗、娱乐、运动健身等领域已经率先发光发热，同时企业也正积极找寻相关应用情境，不过，虽然穿戴式装置够便利，但也受到一些技术的限制，使得输入操作没那么方便。

AR技术加持，让穿戴式装置也能显示键盘并操作

今年NEC在日本东京举行的C&C User Forum & iEXPO2015大会带来的新技术，则是更进一步让AR技术与穿戴装置有更好的结合，如智慧眼镜与智慧手表，组合结果相当令人惊艳。

NEC新推的这种手臂虚拟键盘应用，称之为ARmKeypad，主要利用智慧眼镜与智慧手表来实作，该眼镜可用来帮助使用者看到手臂上的虚拟键盘，而智慧手表来侦测确认触控位置，做到输入操作的目的。

（图片来源／NEC）

新的技术组合让ARmKeypad应用具有实用性

基本上，ARmKeypad结合了AR扩增实境与穿戴式眼镜、手表连动的应用方式，能在手臂呈现大型的虚拟键盘，供使用者打字与输入指令。

（图片来源／NEC）

ARmKeypad结合自动提示、辨识和输入，提升工作效率

这种将键盘直接呈现在手臂的方式，让行动工作者在工作时，不需要再用手拿取其他装置，就能直接看到提示或警告讯息，并且做到打字输入与控制，使工作流程不中断。不论是设备保养维修、库存管理等业务，或是机动性的现场外勤人员，都可增加工作效率。

（图片来源／NEC）

NEC早期曾发展利用手臂操作IT系统的技术

其实，与手臂相关的操作解决方案，在过去就有很多设想，像是NEC本身也提出过，利用配戴在手腕上的加速度感应器，侦测使用者拍打手臂的位置，进而传达操作指令。

基本上，使用者只要戴着眼镜往手上一看，马上就能透过智慧眼镜看到虚拟键盘显示在手臂上，让工作现场能够不用带着平板等手持设备，就能直接进行设备操作，因此可对应免持式作业的工作情境。

我们也可以说，与之前的AR技术应用相比，ARmKeypad的概念就是要以穿戴式装置取代手持式装置的使用，让工作方式更直接。

进一步了解ARmKeypad的运作原理，主要是从智慧手表开启应用软件，并显示相对应的QR Code资讯，当使用者看着自己的手臂时，智慧眼镜上的摄影镜头，就能捕捉到手腕上的智慧手表，并识别上面的QR Code，以对应显示软件的虚拟键盘画面在智慧眼镜上，让使用者可以同时看到一个系统资讯与实景整合的画面。

而这个虚拟键盘界面，将显示在你戴的智慧手表旁的手臂区域，透过智慧眼镜上方的摄影镜头，就能侦测使用者指尖所按到的AR虚拟键盘位置，同时，透过智慧手表的加速度感应器，来侦测触控的时间。如此一来，便能输入到智慧手表的应用软件上。

当然，ARmKeypad可以根据不同应用软件，自动调整需要的虚拟键盘画面，以对应各种的使用场景。甚至，智慧手表上的显示画面，也能变更为连动的使用者界面。

同时，在触控输入过程中，由于这样的操作方式是在使用者自己的手臂上进行，用户本身可以有较具体的感受，来确认触控操作，这也显然让实体与虚拟的结合性更高。

不仅如此，此方案为了适应各种情况，也提供了更多控制能力，像是在无法使用键盘时，能搭配语音输入的方式作业。

扩增实境与智慧眼镜、手表连动，改变输入操作体验

使用者只要戴上智慧眼镜，然后往戴着智慧手表的手上一看，就能在智慧眼镜上看到显示在手臂上的虚拟键盘，并可直接触控操作。

能在手臂上显示虚拟键盘并操作

使用者透过智慧眼镜所看到的画面，就跟图中平板电脑所显示的画面相当，是一个系统资讯与实景整合的界面。只要触碰虚拟按键的位置，就能开始操作虚拟键盘，使用方式非常直觉。

（图片来源／NEC）

现场作业毋须仰赖手持电脑或行动装置，双手更自由

现场工作人员要操作设备时，不用手持装置，就能透过智慧眼镜看到虚实整合的画面，并有够大的输入范围去操作。

提供免持应用，并解决智慧眼镜的输入问题

相较于过去AR扩增实境的应用，ARmKeypad最大的优势在于免持，让使用者的双手不用拿着具有显示器、键盘元件的相关装置，就能看到提示、警告，并直接输入指令。

从另一角度来看，对于智慧眼镜的使用方式而言，在资讯的输入方面，一直是急需克服的一大课题。以往可能需要搭配按钮、触控感应器，或采手势辨识等机制，现在NEC提出与智慧手表、扩增实境搭配的方式，并以手臂作为触控操作的基准。如此一来，使用者不需要再用手拿取其他装置，虚拟按键区域范围也能随着自己的手臂区域延伸，键盘的版面配置也有高度的自由，操作也能有具体的触感回馈，并且不用记忆特别的操作方式，同时针对操作准确性与反应速度加以优化，以提升操作效率。

利用智慧眼镜看到虚拟键盘界面与实景的重叠影像

现场展示时，NEC搭配了Epson智慧眼镜，智慧眼镜的正中央区域具有显示器，就是使用者能够看到虚拟按键的关键，而智慧眼镜上方的摄影镜头，则可以辅助捕捉使用者的输入位置。

运用智慧手表显示的QR Code，启动虚拟键盘

当使用者的智慧眼镜朝向手臂看时，智慧眼镜的摄影镜头能透过智慧手表上显示与应用软件相对应的QR Code，进而识别该条码，以对应显示虚拟键盘于智慧眼镜。这样的输入过程中也很有感，因为是在自己的手臂上进行，使用者在身体碰触时，可更真实地确认触控操作。

（图片来源／NEC）

可适应各种作业情境的虚拟按键

可对应显示软件的虚拟键盘画面，像是功能控制按键，或是全尺寸的英文输入键盘、数字键盘，甚至是钢琴键。

其实， NEC过去也发表过与手臂相关的操作技术，透过配戴在手腕上的加速度感应器，当使用者拍打手臂产生的加速度来判断拍打位置（像是上手臂、下手臂前段或后段），进而传达操作指令。只是，这样的输入方式会受到局限，不像虚拟键盘可以对应更多的操作选项，提供更直觉可视化的操作。现在这种穿戴式装置与AR扩增实境的结合应用，算是为穿戴装置的输入问题带来一种解法。

综合来看，原本不易操控的穿戴应用，这一两年已经在市面上看到各式不同的解法，多元的设计与应用方式纷纷提出，而从使用情境去考量企业要如合应用这样的技术，应该是不错的方向。NEC表示，现阶段以制造业的应用情境最容易想像，像是设备保全、维护或品检工作，以及库存管理的业务，其他能够应用的工作领域，还包括像是保全、流通、医疗等，需要免持装置作业的使用情境。

未来，他们也将不断持续发展与强化ARmKeypad，运用在设备检查与管理的解决方案。