NEC提出新方法来辨识监视画面中的手持物件，预计年底会用在自家产品中

NEC资料科学研究实验室日前在ICIP大会中发表一篇论文，提出一种基于人体部位与携带物件的相对位置，来辨识携带物体种类的方法（Carried Object Recognition），能在较低分辨率的监视器影像中，辨识旅客携带的物件种类，其辨识准确率更比Faster R-CNN所训练的模型平均高6%。目前，NEC也正着手导入AI引擎，预计年底将释出相关应用。

一般基于卷积神经网络（CNN）的物件辨识框架，如Faster R-CNN、SSD、Mask R-CNN、YOLO等，用来辨识高分辨率、大范围物件的影像，大多具有良好的表现。然而，一般监视录影机画面中的携带式物件体积小、分辨率通常也较低，且时常有被遮蔽的情形，若只运用上述基于外观辨识的框架来辨识物件种类，较难有好的表现。例如，要辨识民众携带的物件为手提包、后背包、或是行李箱，由于其形状大多为长方体，加上容易受身体姿势遮蔽，在低分辨率状态下会有辨识上的困难。

因此，NEC资料科学研究实验室开发出一套技术，要将一般物件辨识技术结合人类的经验知识，来提高模型表现，比如说后背包大多位于背部位置、手杖则通常与手部连结、帽子通常戴在头上等，透过物件与人体部位的关联来分类物件。

这个辨识方法可以分为三个步骤。首先，输入一张影像后，运用一般物件辨识框架训练的模型，先粗略辨识该影像中的物件位置与种类；接着，再用人体姿势辨识的开源模型OpenPose，根据人体各部位来生成关键点（key point），并自动比对找出训练资料中的相似人体姿势影像，再根据其中的物件位置生成注意力地图（attention map），也就是不同种类物件的可能分布位置；最后，则是根据第二步骤的结果，来更新第一步骤中物件辨识结果的分数。

举例来说，要辨识影像中的包包种类与位置，第一阶段先透过一般物件辨识模型，根据物件外观粗略辨识。假设模型只正确辨识出手提包，其他分别把黑裙误认为后背包、鞋子误认为行李箱，这时，就能运用第二阶段的注意力地图，透过该影像人体姿态中、三种包包的可能分布位置，来重新检视第一阶段的辨识，位置比对相近者（手提包）分数增加，反之则分数下降（后背包、行李箱），最后得出更精准的分类结果。

物件辨识三步骤。

透过OpenPose找出与输入影像相同姿态的训练影像，并根据训练资料的物件位置，来生成物件的可能分布位置。

在输入影像上显示注意力地图（attention map），也就是不同种类物件的可能分布位置。

这项研究从去年开始，运用了NEC不公开资料的监视画面中，约20,000张一个人携带一件物品的影像进行训练，训练出的模型可以辨识手提包、后背包、行李箱、帽子、雨伞、手杖等物件；接着，使用4种资料集进行测试，同时以物件辨识框架Faster R-CNN所训练的模型，作为对照组来比较其准确率。

对此，NEC资料科学研究实验室的博士研究员Jun Piao表示，4种资料集测试结果中，NEC提出的研究方法比Faster R-CNN模型平均多了6%的正确率，降低了错误的预测结果，也增加了正确预测结果的信心值。

上面一排是用Faster R-CNN模型的辨识结果，下面一排是用根据人体部位结合物件辨识的新方法。

Jun Piao也提到，目前正在寻找该技术的应用场域，NEC最快在今年年底将释出相关应用。而这项技术最大宗的市场，是部署到机场、大众运输场所、大会场所的安控录影机中，用来辨识被放置的可疑物品，或是当侦测到拐杖、轮椅、导盲杖等物件时，能通知站务人员主动协助行动不便的民众，来降低搭乘的风险，也提供更贴心的服务。