直击首套国产AI无人商店（上）让顾客“拿了就走”关键技术大解密

你能想像靠一支手机于商店内不需要与任何人互动，就能完成购物吗？走进工研院光复院区的无人商店实验场域，只要凭手机App扫描QR Code，就可穿过闸门，进入模拟商店，拿取属意的商品，直接在App上完成付款后，就能带着商品离开，不需排队结账。而这整个选购流程，完全靠AI辨识，并以手机为支付载具，来达到无人化。

2016年底，亚马逊发表了首个无人商店Amazon Go的概念，立刻受到全球瞩目，成为零售业的创新指标，促使各地零售业者纷纷加入此股风潮。而在台湾，除陆续有零售业者展开小规模的无人商店测试计划，工研院也从2017年开始，着手研发全国产的AI无人商店技术，且决心要落地产业现场，所以其技术方案整合了整间商店所需的硬件、软件和营运管理服务。

为了早日让技术在产业落地，工研院于研发之初，就于光复院区刚落成的研发大楼1楼，打造了约20坪的模拟超商店铺，作为技术验证的实验场域。负责工研院无人商店技术研发工作的工研院巨量资讯科技中心首席执行官冯文生表示，“从研发第一天我们就确立，不只是要研发技术，更要让技术运用于实际的营运场域。”

工研院陆续进行了商品取放辨识、人员绑定追踪、IoT沟通管理等技术和系统的开发工作。研发期间，工研院还于不同的活动会场，先行展示了无人商店概念的缩小版应用“易取”智慧货架。这个具自助贩卖机功能的设备，运用重量感测器、电脑视觉辨识技术等，让消费者透过手机App开柜选购，并在关闭柜门后，利用手机App完成付款，是工研院无人商店购物流程的简易情境。

经历3年的研发，工研院无人商店的各项技术和系统，于今年达到一定的成熟度和稳定度，工研院也在近日首度对外亮相该智慧商店的实验场域，并宣布与全家便利商店（简称全家）签约，预告双方将于同一场地，共同建置采用该套整合方案的智慧商店。

走进工研院无人商店的实验场域，可以看到两个自动闸门通道，管控人员进出模拟商店，闸门的一旁有一个小房间，是支援整间商店运算需求的机房，而往店内一望，可看到31个智慧货架，背靠背，并排陈列共逾300种商品，再抬头一看，可以看到天花板上，有逾40台摄影机组成的阵列，能自动追踪、辨识消费者的位置和动作。

天花板摄影机阵列是消费者行为追踪关键｜无人商店天花板布建了45台摄影机，来追踪、辨识消费者于店内的位置和行为。多数是1080P一般摄影机，能由上而下来辨识顾客姿势，如伸手拿取商品的行为，少数是追踪顾客移动轨迹的广角摄影机。（摄影／黄郁芸）

智慧货架靠3大技术来辨识拿取商品｜智慧货架有三层货架，每层内侧上方架设3台摄影机、下方层板则内嵌数个重量感测器，层板外缘还安装红外线光栅，结合影像、重量和红外线等多重感测技术，来辨识消费者拿取的商品内容和数量。（摄影／黄郁芸）

购物免排队结账，进出商店、付款全靠App

工研院这间无人商店的购物流程十分简单。首先，消费者利用绑定好支付方式的手机App，作为进店消费的凭证，对着入口闸门上的条码扫描机，扫App上的QR Code来开启闸门，就可进入店内选购商品。而这个简单的扫码动作，不单是要让进出闸门控制系统，开启闸门，更是要让智慧购物行为辨识系统获悉消费者的身份，来开始追踪其于店内的行为。

手机App绑定支付后才能进店｜实名注册的顾客，得先在专用的手机App中绑定支付方式，取得进入无人商店的QR Code，才能扫码开启入口闸门。（摄影／翁芊儒）

接着，消费者只要拿取商品，智慧购物行为辨识系统就会辨识取放行为，再由多重感测技术即时辨识商品资讯，并将商品与消费者绑定，自动于App的虚拟购物车中，显示商品的名称与数量，而若消费者改变心意，将商品放回了货架，系统也会立即自动从购物车中，移除该商品的资讯。

消费者选购完商品后，直接于App上点选付款程序，进行付款。一旦结账完成，消费者便可从App上查看明细，或可点选“离开商店”的选项，获得离店QR Code。最后，消费者只要再次对着闸门上的条码扫描机，扫QR Code，即可开启闸门、离开商店。整个购物流程，省去了排队结账的动作与时间。

根据记者实际体验，从商品拿取，到App呈现商品资讯，中间约有3至5秒的时间差，整体使用者体验仍有改善的空间。对此，工研院巨量资讯科技中心经理崔文说明，因App的服务器位于云端上，任何资讯都需透过外网连接云端，才可呈现于App上，而产生了通讯上的延迟。

国产AI无人商店关键技术大解密

让顾客“拿了就走”的无人商店模式，从追踪顾客进店面后的轨迹、取放商品的行为，到自动辨识正确品项并加入手机App购物车中，这整套流程背后的关键技术，就是工研院独立研发的多视角影像辨识技术、与多重感测器分析技术。

多视角影像辨识技术，是透过天花板装设的多个摄影镜头以及广角摄影机，在顾客扫描QR Code进入智慧商店之后，即时追踪其移动轨迹与行为，比如在顾客拿取商品后，同步将商品加入虚拟购物车中，反之若是放回商品，购物车也会同步移除。其中，广角镜头因拍摄范围更大，主要用来追踪顾客轨迹，一般摄影镜头则是能由上而下地辨识顾客姿势，比如伸手取放商品等行为。

崔文进一步说明，由于顾客在伸手拿取商品时，仍有概率发生遮蔽、交叉取物等影响上方摄影机辨识的情况，因此，当顾客站在天花板一台摄影机正下方时，前、后、左、右相邻的四个摄影机，也会同时透过斜角的视野来辨识顾客姿势，借此降低误判概率。工研院目前也在尝试，将现为平面向下的摄影机改以多角度来架设，试图找到提升姿势辨识准确率的方法。

方向采取从天花板由上向下进行辨识的设计，冯文生解释，是为了避免直接拍摄到人脸的监控争议。不过，若未来客户提出针对性别、年龄分众行销的需求，技术上仍然可以透过部署不同角度的摄影机来达成。

虽然顶部的摄影机可以追踪顾客位置，但在一个货架的多种商品中，顾客伸手究竟拿了哪一样商品？就要运用到多重感测器分析技术了。这项技术隐身在一个个货架中，主要运用红外线光栅、货架层板上的摄影机以及重量感测器，来确实辨识顾客拿取的商品并加入虚拟购物车中。其运作方式，是在顾客伸手取物、触碰到货架外缘的红外线光栅时，同步唤醒货架内的摄影机与重量感测装置，接着，透过重量分布的改变，同时搭配摄影机比对取物前后的画面，判断出被取出的商品品项。

层板红外线光栅是运算量降低关键｜货架底部层板外缘，隐藏内嵌了红外线光栅，只有顾客伸手取商品时才会触发，再启动对应的摄影机和重量感测器，不用随时开启摄影机，可以大幅降低后端硬件的运算量。（摄影／翁芊儒）

冯文生表示，设置了红外线光栅的好处是，可以让货架内的感测装置只需在触发后启动，能大幅降低后端硬件运算量，且透过影像辨识搭配重量感测技术，也能降低模型训练时单一品项所需的影像数量，比如一般市面常见的盒状包装商品，只要包装盒六面的影像各一张，再加上商品的重量资讯，就能满足AI训练所需，比起只用影像辨识技术来辨识商品，也能进一步降低运算量。

整体运算量降低后，也让这套无人店技术需要的硬件运算资源门槛下降。比如崔文形容，现在工研院无人店运用含CPU、GPU在内的硬件装置，约一般电竞PC的运算力，就能处理整间店所有软件的综合运算分析需求。

目前，结合上述两套关键技术，排除恶意行为干扰下的实测，辨识率约为98～99%。也就是说，在大多时候，行动App能确实记录下顾客选购的商品，并在顾客确认无误后一键结账，达成从选购到结账的无人化。文⊙翁芊儒、黄郁芸

冷藏货架也能用多重感测辨识取货｜这套辨识取货的多重感测技术，不只可以安装于常温货架，也可以运用到冷藏货架上，来辨识顾客拿取架上冷藏商品的行为，目前实验场域内有两个冷藏智慧货架，但还无法支援冷冻货架。（摄影／黄郁芸）

后台系统即时呈现店内人流及取货状态｜目前无人商店可同时开放5～10人入场，后台系统可以即时显示每一个人在店内的位置，若有商品被拿取，该货架也会出现黄色提示。工研院目标是支援20人入场。（摄影／黄郁芸）

工研院国产无人商店7大特色

 特色1  全国产研发
 特色2  以落地为目标，压低建置成本到百万元等级
 特色3  绑定会员， 以手机为消费载具，刷QR Code进出店
 特色4  以AI技术驱动，追踪顾客移动轨迹、取放商品等行为
 特色5  触及货架外缘红外线光栅才启动商品辨识机制，借此降低运算量
 特色6  研发操作简易的商品辨识模型训练系统，加速新商品的上架流程
 特色7  将人流追踪摄影机架设于天花板，避免人脸监控争议

无人商店目前4大不足

 不足1  部分过轻、过小、生鲜蔬果类、冷冻商品仍无法辨识
 不足2  仍有部分场景未克服，如无法分辨不同人取放商品或服装相似者
 不足3  雏形的硬件系统仍不够稳定
 不足4  实测时，取物后需等3∼5秒，App购物车才会显示商品

资料来源：工研院，iThome整理，2020年7月

 相关报导  直击首套国产AI无人商店（下）百万元国产货不输造价千万的Amazon Go，软硬件关键大公开