工研院用4年打造全球首套台湾街景自驾数据库，今年要扩增预碰撞事件资料

工研院资通所所长阙志克22日揭露工研院自驾车技术进展，今年要扩充全球首套台湾自驾车街景影像资料集Formosa Dataset的预碰撞事件（Pre-crash Event），要纳入不同环境下的道路标志、地面标志、车尾灯等影像，来让AI模型学习避免碰撞。明年，还要整合多元感测资料，来提高时空间中，物件半自动预标记的效率。同时，他也揭露自驾车产业化应用，明年除了要生产7台Level 3自驾巴士外，还要将技术应用于工厂或物流中心里的自动搬运车（AGV）。

锁定自驾车感知能力，以AI辨识为核心

自驾车技术可分为感知、决策和控制三部分，他回顾，三年半前工研院投入自驾车领域时，就聚焦于感知。而自驾车的感知资讯，来自于相机镜头、光达和雷达等设备，工研院也根据这些设备，研发出一系列感知系统。

首先是针对相机镜头的车用视觉技术，可分为三大技术，第一是影像预处理系统，可用来除雨去雾、检测和去除镜头画面中的鬼影，也能用于高动态范围成像；再来是辨识行车环境的深度学习模型，“我们仿照Nvidia，训练了7个环境辨识模型。”阙志克指出，这7个模型分别负责辨识空间、道路交通标志、车道巷弄、红绿灯号，以及对车辆灯号、机车灯号和行人的侦测。

第三个技术则是工研院独创的影像分割技术，“是领先全球的自驾车影像分割算法！”该架构为工研院自行研发的ITRI-Seg，辨识准确率达99.5％，远高于基准测试的即时影像分割类神经网络ENet准确率（95.2％），且速度也略胜一筹。

接下来，工研院针对自驾车的另一感知来源：雷达和光达，开发了复合式的长短距离侦测系统。这个系统整合了长距离和短距离雷达与相机，能扩大侦测范围、辨识距离物件，减少死角视差。

不只如此，工研院也针对多种感测器，建立两套感知融合系统，也就是Early Fusion和Late Fusion，能分别利用全车数十个相机、光达和雷达，来提供100米内的高精度深度图（RGBD），或是根据当下环境条件，来融合这些感测器的辨识决策，提高辨识精准度。

有了对环境的感知后，再来，就是对行人穿越马路和车辆行驶的意图预测。首先，为预测行人是否会穿越马路，工研院建立一套人体辨识系统，先定位出人体骨架，再结合姿态语意分析，来即时了解行人穿越马路的意图，比如是否会闯红灯。

对于车辆行踪预测，则是仰赖车尾灯、方向灯等影像辨识和物件追踪技术，来即时预测前方车辆是否会紧急刹车、临停或转向等。不过，阙志克坦言，光是要让AI模型辨识方向灯，就是一件很不容易的事，“因为车子有各种形式的方向灯，有时还搭配停车灯，需要很多训练资料才行。”

4年打造全球首套台湾街景影像数据库，今年要完成预碰撞影像收集

由于这些感知系统都以AI辨识模型为基础，因此需要大量训练资料才行。为此，工研院在2年前开始，逐步建立一套专属台湾的街景影像数据库Formosa Dataset。他们锁定台湾300多条重要道路中，容易发生碰撞的道路，并在不同天气条件下，收集这些道路的影像资料，目标要达到10万公里资料量。

这些资料涵盖了不同级别的道路，像是市区、巷弄、圆环、交通标志等道路场景，其中的物件还可分为150项。这套数据库，也包括了自动化标记平台，可用来加速物件标记时间。

经过2年发展，这套数据库已具备交通物件和地面道路图形标志的标记影像，去年也完成了部分车尾灯状态的标记。今年则是要扩充行车影像难以收集的预碰撞事件，也就是车辆发生碰撞前的影像资料。

进一步来说，这些预碰撞资料包括了黎明、黄昏和起雾时的交通标志与地面道路图形标志，以及日夜阴晴情境下，共10万台汽机车的车尾灯影像。此外，还要收集光达点云物件标记的资料，以及立方体影像物件的标记。

工研院也将预碰撞影像资料，分为五大类，像是同车道追撞、闯红灯、对向相撞等。为了让资料更丰富，团队也在YouTube上寻找车祸影片，以影片为基础，透过电脑绘图在模拟器中产生不同场景的车祸情境，比如雨天、夜晚等。

除了今年要完成预碰撞事件资料的收集，明年，工研院还要结合可见光影像、热感应影像、光达点云等多种感测影像资料，来自动进行时间、空间的整合性标记。

打造整辆自驾巴士，明年要能行驶在一般道路上

阙志克表示，工研院自驾车感知系统瞄准车用电子业，“比如提供光达辨识模组或相机影像辨识模组，给ADAS厂商发挥。”不只如此，工研院后来也实际将自家的感知系统，整合开发出自驾巴士，目标是明年要在一般道路上行驶、速度要达每小时50公里。而且，感知程度也要有所精进，比如能感知大雨、交通警察和弱势用路人，并读懂交通警察的手势。

他也揭露了工研院自驾车的产业化成果，首先，透过与车王电子联手，他们整合了国内14家设备和软硬件厂商，在今年打造3台自驾能力为Level 3的自驾接驳中巴和大巴，明年还是要生产7台。所谓Level 3，是指系统能自动行车，进行加减速和超车，而且在特定条件下，驾驶人的手可以完全离开方向盘，脚也不必踩在踏板上。除了打造Level 3自驾巴士，工研院也与车王电子发展电动大巴的Level 2辅助驾驶系统。

阙志克也指出，工研院不只将这套自驾感知技术用于汽车产业，还用来发展“自主室内移动搬运车”（AMR），改善工厂和物流中心的AGV。也就是说，AGV不再只受限于固定路线，能借助感知系统来动态行车，而且在避障上，还能绕越障碍物，不像传统AGC只会停在原地。工研院也在8月时，完成场域试验。