锁定高解析串流分析，清大开源CNN架构HarDNet，影像分类速度比常见ResNet-50架构快30%

自驾车上路的关键是，得先快速、准确分辨出路上人、车和物体，能够更快更准确地进行影片的图像语义分割 (Semantic Segmentation)，决定了操控AI安全驾驶的反应能力，如何单靠车上AI主机提供到毫秒级辨识推论，是自驾车AI的一大挑战。清大一个研究团队，最近开源了自己改良的新CNN架构，找到了能加快推论速度的关键作法。

最近清大资工系教授林永隆带领的研究团队，以DenseNet为基础，开发了一个低内存资料流（Low Memory Traffic）的CNN架构，称为HarDNet。研究团队指出，运用该架构训练的模型进行影像分类任务，推论时间比常用的ResNet-50架构缩短了30％，若是进行物件侦测与识别的任务，则比SSD-VGG缩短了45%。而这个架构在今年10月底的ICCV会议发表，且已在GitHub开源。

清大研究团队成员阮郁善表示，Memory Traffic是指资料进出内存的次数。以DenseNet来说，会造成大量资料进出内存，是因为该架构中每一层都有捷径（Shortcut）的连结，这也意味着，每一层撷取的特征值（Feature），都会保留到最后一层来运算，而且，保留下来的特征值也会到下一层撷取更细节的特征值，如此一来，造成资料搬运次数多，就会耗费许多运算时间。

因此，研究团队减少了DenseNet架构中，层数（layer）之间的捷径，来降低资料搬运次数、加快运算时间，不过，捷径减少后，由于撷取的特征值变少，模型准确率也会下降。于是，研究团队也改变了DenseNet每一层的权重数，也就是针对捷径连结更多的layer，来增加运算量、撷取更多的特征值，借此维持模型准确率。而这个改良版的DenseNet模型，也被重新命名为HarDNet。

如图所示，由于DenseNet的捷径连结多，造成资料搬运次数多，所以需要较长的运算时间，但改良后的HarDNet，减少了捷径的同时，也调整了每一层的权重数，能在维持辨识准确率的同时加快运算速度。

研究团队也将U-HarDNet70模型运用在高分辨率（1024*2048）的即时影像分割工作上，来验证该架构的高推论速度。比如在Nvidia GTX 1080ti的环境下，能达到53 fps（Frame per second，每秒帧数）的推论速度，且达到76%的准确率。阮郁善表示，尽管还有可以达到更高准确率的架构，但如果将运算速度也纳入考量，“U-HarDNet70的综合表现更好。”

与其他架构相比，U-HarDNet70能在53 fps的推论速度下，达到76%的准确率。

研究团队也将HarDNet与一般常见CNN架构相比较，HarDNet可以在低错误率、高运算量的情况下，仍然保持快速的推论速度。阮郁善表示，“其他研究者可能想追求，运算量不要太大，模型推论可以跑更快，但我们是点出来说，一直追求较低的运算量不一定跑比较快，就像HarDNet的运算量高，但是因为资料搬运次数较少，所以推论速度比DenseNet快了三成以上。”

如图所示，左侧Top-1 Error是指辨识错误率，数值越低越好；Inference Time是指推论时间，数值越低越快；而图中圆圈的数值，是指运算量（单位：Giga MACs）。而HarDNet的表现，可以在低错误率、高运算量的情况下，保持快速的推论速度。

因此，HarDNet适合如高分辨率、即时影像分析等运算量大的应用，如自动驾驶、医疗诊断、安全识别、人机互动等。 而该架构也已经在GitHub上开源。