逐项拆解 | 从 AI Benchmark 跑分看展锐 5G 芯片 T770 的 AI 性能
近日，AI Benchmark 发布了最新 Mobile SoCs 推理测试结果。在这份备受 AI 圈关注的"战报"中，紫光展锐 5G 芯片 T770 取得了 86.2K 的不俗成绩。
AI Benchmark 是全球权威 AI 性能评测平台，由苏黎世联邦理工学院计算机视觉实验室出品。这个实验室由计算机视觉领域著名学者 Luc Van Gool, 医疗影像教授 Ender Konukoglu，以及计算机视觉及系统教授 Fisher Yu 的研究组组成，是整个欧洲乃至世界最顶尖的 CV / ML 研究机构之一。
AI Benchmark 涵盖了 26 组测试，共计 78 个测试子项，包括了目标识别、目标分类、人脸识别、光学字符识别、图像超分，图像增强、语义分割、语义增强等 AI 场景，从 CPU、AI 加速器对 INT8 和 FP16 模型的推理速度、准确性、初始化时间等数据全方位衡量平台 / 设备的 AI 能力。因此，AI Benchmark 可以从比较客观的角度评估芯片的 AI 性能。
在 12 个维度的测试里，共计 102 个测试数据，T770 有超过 59.8% 的数据超过竞品。
具体表现在图片分类、并发场景 (量化模型)、目标检测、文字识别、语义分割、图像超分、图像分割、深度估计、图像增强、视频超分、自动文本生成等场景。
接下来，让我们从几个关键的测试维度看下 T770 AI 性能的具体表现：
逐项拆解之 MobileNet
首先来看较为经典的 MobileNet 神经网络维度。这里稍微提一下 MobileNet 的由来：谷歌在 2017 年提出了专注于移动端或者嵌入式设备中的轻量级 CNN 网络，其最大的创新点是提出了深度可分离卷积。mobileNet-V2 是对 mobileNet-V1 的改进，是一种轻量级的神经网络。mobileNet-V2 保留了 V1 版本的深度可分离卷积，增加了线性瓶颈（Linear Bottleneck）和倒残差（Inverted Residual），而 MobileNet-V3 是谷歌基于 MobileNet-V2 之后的又一项力作，在精度和时间上均有提高。MobileNet-V3 做了哪些修改呢？它引入了 SE 结构、修改了尾部结构和 channel 的数量，做了非线性变换的改变。MobileNet-V3 提供了两个版本，一个是 mobileNet-V3 Large，也就是 AI Benchmark 这次测试用的版本，另一个是 MobileNet-V3 Small 版本，分别对应了对计算和存储要求高与低的版本。
AI-Benchmark 主要选取了 V2 和 V3 Large 两个版本进行测试。下图这个数据柱状图表达的是什么意思呢？这里包含了 CPU、AI 加速器分别对于量化和浮点模型的处理表现，主要从推理速度和准确性两个维度去评估平台 / 设备的 AI 能力，时间单位是毫秒。
灰色的柱形图代表竞品，紫色的代表 T770。可以看到，在 mobileNet-V2 维度，T770 在 CPU 量化、CPU 浮点、加速器量化的处理上基本是优于竞品的。加速器浮点上略有差距，在 mobileNet-V3 Large 维度，T770 在 CPU 量化、CPU 浮点、加速器浮点的处理上是优于竞品的，加速器量化上略有差距，两者数据各有千秋，从 MobileNet 神经网络整体维度，T770 优于竞品。
逐项拆解之 Inception-V3
Inception-V3 架构的主要思想是 factorized convolutions (分解卷积) 和 aggressive regularization (激进的正则化)。可以看到，在精度基本一致的情况下，在 CPU 浮点、加速器量化这两个关键维度上，T770 运行 Inception-V3 的运行速度更快，加速器浮点模型数据的运行速度上略有差距，但精度略优于竞品，如下图所示：
逐项拆解之 EfficientNet
EfficientNet 是谷歌研究人员在一篇 ICML 2019 论文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中提出的一种新型模型缩放方法。可以看到，T770 运行 EfficientNet 的表现与竞品相当，在 CPU 浮点、加速器量化、加速器浮点模型数据的运行速度上均有优势。
刚才提到的 MobileNet、Inception-V3、EfficientNet 网络结构常用于图像分类、目标检测、语义分割等技术开发中。这些神经网络结构可应用的常见场景有手机相册中的相册分类，手势识别等，工业上可用于快递分拣、头盔检测、头盔识别等场景，在医学领域会用于皮肤真菌识别等应用。当然这些神经网络所能支撑的场景，不限于刚刚介绍到的，可利用这些 AI 能力开发出更多的基于对物体 / 事物的分类场景。
T770 在这些神经网络结构上的不俗表现表明：T770 有更全面、更强大的能力去支撑这些场景的开发。
逐项拆解之 Inception-V3 Parallel
接下来再看 Inception-V3 Parallel (NN-INT8)，你肯定会想，怎么又来一个 Inception-V3，刚才不是 show 过了？是重复了吗？搞错了吗？当然没有！这里介绍的是 Inception-V3 Parallel 的能力，即同时处理多个 Inception-V3，对应的是平台 / 设备对于 AI 并发处理的能力，怎么去理解这个并发处理呢？举个栗子吧，哦，今天忘记带栗子了，不好意思 (╯▽╰)。
简单来讲，就是应用程序同时下发多个任务处理，再简单点讲就是，同时在做两件事情或多件事情，比如图片分类和手势识别同时进行。还不明白？再简单点，就好比人在吃饭的同时刷抖音短视频。
OK，我们来看下具体数据，下图显示的是 AI 加速器对 1/2/4/8 个量化模型同时处理的能力，可以明显看到，T770 在 AI 多任务处理能力上占有明显优势。
逐项拆解之 Yolo-v4 Tiny
我们再看 Yolo-V4 Tiny 结构，它是 Yolo-V4 的精简版，属于轻量化模型，参数只有 600 万，相当于原来的十分之一，这使检测速度有了很大提升，非常有利于在端侧进行部署，在智能安防领域中已有大量应用，比如车辆识别、人员识别、路径预测和跟踪、行为分析、安全帽识别等。
先看下具体数据，如下图，除加速器量化模型部分略有不足之外，其他均有优势，如 CPU 量化、浮点，加速器浮点等。
逐项拆解之 DPED-ResNet
再看一下 T770 在 DPED - ResNet 处理维度的表现，解释一下，DPED 是 DSLR Photo Enhancement Dataset，而 DSLR 指的是 Digital Single Lens Reflex Camera，即数码单反相机。讲到这一点，不得不提到一篇论文《DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks》，这是一篇发布于 2017 年关于图像增强的神经网络论文，大概成果就是将手机照片作为输入，将 DSLR 相机拍出的照片作为 target，通过网络使其学习到一个映射函数，目的是让手机拍出单反相机照片的效果。
基于 DPED，我们可以将老旧或低质量的照片转化为高质量的照片，而且转化效果很好，可用于照片美化等应用场景。如下图，可以看到 T770 在对 DPED - ResNet 处理的错误率一致的情况下，错误率都很低，处理速度上有明显优势。
逐项拆解之 LSTM
接下来，我们再看一下 T770 在长短期记忆网络（Long-Short Term Memory，LSTM）方面的性能。由于独特的设计结构，LSTM 适合处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。
2009 年，用 LSTM 构建的人工神经网络模型赢得 ICDAR 手写识别比赛冠军。LSTM 还普遍应用在自主语音识别，2013 年，运用 TIMIT 自然演讲数据库实现了 17.7% 错误率纪录。作为非线性模型，LSTM 可作为复杂的非线性单元，用于构造更大型深度神经网络。
下图可以看到，T770 在对 LSTM 处理的错误率一致的情况下，处理速度上有着明显优势。
逐项拆解之 U-Net
U-Net 是比较早的使用全卷积网络进行语义分割的算法之一，因网络形状酷似 U 而得名。图像语义分割 (Semantic Segmentation) 是图像处理和机器视觉技术中，关于图像理解的重要一环，也是 AI 领域中一个重要的分支。语义分割对图像中每一个像素点进行分类，确定每个点的类别（如属于背景、人或车等），从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。U-Net 在医学领域也得到了应用，比如医学图像解析，也就是从一副医疗图像中，识别出特定的人体部位，比方说"前列腺"、"肝脏"等等。
下图可以看到，T770 和竞品对 U-net 处理的错误率都极低，而 T770 在拥有极低错误率的同时，处理速度明显占优。
好了，数据对比分析先讲这么多，大家如果对 T770 在其他 AI 场景下的性能数据感兴趣，可前往 AI Benchmark 官网自行查看。
以上可以看到，T770 有着不俗的 AI 性能，可以助力用户在相册分类、物体分类、智能美图、背景虚化、渲染、语音助手、智能家居、车牌识别，人脸识别、视频超分辨率应用场景中的落地实施，并且在满足常见 CV / NLP 应用场景下，可以同时满足实时、高并发的 AI 场景需求，如车牌识别、人脸识别等。
看罢 T770 的 AI 性能精彩展现，你是否会有疑问，T770 是如何做到在 AI 上大放异彩的呢？下面我们来简单介绍下。
T770 拥有多个可用于 AI 加速的设备，当然，有时候你拥有的资源越多，并不是一件好事，因为对资源的识别、管理和调度，会是一件极其困难的事情。所以，如何使 T770 上多个 AI 加速设备协同合作，并发挥出最大效能成为我们技术研发最主要的挑战。
大家都知道三个和尚挑水喝的故事：一个和尚挑水喝，两个和尚抬水喝，三个和尚没水喝。
故事很简单，道理也很简单，借这个故事，这里想表达的是三个核心问题：
一、任务来了，谁能干？
二、任务来了，谁来干更合适？
三、安排好活了，干活的是否积极？
为了解决上述问题，紫光展锐开发了两大核心技术：
1）Smart Schedule：采用智能算法，精准识别每个 AI 任务最适合在哪个加速器里进行处理，然后进行分配，使其随才器使；
2）Device Boost：采用智能调节算法，根据推理任务大小，智能调节加速器负载，使其张弛有度。
得益于紫光展锐开发的这两大核心技术，T770 在 AI 性能上大放异彩，AI 多变场景下，可以助力用户实现丰富的 AI 场景化落地。
而且，紫光展锐将持续针对多种 AI 场景进行优化，届时，T770 的 AI 性能将得到更大提升，创新不止，敬请期待！
注：本文测试数据来源于 AI Benchmark 官网发布
