把视觉 TransFormer 的优势融进卷积模型里，入选 ECCV 2022 的这篇论文火了
当下, 计算机视觉领域最热议的方向, 莫过于近两年越来越火的视觉 Transformer (ViT) 和传统的卷积神经网络 (ConvNet), 谁才能主宰计算机视觉的未来?
风头正盛的 ViT, 是计算机视觉领域过去十年最瞩目的研究突破之一。2020 年, 谷歌视觉大模型 Vision Transformer (ViT) 横空出世, 凭借碾压各路 ConvNet 的性能表现, 一举掀起 Transformer 在计算机视觉领域的研究热潮。
但"ConvNet 派"还没到低头认输的时候。2022 年 1 月,Meta AI 研究院、加州大学伯克利分校的研究人员发表了卷积神经网络的"扛鼎之作"--ConvNeXt, 基于纯 ConvNet 新架构, 取得了超过先进 ViT 的计算速度和精度。
▲ ConvNet 与 ViT 模型图像分类实验结果对比
那如果将这两类模型的优势互补, 会不会产生 1+1>2 的效果?
近日, 基于这一思路的论文《ParC-Net: 继承 ConvNet 和 Transformer 优点的位置敏感的循环卷积》入选了计算机视觉顶会 ECCV 2022, 并引发国内外广泛关注。
这篇论文提出了一种面向移动端、融入 ViT 优点的纯卷积结构模型 ParC-Net, 能以更小的参数量, 在常见视觉任务中实现比主流轻量级 ConvNet 更好的性能。
▲ ParC-Net 在三种视觉任务实验中均以更小参数量取得最佳性能表现
值得一提的是, 论文提出一种既有全局感受野、又对位置信息保持敏感的基础卷积算子 ParC, 它能与现有主流网络结构融合, 兼顾模型性能和计算速度的提升, 相关代码现已开源。
具体是怎么实现的? 我们联系到论文第一作者张号逵博士, 并与其进行深入交流。
01.
取 ViT 的三个亮点, 将纯卷积结构变强
在计算机视觉领域,ViT 模型性能彪悍, 门槛和成本却惊人, 无论是庞大数据量, 还是超高算力需求, 都离不开"钞能力"的支撑。
相比之下, 轻量级 ConvNet 虽然性能难以与 ViT 媲美, 但具有易训练、参数量少、计算成本低、推理速度快等优势, 对硬件资源的需求不像 ViT 那么受限, 可部署在各种移动或边缘计算设备上。此前较流行的轻量级 ConvNet 有 ShuffleNet、MobileNet、EfficientNet、TinyNet 等等。
经对比, 云天励飞的研究人员借鉴 ViT 的优点, 基于卷积结构设计了一个轻量级骨干模型 ParC-Net。
论文作者认为,ViT 和 ConvNet 有三个主要区别：ViT 更擅长提取全局特征, 采用 meta-former 结构, 而且信息集成由数据驱动。ParC 的设计思路便是从这三点着手来优化 ConvNet。
▲ 普通 ConvNet 和 ViT 之间的三个主要区别。(a) ConvNet 常用的 Residual block;(b) ViT 中常用的 Meta-Former 结构;(c) 本文提出的 ParC block。
具体而言, 研究人员设计了一种位置信息敏感的循环卷积 (Position aware circular convolution, ParC)。这是一种简单有效的轻量卷积运算算子, 既拥有像 ViT 类结构的全局感受野, 同时产生了像局部卷积那样的位置敏感特征, 能克服依赖自注意力结构提取全局特征的问题。
ParC 结构主要包含三部分改动：1) 结合 circular padding 和大感受野低秩分解卷积核提取全局特征;2) 引入位置嵌入, 保证输出特征对于空间位置信息的敏感性;3) 动态插值实时生成尺寸适配的卷积核和位置编码, 应对输入分辨率变化情况, 这增强了对不同尺寸输入的适应能力。
▲ ParC 结构示例
研究人员还将 ParC 和 squeeze exictation (SE) 操作结合起来, 构建了一个纯卷积结构的 meta former 结构。该结构舍弃了自注意力硬件支持不友好的操作, 但保留了传统 Transformer 块提取全局特征的特点。
然后, 研究人员在 channel mixer 部分引入硬件支持较友好的通道注意力机制, 使其纯卷积 meta former 结构也具备自注意力的特点。
基于 ParC 结构最终得到的 ParC 块, 可作为一个即插即用的基础单元, 替换现有 ViT 或 ConvNet 模型中的相关块, 从而提升精度, 并降低计算成本, 有效克服硬件支持的问题。
▲ ParC 实验结果
02.
三大视觉任务表现出色
多项指标打败苹果 MobileViT
"据我们所知, 这是第一次尝试结合 ConvNet 和 ViT 的优点来设计一个轻量级 Pure-ConvNet 的结构。"论文作者如此描述 ParC-Net 的开创性。
实验结果表明, 在图像分类、物体检测、语义分割这三类常见的视觉任务中, 混合结构的模型性能表现普遍高于当前主流的一些纯卷积结构、ViT 结构的模型, 其中 ParC-Net 模型取得了最好的整体性能表现。
▲ 对于 ImageNet-1k 的图像分类实验结果
在图像分类实验中, 对于 ImageNet-1k 的分类,ParC-Net 使用的参数规模最小 (大约 500 万个参数), 却实现了最高准确率 78.6%。
MobileViT 是苹果公司 2022 年在国际深度学习顶会 ICLR22 上提出的轻量级通用 ViT 模型。同样部署在基于 Arm 的瑞芯微 RK3288 芯片上, 相较基线模型 MobileViT,ParC-Net 节省了 11% 的参数和 13% 的计算成本, 同时准确率提高了 0.2%, 推理速度提高了 23%。
▲ 与基准模型的推理速度对比
与基于 ViT 结构的模型相比,ParC-Net 的参数量只有 Meta AI 团队 DeiT 模型参数的一半左右, 准确率却比 DeiT 提高了 2.7%。
在 MS-COCO 物体检测和 PASCAL VOC 分割任务中,ParC-Net 同样基于较少的参数, 实现了更好的性能、更快的推理速度。
▲ MS-COCO 物体检测实验结果
▲ PASCAL VOC 分割任务实验结果
张号逵博士是 ParC-Net 论文的第一作者, 现任深圳云天励飞资深算法研究员, 研究领域包括网络结构搜索、深度估计、轻量化骨干模型、信息检索及高光谱图像分类等。
他告诉智东西, 传统 ConvNet 可以适应视觉任务中输入分辨率的变化, 而具有全局感受野的纯卷积结构的缺陷是卷积核必须跟输入分辨率保持一致, 为了更好应对分辨率的变化, 其团队正在研究将模型做成动态卷积的形式, 以提高鲁棒性。
目前这项研究成果已经可以用在算力受限的移动端或边缘设备中, 实现更高准确率的视觉任务。如果进行一些小的改动,ParC-Net 还可以被用于其他的视觉任务, 例如 6DOF 姿态评估及其他 dense prediction 的任务。
03.
与自研芯片协同
运算速度可提升快 3～4 倍
那么 ParC-Net 模型的研究成果, 具体如何在实际业务场景中发挥价值?
据介绍, 一方面,ParC-Net 模型可以集成到开源算法训练平台 YMIR 中, 然后被部署至终端设备; 另一方面, 通过与云天励飞自研芯片协同, 它能将运算速度和精度进一步提升。
YMIR 是一个高度自动化的 AI 模型开发平台, 能做到利用鼠标简单操作就可以完成数据收集、模型训练、数据挖掘、数据标注等功能。将拥有高运算效率的 ParC-Net 模型版本上传至 YMIR 后, 用户可在该平台上直接选用 ParC-Net 模型, 也可以针对具体业务场景, 添加相应的数据集对 ParC-Net 进行再训练, 从而获得能更好满足业务需求的模型。
以前有些对精度要求高或者采用 ViT 结构的移动端视觉任务, 受限于计算效率问题, 难以在摄像头设备或手机上运行, 而上传到云端做运算, 对有较高实时性要求的视觉任务不是很友好。
ParC-Net 则较好地改善了这类问题, 在模型精度和推理效率之间实现平衡, 使得边缘设备可以在本地运行一些对精度要求高的视觉任务。比如, 人脸识别终端设备可运用 ParC-Net 直接对路过的人进行高质量特征值提取, 无需将数据传输到云端, 就能与数据库进行检索比对。
与云天励飞自研芯片搭配后,ParC-Net 模型的性能表现还能再上一个台阶。
张号逵博士谈道, 其团队考虑到软硬件设计协同问题, 在研发之初参考了云天励飞自研芯片工具链的设计及算子支持情况, 然后进行模型网络结构及算子的设计, 以更好地发挥出芯片算力。
研究人员将 ParC-Net 和基线模型 MobileVit 均部署到自研低功耗芯片 DP 上进行推理速度测试。从实验结果可以看到,ParC-Net 的推理速度能够达到 MobileViT 速度的 3～4 倍。
▲ 与基准模型在不同芯片平台上的推理速度对比
这也是研究团队决定选择基于纯卷积结构来设计 ParC-Net 的原因之一。ConvNet 已经统治计算机视觉领域十年之久, 而 ViT 在这一领域兴起时间较短, 很多现有的神经网络加速器、硬件优化策略, 都是围绕卷积结构设计。因此部署在移动端时, 纯 ConvNet 往往能比 ViT 享有更好的软硬件及工具链支持, 并实现更快的推理速度。
即便搭载在对支持 ViT 更友好的芯片上, 张号逵博士说,ParC-Net 依然能取得比现有其他混合模型更好的性能表现。
绝大多数视觉任务可以分为两类: 一类对位置信息不敏感, 如图像分类等; 另一类对位置信息较敏感, 如物体检测、3D 姿态估计、AR 试穿等。对于这些视觉任务, 无论用在智能门禁、手机识图还是自动驾驶汽车的摄像头,ParC-Net 都能够发挥出其兼顾模型精度和计算效率的优势, 并且不会受部署终端设备配置的限制。
04.
结语: 轻量级视觉模型设计的新启发
当前 ViT 与 ConvNet 两大研究方向在计算机视觉领域旗鼓相当,ViT 在学术界四处屠榜,ConvNet 则在工业界主导地位难以撼动, 将两者融合的相关研究也如雨后春笋般涌现。
此次入选 ECCV 顶会的 ParC-Net 模型, 既顾及边缘设备对模型规模的限制, 基于纯卷积结构, 确保其具备易训练、易部署、推理效率高、硬件更友好等特点, 又吸纳了 ViT 的设计特征, 实现比其他 ConvNet 模型更高的精度。这可以给移动端视觉任务的模型设计带来一些启发。
