“非深度网络”12 层打败 50 层,普林斯顿 + 英特尔:更深不一定更好
消息来源:baojiabao.com 作者: 发布时间:2024-05-18
"深度"是深度神经网络(DNN)的关键词。但网络越深也就意味着,训练时反向传播的链条更长,推理时顺序计算步骤更多、延迟更高。
而深度如果不够,神经网络的性能往往又不好。
这就引出了一个问题:是否有可能构建高性能的"非深度"神经网络?
普林斯顿大学和英特尔最新的论文证明,确实能做到。
他们只用了 12 层网络 ParNet 就在 ImageNet 上达到了接近 SOTA 的性能。
ParNet 在 ImageNet 上准确率超过 80%、在 CIFAR10 上超过 96%、在 CIFAR100 上 top-1 准确率 达到了 81%,另外在 MS-COCO 上实现了 48% 的 AP。
他们是如何在网络这么"浅"的情况下做到的?
并行子网提升性能
ParNet 中的一个关键设计选择是使用并行子网,不是按顺序排列层,而是在并行子网中排列层。
ParNet 由处理不同分辨率特征的并行子结构组成。我们将这些并行子结构称为流(stream)。来自不同流的特征在网络的后期融合,这些融合的特征用于下游任务。
在 ParNet 中,作者使用 VGG 样式的块。但是对于非深度网络来说,只有 3×3 卷积感受野比较有限。
为了解决这个问题,作者构建了一个基于 Squeeze-and-Excitation 设计的 Skip-Squeeze-Excitation (SSE) 层。使用 SSE 模块修改后的 Rep-VGG 称之为 Rep VGG-SSE。
对于 ImageNet 等大规模数据集,非深度网络可能没有足够的非线性,从而限制了其表示能力。因此,作者用 SiLU 激活函数替代了 ReLU。
除了 RepVGG-SSE 块的输入和输出具有相同的大小外,ParNet 还包含下采样和融合块。
模块降低分辨率并增加宽度以实现多尺度处理,而融合块组合来自多个分辨率的信息,有助于减少推理期间的延迟。
为了在小深度下实现高性能,作者通过增加宽度、分辨率和流数量来扩展 ParNet。
作者表示,由于摩尔定律放缓,处理器频率提升空间也有限,因此并行计算有利于神经网络实现更快的推理。而并行结构的非深度网络 ParNet 在这方面具有优势。
实际性能如何
在 ImageNet 数据集上,无论是 Top-1 还是 Top-5 上,ParNet 都接近 SOTA 性能。
在 MS-COCO 任务中,ParNet 在性能最佳的同时,延迟最低。
不过也有人质疑"非深度网络"的实际表现,因为虽然层数少,但网络宽度变大,实际上 ParNet 比更深的 ResNet50 的参数还要多,似乎不太有说服力。
但作者也表示"非深度"网络在多 GPU 下能发挥更大的并行计算优势。
最后,ParNet 的 GitHub 页已经建立,代码将在不久后开源。
2022-05-08 04:17:54参考链接:
[1]https://arxiv.org/abs/2110.07641
[2]https://github.com/imankgoyal/NonDeepNetworks
相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24