arXiv 最火论文:研究“注意力机制”,来自清华大学计算机系胡事民团队
消息来源:baojiabao.com 作者: 发布时间:2024-05-10
清华计图胡事民团队的这篇注意力机制的综述火了!
在上周的 arXiv 上,这是最热的一篇论文。
推特以及 GitHub 上也有不低的热度。
而这篇论文引用近 200 篇内容,对计算机视觉领域中的各种注意力机制进行了全面回顾。
在大量调查之后,论文将注意力机制分为多个类别,GitHub 还给出了各类别下提到内容的 PDF 下载文件:
现在,就来一起看看这篇论文。
文章主要内容
论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段:
1.将深度神经网络与注意力机制相结合,代表性方法为 RAM
2.明确预测判别性输入特征,代表性方法为 STN
3.隐性且自适应地预测潜在的关键特征,代表方法为 SENet
4.自注意力机制
同时,注意力机制也被分为了通道注意、空间注意、时间注意、分支注意,以及两个混合类别:
针对不同类别,研究团队给出了其代表性方法和发展背景:
通道注意力(Channel Attention)
在深度神经网络中,不同特征图的不同通道常代表不同对象。
而通道注意力作为一个对象选择过程,可以自适应地重新校准每个通道的权重,从而决定关注什么。
因此,按照类别和出版日期将代表性通道关注机制进行分类,应用范围有分类(Cls)、语义分割(SSeg)、实例分割(ISeg)、风格转换(ST)、动作识别(Action)。
其中,(A) 代表 Channel-wise product,(I)强调重要通道,(II)捕捉全局信息。
空间注意力(Spatial Attention)
空间注意力可以被看作是一种自适应的空间区域选择机制。
其应用范围比通道注意力多出了精细分类(FGCls)和图像字幕(ICap)。
时间注意力(Temporal Attention)
时间注意力可以被看作是一种动态的时间选择机制,决定了何时进行注意,因此通常用于视频处理。
分支注意力(Branch Attention)
分支注意可以被看作是一种动态的分支选择机制,通过多分支结构决定去注意什么。
通道空间注意力(Channel & Spatial Attention)
通道和空间结合的注意力机制可以自适应地选择重要的对象和区域,由残差注意力(Residual Attention)网络开创了这一内容。
在残差注意力之后,为了有效利用全局信息,后来的工作又相继引入全局平均池化(Global Average Pooling),引入自注意力机制等内容。
时空注意力(Spatial & Temporal Attention)
时空注意力机制可以自适应地选择重要区域和关键帧。
最后,作者也提出了注意力机制在未来的一些研究方向:
探索注意力机制的必要和充分条件
是否可以有一个通用的注意块,可以根据具体的任务在各类注意力机制之间进行选择
开发可定性和可解释的注意力模型
注意力机制可以产生稀疏的激活,这促使我们去探索哪种架构可以更好地模拟人类的视觉系统
进一步探索基于注意力的预训练模型
为注意力模型研究新的优化方法
找到简单、高效、有效的基于注意力的模型,使其可以广泛部署
关于作者
这篇论文来自清华大学计算机系胡事民团队。
胡事民为清华大学计算机系教授,教育部长江学者特聘教授,曾经和现任 IEEE、Elsevier、Springer 等多个期刊的主编、副主编和编委。
同时,他也是清华"计图"框架团队的负责人,这是首个由中国高校开源的深度学习框架。
文章一作为胡事民教授的博士生国孟昊,现就读于清华大学计算机系,也是清华计图团队的一员。
2022-05-08 04:53:34相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24