资源|带自注意力机制的生成对抗网络 实现效果怎样?
消息来源:baojiabao.com 作者: 发布时间:2024-05-14
选自GitHub
机器之心编译
参与:
杨洁湫、李亚洲
在前一段时间,Han Zhang 和 Goodfellow 等研究者提出添加了自注意力机制的生成对抗网络,这种网络可使用全局特征线索来生成高分辨率细节。本文介绍了自注意力生成对抗网络的 PyTorch 实现,读者也可以尝试这一新型生成对抗网络。
项目地址:https://github.com/heykeetae/Self-Attention-GAN
这个资源库提供了一个使用 PyTorch 实现的 SAGAN。其中作者准备了 wgan-gp 和 wgan-hinge 损失函数,但注意 wgan-gp 有时与谱归一化(spectral normalization)是不匹配的;因此,作者会移除模型所有的谱归一化来适应 wgan-gp。
在这个实现中,自注意机制会应用到生成器和鉴别器的两个网络层。像素级的自注意力会增加 GPU 资源的调度成本,且每个像素有不同的注意力掩码。Titan X GPU 大概可选择的批量大小为 8,你可能需要减少自注意力模块的数量来减少内存消耗。
目前更新状态:
注意力可视化 (LSUN Church-outdoor)
无监督设置(现未使用标签)
已应用:Spectral Normalization(代码来自 https://github.com/christiancosgrove/pytorch-spectral-normalization-gan)
已实现:自注意力模块(self-attention module)、两时间尺度更新规则(TTUR)、wgan-hinge 损失函数和 wgan-gp 损失函数
结果
下图展示了 LSUN 中的注意力结果 (epoch #8):
SAGAN 在 LSUN church-outdoor 数据集上的逐像素注意力结果。这表示自注意力模块的无监督训练依然有效,即使注意力图本身并不具有可解释性。更好的图片生成结果以后会添加,上面这些是在生成器第层 3 和层 4 中的自注意力的可视化,它们的尺寸依次是 16 x 16 和 32 x 32,每一张都包含 64 张注意力图的可视化。要可视化逐像素注意力机制,我们只能如左右两边的数字显示选择一部分像素。
CelebA 数据集 (epoch on the left, 还在训练中):
LSUN church-outdoor 数据集 (epoch on the left, 还在训练中):
训练环境:
Python 3.5+ (https://www.continuum.io/downloads)
PyTorch 0.3.0 (http://pytorch.org/)
用法
1. 克隆版本库
$ git clone
$
cd
Self-Attention-GAN2. 下载数据集 (CelebA 或 LSUN)
$ bash or $ bash
3. 训练
$ 6 64 or $ 6 64
4. 享受结果吧~
$ cd
or
$
cd
samples/sagan_lsun每 100 次迭代生成一次样本,抽样率可根据参数 --sample_step (ex,—sample_step 100) 控制。
论文:Self-Attention Generative Adversarial Networks
论文地址:https://arxiv.org/abs/1805.08318
在此论文中,我们提出了自注意生成式对抗网络(SAGAN),能够为图像生成任务实现注意力驱动的、长范围的依存关系建模。传统的卷积 GAN 只根据低分辨特征图中的空间局部点生成高分辨率细节(detail)。在 SAGAN 中,可使用所有特征点的线索来生成高分辨率细节,而且鉴别器能检查图片相距较远部分的细微细节特征是否彼此一致。不仅如此,近期研究表明鉴别器调节可影响 GAN 的表现。根据这个观点,我们在 GAN 生成器中加入了谱归一化(spectral normalization),并发现这样可以提高训练动力学。我们所提出的 SAGAN 达到了当前最优水平,在极具挑战性的 ImageNet 数据集中将最好的 inception 分数记录从 36.8 提高到 52.52,并将 Frechet Inception 距离从 27.62 减少到 18.65。注意力层的可视化展现了生成器可利用其附近环境对物体形状做出反应,而不是直接使用固定形状的局部区域。
本文为机器之心编译,
转载请联系本公众号获得授权
。?------------------------------------------------
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
投稿或寻求报道:
content
@jiqizhixin.com广告&商务合作:bd@jiqizhixin.com
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45