深度神经网络可以解决不少大范围具有挑战的任务,但是深度神经网络由许多独立的神经元组成,因此计算的过程相当复杂,也常常被称为黑盒子,DeepMind近日发表一篇论文,透过神经元的删除法(Neuron deletion),了解个别神经元对神经网络的重要性,试图了解深度学习的运作过程。
DeepMind认为,了解深度学习网络如何运作是很重要的,若能解释神经网络如何制定决策将有助于日后建立更精准的模型,这就像是,在不了解每个机械零件如何运作,就要打造出一个时钟是非常困难的。其中一个可以解开深度学习黑盒子的方法是,针对较容易解释的神经元,来理解每个独立的神经元在神经网络终所扮演的角色。
DeepMind的神经元删除法是受到存在数十年的神经学研究启发,这项研究主要是借由删除一小部分的神经元,来探讨一小群神经元对整个神经网络的重要性,研究了较容易解释的神经元是否对神经网络的计算较为重要,DeepMind的研究团队利用删除部分的神经元来观察神经网络的表现,而这项实验发现了两个出乎意料的结果。
第一,过去许多研究聚焦于理解较易解释的神经元,这类的神经元称为选择型神经元,像是分类猫的神经元,或是在深度神经网络的隐藏层中,只对猫的图片有反应 (Active)的神经元,但是,DeepMind的研究团队发现,这些神经元都没有不容易解释的神经元来得重要。
DeepMind表示,虽然分类猫的神经元比较容易理解,但是它并不是非常重要,在神经学和深度神经网络的研究中,都已经分析了只对单一汇入的图像类别(例如:狗)反应的神经元。
也因此,像是猫神经元、情感神经元都被视为较为重要的神经元,相较于这类的神经元,对于汇入图像随机产生反应,由于较难理解,一直无法证实这些难以理解的神经元重要性。
为了评估神经元对深度神经网络的重要性,DeepMind测量了删除个别神经元后,神经网络对于分类图像表现的变化,若该神经元对于整个神经网络非常重要,则删除后会导致神经网络的表现变差,相同地,如果该神经元对神经网络的重要性不高,则不会对神经网络的表现造成太大的影响,这项方法神经学中较为常见,但是不容易实践于人类大脑的研究,而这个方法用于研究人工的神经网络则是可行的。
DeepMind透过概念图(如下图)展示删除神经元来评估神经元重要性的方法,颜色越深的神经元代表该神经元越活跃,经由删除的方法,可以了解有些神经元的确对整个神经网络较为重要。特别的是,DeepMind发现对特定图像有明确反应的神经元反而较不重要,而那些不容易解释的神经元隐藏了更多有用的资讯,研究人员若要了解深度神经网络,应该要研究这些不易解释的神经元。
第二个令人惊讶的结果则是能够正确分类未曾出现在训练集图片的神经元,比只能分类训练过图片的神经元,在删除神经元实验中更能够适应,也就是说,这些能够正确分类未曾出现在训练集图片的神经元对单向的依赖性较小。DeepMind试图打造出聪明的神经网络模型,而聪明的模型则是要在未经训练的情况下,也可以正确地辨识,若是一个分类模型只能辨识出已经训练过的狗图片,却无法辨识出不同图片但同种类的狗,这样的模型就无法发挥效益。
不过,要分辨出一个模型,是否学会像人类一样透过辨特征来分类,还是只是记下每一个图片来分类图像,并不是这么简单。
透过删除越来越多的部分神经元,可以发现透过特征来辨识图像的神经元相较于记忆型的神经元还要坚固,也就是说,有学习能力的神经元在经历删除法的过程中,分类表现比较不容易受到影响,这样的实验方式可以判断神经网络是否透过“作弊”的方式在分类图像,理解神经网络中两种类型的神经元,可以让研究人员建立出更不依赖记忆的神经网络。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- YouTube更新违反规定政策,提升惩处透明度和一致性2023-12-31 14:00:52
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万92023-12-28 19:41:57
- 吉利飙逾6% 电动车品牌极氪新车款极氪007昨上市 预售价格22.99万元2023-12-28 19:30:28
- 日本丰田汽车厂11月全球产量创新高2023-12-28 19:26:02
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09