AI计算四年之内 没人玩得起下一个AlphaGo
消息来源:baojiabao.com 作者: 发布时间:2024-03-28
我们知道,过去几年AI试验使用的算力要比之前多得多。不过就在上个月,OpenAI进行的一项调查对这种发展速度有多快做出了一些初步估计。通过对AlphaGo Zero与AlexNet进行比较,他们发现现在最大型的试验是6年前最大型试验规模的300000倍。此间每年的最大型试验规模都呈现出指数性增长,每3.5月就翻番。
按照这种AI计算趋势,试验的增长率之快令人诧异,值得进行一些分析。本文将探讨两个问题。第一个是如果试验规模还是增长得这么快的话,很快就会变得承受不起,所以这种趋势将渐近结束。除非经济被彻底重塑,否则这种趋势顶多只能维持3.5到10年,具体要看开支水平以及计算成本如何变化。第二个问题是如果这种趋势能再维持3.5年,则用于AI试验的计算量就会超过一些有趣的里程碑。尤其是,一次试验所用的计算将超过利用尖峰神经元模拟人脑 18年思考所需的总量。大体而言,我们可以说这种趋势将超过达到成人智力水平所需的水平,如果赋予同等效率算法的话。在(1)、(2)节里,我将相应探讨这些问题,而在(3)节,我会讨论一下这一分析的限制并且权衡这一工作将如何影响AGI的预测。
纵轴:AI训练所需的计算量,单位千亿次浮点运算
要想弄清楚这种AI计算趋势在经济上还能持续多久,我们需要知道三件事情:试验成本的增长率,目前试验的成本,以及未来一次试验可以承受的最大开支。
最大型的试验每3.5个月规模就翻番(每年大概增加一个数量级,也就是10倍。时间测算=LOG(10,2)*3.5/12=0.9689年,约为1年),而每计算单位的成本大概是每4-12年下降一个数量级(长期趋势是每4年成本改进10倍,而近期趋势是每12年成本改进10倍)。所以最大型试验的成本每1.1-1.4年就增加一个数量级。
目前规模最大的试验是AlphaGo Zero,其成本可能是1000万美元。
当然,试验规模能到多大要取决于谁来做。最有钱的玩家大概是美国政府。之前,美国用了GDP的1%来进行曼哈顿项目,而实施阿波罗计划期间往NASA投入了~0.5%的GDP。那我们就假设类似地投入到AI试验的最大开支也能占到GDP的1%,也就是2000亿美元。鉴于一个数量级的增长所需时间为1.1-1.4年,而初步试验规模为1000万美元,那么按照AI计算趋势预测在5-6年时间内我们就将看到成本达2000亿美元的试验。那么鉴于未来(美国)经济状况跟目前类似,届时将是这股AI计算趋势的终结。
我们还可以考虑一下如果政府不参与的话这种趋势能持续多久。鉴于私营企业规模较小,其遭遇经济门槛也会快一点。其中最大的是科技公司:Amazon和Google目前的研发预算大概是每年200亿美元,那么我们可以假设政府以外最大的独立试验是200亿美元。则私营板块大概能跟上AI计算趋势的时间为政府的3/4,也就是约3.5到4.5年。
另一方面,特定硬件的研发也可能令计算成本变低,因此导致趋势维持更久一点。如果一些新硬件让计算便宜1000倍并且突破性价比摩尔定律的话,则这种经济门槛还能维持得久一点,大约还能持续3-4年。
为了让AI计算趋势维持真正长的时间(超过10年),经济产出必须以每年增长一个数量级的速度发展。这的确是非常极端的情况了,但也不是不可能,主要一点是要看某些极其强大的AI技术能不能带来大规模的经济收益。
当然,重要的是要清楚这些数字都是上限,所以并不能排除AI计算趋势更快停止(比方说如果AI研究被证明经济性不如预期的话)的可能性,不管是突然中止还是慢慢停下来。
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45