APP下载

AI计算四年之内 没人玩得起下一个AlphaGo

消息来源:baojiabao.com 作者: 发布时间:2024-03-28

报价宝综合消息AI计算四年之内 没人玩得起下一个AlphaGo

我们知道,过去几年AI试验使用的算力要比之前多得多。不过就在上个月,OpenAI进行的一项调查对这种发展速度有多快做出了一些初步估计。通过对AlphaGo Zero与AlexNet进行比较,他们发现现在最大型的试验是6年前最大型试验规模的300000倍。此间每年的最大型试验规模都呈现出指数性增长,每3.5月就翻番。

按照这种AI计算趋势,试验的增长率之快令人诧异,值得进行一些分析。本文将探讨两个问题。第一个是如果试验规模还是增长得这么快的话,很快就会变得承受不起,所以这种趋势将渐近结束。除非经济被彻底重塑,否则这种趋势顶多只能维持3.5到10年,具体要看开支水平以及计算成本如何变化。第二个问题是如果这种趋势能再维持3.5年,则用于AI试验的计算量就会超过一些有趣的里程碑。尤其是,一次试验所用的计算将超过利用尖峰神经元模拟人脑 18年思考所需的总量。大体而言,我们可以说这种趋势将超过达到成人智力水平所需的水平,如果赋予同等效率算法的话。在(1)、(2)节里,我将相应探讨这些问题,而在(3)节,我会讨论一下这一分析的限制并且权衡这一工作将如何影响AGI的预测。

纵轴:AI训练所需的计算量,单位千亿次浮点运算

要想弄清楚这种AI计算趋势在经济上还能持续多久,我们需要知道三件事情:试验成本的增长率,目前试验的成本,以及未来一次试验可以承受的最大开支。

最大型的试验每3.5个月规模就翻番(每年大概增加一个数量级,也就是10倍。时间测算=LOG(10,2)*3.5/12=0.9689年,约为1年),而每计算单位的成本大概是每4-12年下降一个数量级(长期趋势是每4年成本改进10倍,而近期趋势是每12年成本改进10倍)。所以最大型试验的成本每1.1-1.4年就增加一个数量级。

目前规模最大的试验是AlphaGo Zero,其成本可能是1000万美元。

当然,试验规模能到多大要取决于谁来做。最有钱的玩家大概是美国政府。之前,美国用了GDP的1%来进行曼哈顿项目,而实施阿波罗计划期间往NASA投入了~0.5%的GDP。那我们就假设类似地投入到AI试验的最大开支也能占到GDP的1%,也就是2000亿美元。鉴于一个数量级的增长所需时间为1.1-1.4年,而初步试验规模为1000万美元,那么按照AI计算趋势预测在5-6年时间内我们就将看到成本达2000亿美元的试验。那么鉴于未来(美国)经济状况跟目前类似,届时将是这股AI计算趋势的终结。

我们还可以考虑一下如果政府不参与的话这种趋势能持续多久。鉴于私营企业规模较小,其遭遇经济门槛也会快一点。其中最大的是科技公司:Amazon和Google目前的研发预算大概是每年200亿美元,那么我们可以假设政府以外最大的独立试验是200亿美元。则私营板块大概能跟上AI计算趋势的时间为政府的3/4,也就是约3.5到4.5年。

另一方面,特定硬件的研发也可能令计算成本变低,因此导致趋势维持更久一点。如果一些新硬件让计算便宜1000倍并且突破性价比摩尔定律的话,则这种经济门槛还能维持得久一点,大约还能持续3-4年。

为了让AI计算趋势维持真正长的时间(超过10年),经济产出必须以每年增长一个数量级的速度发展。这的确是非常极端的情况了,但也不是不可能,主要一点是要看某些极其强大的AI技术能不能带来大规模的经济收益。

当然,重要的是要清楚这些数字都是上限,所以并不能排除AI计算趋势更快停止(比方说如果AI研究被证明经济性不如预期的话)的可能性,不管是突然中止还是慢慢停下来。




2018-07-27 11:32:00

相关文章