Cerebras Systems推出深度学习专用,具1.2兆个晶体管的芯片

电脑系统公司Cerebras Systems发表了一款有史以来最大的半导体运算芯片Cerebras Wafer Scale Engine(WSE),其尺寸超过一个iPad Air大小,上面拥有超过1.2兆个晶体管,以及40万个人工智能最佳化的核心,要为深度学习应用提供更强大的运算能力。
Cerebras Systems是一间由电脑架构师、电脑科学家以及深度学习研究人员组成的新公司,目的是要建立新型态的电脑,以加速深度学习的应用,而芯片WSE则是Cerebras Systems所发展的解决方案,其中一个重要的组成元素。这个巨型芯片的边长接近22公分,面积比目前最大的GPU,还要大上56倍,而上面所拥有的运算资源,包括核心、内存甚至是内存带宽,都比单一GPU芯片多上许多。
在这么大块的芯片上,可以放上40万个为人工智能最佳化的核心,以及提供18GB的芯片上内存,这些内存分散在各核心之间,但都在同一层级的内存阶层架构下运作,核心能以一个时脉周期的速度存取内存。这些人工智能运算核心则使用Swarm Fabric技术,在2D的网状网络上相连,以100Pb的带宽进行讯息交换,其带宽适GPU的一万倍。官方提到,Swarm Fabric是一个突破性的技术,可以为内存间提供超高带宽以及低延迟,但耗能仅为传统GPU技术的一小部分。
WSE的所有核心都可透过软件配置,以支援用户训练模型所需要的特定精确通讯,这些大量的可程式化核心,在单一芯片上提供丛集规模的计算能力,而就设计在核心旁边的内存,可以确保其内存的高使用率,而且芯片上的传输也比芯片间的传输技术,像是InfiniBand还要快非常多。
Cerebras Systems提到,深度学习的发展是当前重要的工作之一,因为能够用于推动各领域的应用,但是其发展不仅受到应用程序与想法上的限制,还受到计算可用性的限制,训练一个新模型可能需要数天到数个月,而这正是人工智能创新的主要障碍。
他们也认为,特殊应用就需要专门的加速器,GPU原本就是为图形处理任务设计的,并不适合用于深度学习,而WSE是专为深度学习设计,能够提供更高数量级的运算能力,把数个月的模型训练时间,缩短到数分钟
