Amazon EKS开始支援采用Inferentia机器学习加速芯片的执行个体

AWS的Kubernetes服务EKS现在开始支援Inf1执行个体，由于Inf1使用专门机器学习的运算芯片，因此可大幅加速机器学习工作负载，Kubernetes用户已经可以在美东北维吉尼亚与美西奥勒冈地区，在EKS上部署Inf1执行个体。

Google等部分公有云业者，开始研发自家处理器和人工智能加速芯片，而AWS也不例外，除了Arm架构的Graviton系列处理器之外，AWS在2019年的re:Invent大会上，还发表了自家设计的机器学习推理专用芯片Inferentia，并推出使用该芯片的执行个体Inf1，AWS提到，Inferentia提供高吞吐量且低延迟的运算效能，可用于加速机器学习推理工作负载。

Inf1执行个体有搭载1、4或16个Inferentia芯片多种规格，1个AWS Inferentia芯片包含4个NeuronCore，每一个NeuronCore都拥有高效能脉动阵列矩阵乘法引擎（Systolic Array Matrix Multiply Engine），该引擎可以大幅提升卷积神经网络和Transformer等典型深度学习算法的计算速度，而且因为NeuronCores搭载大量芯片上快取，因此可以减少外部内存的存取，节省程序的I/O时间。单一Inf1执行个体也支援多模型预测，使用者可以跨多个模型分配AWS Inferentia芯片上的NeuronCore。

不过，要在Inf1执行个体上执行机器学习运算，开发者需要使用AWS Neuron SDK将模型重新编译，进行Neuron最佳化，所有工具都在AWS Deep Learning AMI中提供，使用者也能自行在执行个体中安装。用户可以使用eksctl工具以Inf1执行个体建置EKS丛集，eksctl会自动在丛集中安装Neuron装置扩充套件，该套件会将Neuron装置发派给Kubernetes调度程式，作为工作负载运算资源。