因应机器学习生态系变化，TensorFlow加入更快更具扩展性的新Runtime

Google推出了一个用来取代原有TensorFlow Runtime的TFRT，强调能够大幅提升推理速度，并且简化TensorFlow的堆叠。虽然TFRT还在早期发展阶段，但是目前已经整合在TensorFlow专案中，开发者可以选择性启用，而未来将会成为预设Runtime。

之所以TensorFlow需要有新Runtime，是因为官方要因应机器学习生态系的变化，官方提到，当初TensorFlow的出现，为的是要简化在不同装置上，建置和部署机器学习模型的过程，但是随着技术的发展，机器学习生态系已经与五年前创建TensorFlow时有很大的不同。

这些变化包括研究人员发明了需要更多计算量的算法，而开发人员也在边缘装置以及服务器上，应用新技术来强化自家应用，官方提到，由于摩尔定律终止，但是运算需求却增加，使得运算成本增加，这个压力使得各家厂商投资，发展专用于机器学习的芯片。

虽然官方从TensorFlow 2.x开始进行调整，因应这些趋势变化，不过，当前TensorFlow堆叠还是专为图（Graph）执行进行最佳化，而这会导致分派单个操作产生不小的额外成本，因此官方表示，高效能的低阶Runtime会是能够满足当前需求，但又能实现未来创新的角色。

TFRT（TensorFlow RunTime）的出现，便是要为各种特定领域的硬件，提供统一且可扩展的基础设施层，能有效利用多执行绪主机的CPU，执行完全异步程式开发模型，并把重点放在改善低阶执行效率上，TFRT会负责在目标硬件上高效能的执行低阶装置原语。

（下图）灰色区块都是TFRT的一部分，在Eager执行时，TensorFlow API会直接呼叫新的Runtime，而在Graph执行时，程式的运算图将会经过多层中间语言（Multi-Level Intermediate Representation，MLIR）最佳化后分派给TFRT，在两个执行路径，新的RunTime都会呼叫底层硬件原语，完成模型执行。

官方提到，旧的TensorFlow Runtime当初是为图执行和训练工作目的建置，而TFRT则是为了Eager执行和预测而生，并且具备可扩展性和模组化。两个Runtime的GPU预测速度相比，TFRT平均预测时间比旧Runtime还要快28％，而这还仅是TFRT初期阶段的成果。

TFRT可为各领域的使用者带来好处，像是研究人员可以利用TFRT更快速地迭代研究，研究人员可以改进机器学习应用的效能，而硬件制造商也能够以模组的形式，将TensorFlow整合进边缘装置以及资料中心。