TensorFlow释出最新1.7版！除了整合Nvidia推理优化引擎TensorRT，还新增追踪ML建模的除错仪表板

今年1月，Google才刚释出TensorFlow 1.5版，最近Google又趁TensorFlow Summit开发大会之际，同步发表了TensorFlow 1.7新版，不仅开始整合Nvidia的GPU机器学习优化工具TensorRT，可大幅提高用GPU执行TensorFlow模型的速度，还增添了除错仪表板（Debugger Dashboard），让开发者更容易追踪机器学习模型执行的过程，甚至可以用视觉图表，来呈现出张量数值的变化，或是暂停在特定节点或步骤以便除错。

Google TensorFlow软件工程部总监Rajat Monga也在大会上，揭露了TensorFlow专案最新的发展情况。这个专案在2016年1月1日发布到GitHub后，累计至今年1月1日、已经得到超过80,000个GitHub星星（等于获得8万名开发者按赞），下载次数更超过1,100万次。而从去年开始，Google团队转而开始聚焦于，让TensorFlow更容易上手，也推出高阶API，如tf.data、tf.keras等，今年一月释出的1.5版则增加了命令式执行（Imperative Programming）模式Eager execution，不用等待额外的图建构（Graph-building）步骤，一执行就能得到结果。

而这次1.7版最大特色则是支援TensorRT。TensorRT是Nvidia在2年前发表的一款优化深度学习推理计算的Runtime软件工具，可以加速深度学习模型在GPU上执行的速度，简单来说就是一个用来加速深度学习推理计算的引擎。Google表示，TensorRT可以大幅优化TensorFlow的FP16浮点计算和INT8整数计算速度，也可自动选择特定平台的核心，来以提高资料吞吐量，还能大幅降低GPU推理的延迟时间。

1.7支援的是刚释出的TensorRT 4，可用于超大规模的资料中心、嵌入式系统或自驾车的GPU平台，用来快速优化、验证和部署训练过的神经网络系统。1.7版整合TensorRT 4后，可以简化在TensorFlow中使用 TensorRT的步骤，也更容易使用。

根据Google官网提供的测试数据，同样使用Nvidia V100的GPU（Volta Tensor）来执行ResNet-50图形辨识模型，结合了TensorRT优化后，每秒可以辨识2,657张图片，比只靠V100的FP32单精度计算每秒325张图片的辨识速度，快8倍。若与传统的CPU计算相比，使用TensorRT优化后的TensorFlow处理效率，更是快了190倍（如下图）。

此外，TensorFlow 1.7版还增加了一个视觉化的除错仪表板功能，使用者可以暂停执行特定节点或特定步骤的工作来观察模型的状态，也可以视觉化方式显示某段时间计算得到的张量数值，也可将张量连结到其所对应的特定几行Python程式码，以便检视这个张量的快速相关程式码内容。

不过，除错仪表板目前仍只是Alpha版本，仍不稳定，也还在开发更多功能。文⊙王若朴