机器之心报道
参与：李亚洲、李泽南、思
英伟达的深度学习推理引擎TensorRT是连线神经网络框架与GPU之间的桥梁，它支援所有种类的神经网络框架，近期也实现了容器化，目前的TensorRT是5.1版。6月17日，英伟达宣布了TensorRT的开源。
专案连结：https://github.com/NVIDIA/TensorRT
本次开源的内容是英伟达 TensorRT 的一部分，其中包括 TensorRT 的外挂与一些解析器（Caffe 和 ONNX），以及演示 TensorRT 平台的使用和功能的示例应用程序。相信未来更多的内容也会持续开源。
TensorRT 是一个高效能深度学习推理平台，能够为在英伟达 GPU 上执行的语音、视讯等 APP 提供更低地延迟、更高的吞吐量。TensorRT 包含输入模型的解析器、支援全新 ops 的外挂以及在利用优化进行推理之前的层。
今日，英伟达宣布开源 TensorRT 中的解析器和外挂部分，以便于深度学习社群能够做自定义、扩充套件元件，从而更好的利用 TensorRT 进行 app 优化。
TensorRT 的 GitHub 专案目前已经开放了，其包括贡献指南，它会告诉我们如何参与这一优秀工具的完善。英伟达表示他们将在新版本释出时，合并且释出最新的程式码。
例如你可以贡献：
针对 ONNX 格式和 Caffe 扩充套件解析器，用全新 ops 把模型输入到 TensorRT插件让你能够在 TensorRT 中执行自定义 ops。使用开源的外挂作为参考，或者建立全新的外挂从而支援新的层（layers）示例只是提供了一个起点，使用者也可以贡献全新工作流和管道的示例。英伟达的目标在于为社群提供更多的特性，并同时更方便地利于开发者对社群做出贡献。英伟达开发者部落格介绍了如何开始使用 TensorRT，读者们也能从 TensorRT 的产品页面或这次新构建的 GitHub 专案获取它。
官方教程：如何使用 TensorRT 加速深度学习推断
地址：https://devblogs.nvidia.com/speed-up-inference-tensorrt/
最后，GitHub 专案中对于如何安装 TensorRT 开源软件及构建环境都有非常详细的描述，感兴趣的读者快来试试吧。
参考内容：
https://news.developer.nvidia.com/nvidia-open-sources-parsers-and-plugins-in-tensorrt/
https://github.com/NVIDIA/TensorRT
