NVIDIA 在稍早的中国 GTC大会宣布 TensorRT 3推论软件，能够应用在包括影像与语音辨识、自然语言处理、图像搜寻与个人化建议等各类 AI应用领域，并且标榜 TensorRT搭配 NVIDIA Tesla加速器仅需 CPU 解决方案 1/10 成本，却能在相同的应用中发挥 40 倍推论效能。
TensorRT 3 主要针对江 AI 部属到线上产品，为具备最佳化高效能编程器与执行引擎，能够针对类神经网络进行快速最佳化与验证后用于于推论，能够将训练完的类神经网络导入超大型资料中心以及车用 GPU 平台； TensorRT 具备高精度 INT8 、 FP16 浮点运算能力，相较其他训练框架能具备 3 到 5 倍的推论解决方案。
在宣布 TensorRT 3 同时， NVIDIA也一并宣布 Deep Stream 9 SDK与 CUDA 9 两项软件； Deep Stream 9 可提供滴延迟的大规模影像即时分析功能，可作为整合先进影片推论功能之用，具备 INT8 精度与 GPU 加速转码，可借由 Tesla P4 GPU 进行达 30 路 HD 分辨率串流影片内容；至于 CUDA 9为 NVIDIA新一代加速运算软件平台，能够借由支援 Volta 架构 GPU ，使函式库、针对执行绪管理的全新编程模型、更新版除厝与分析工具提升 5 倍性能，使 HPC 与深度学习效率更强大。
回应
0
