导入TensorRT 3推论软件约可让资料中心厂商节省数百万美元的购置成本,以及能源消耗成本,而开发者也能在短短一天内训练具人工智能演算能力的类神经网络架构,开发出运行速度比其训练框架高出3到5倍的推论解决方案。
除在中国地区举办的GTC大会中说明未来电脑运算电路设计将更为复杂,并且将导入大量深度学习应用模式之外,NVIDIA更宣布针对旗下Tesla加速器所设计的新版TensorRT 3推论软件,将可应用在影像识别、语音辨识、自然语言处理、图像搜寻,以及个人化需求资讯建议等应用,并且强调采Tesla加速器的整体建置成本将比全数以处理器运算的1/10左右,但整体推论成效却足足达40倍以上。
此次推出的TensorRT 3推论软件主要针对布署至线上的人工智能应用产品所设计,借此让类神经网络运算能更快进行最佳化,并且完成验证后进行数据推论,相比其他学习框架将能提升3-5倍左右的深度学习推论,并且对应大型数据中心、车用平台使用,其中分别提供高精度的INT8、FP16浮点运算能力。
根据NVIDIA说明,借由导入TensorRT 3推论软件约可让资料中心厂商节省数百万美元的购置成本,以及能源消耗成本,而开发者也能在短短一天内训练具人工智能演算能力的类神经网络架构,开发出运行速度比其训练框架高出3到5倍的推论解决方案。
同时,NVIDIA也宣布推出可提供低延迟大规模影像即时分析功能的Deep Stream 9软件开发工具,以及新一代加速运算软件平台CUDA 9,其中前者具备INT8推演精度与结合显卡加速转码效率特性,配合Tesla P4加速之下约可对应30路的HD画质串流影片内容分析,而后者则可对应Volta架构等级显卡,并且可让函式库、执行绪管理导入全新编程模型,并且也让除错、分析工具提升5倍运作效能,并且让超级电脑及深度学习应用效果提升。






























