Pytorch多GPU的计算和Sync BatchNorm
报价宝综合消息Pytorch多GPU的计算和Sync BatchNorm
最近在看CSAILVision的程式码，里面涉及到了多GPU的处理。考虑到后续自己要做的工作，是时候了解一下这方面的内容了。
pytorch中使用GPU非常方便和简单：
接下来构造一个Dummy DataSet，来跑一下模型：
Github上有大神实现了多GPU之间的BatchNorm，接下来围绕这个repo学习一下。作者很贴心了提供了三种使用方法：
对此我也简单的画了一下示意图：
那么如何在自己的模型中使用Synchronized BatchNorm呢，可以参考如下:
不过作者也说了，这个程式码只是用于研究的原型版本，还存在一些局限性和设计上的问题，但在目前尚未有官方版本的前提下，任然是一个很好的实现，不论是用于学习还是实验。关于cross devices的batch normalization的作用也在一些论文中体现。
