Google应用Mesh-TensorFlow框架，让CNN也能处理超高分辨率图像

为了要处理超高分辨率医疗图像资料，Google开发了一种空间资料分区（Spatial Partition）技术，在不牺牲图像分辨率的条件下，分析超高分辨率图像。Google使用Mesh-TensorFlow框架，大幅度推进极大量资料与模型平行化的处理能力。

Google提到，虽然大型卷积神经网络（CNN）模型现在可以在数分钟内，使用数百万个图像资料进行训练，但是要在卷积神经网络上，处理3D断层扫描这类超高分辨率图像，仍然充满困难。使用现有技术，内存需要托管至少32GB的中介资料，但是单个GPU或是TPU通常只有12到32GB的内存，而典型的处理方式，是分开处理图像的补丁，不过这种方式却会因为部分资讯缺失，使得效能不佳且实作复杂。

Google与Mayo Clinic合作发展的最新技术，能够突破这些限制，研究人员实作了Halo Exchange算法来跨空间分区处理卷积运算，以保留相邻分区的关系。Google以Mesh-TensorFlow作为基础，实作了高效能资料和模型平行运算。Mesh-TensorFlow是一个专门用于分散式深度学习的语言，可以根据用户定义的图像布局（Layout），分割张量到装置网状网络中。

Google举例，当用户以256个处理器建立16乘16的计算网状网络，每个处理器内建两个核心，使用者可以定义布局，将图像对应到计算网状网络（下图），图像空间维度X对应到处理器列（Row）上，而将图像的空间维度Y对应至处理器行（Column），批次处理的维度也就是要同时处理的图像分割（Segment）数，则对应到核心上。不过，Google表示，由于分区和训练批次的分布，是在张量层级实作，因此实际上用户不需要担心这些实作细节。

在图像执行卷积运算，通常会使用超出影格边缘的过滤器，虽然在只处理单个图像的时候，有需多方法可以解决这个问题，但是标准方法并没有考虑，超出影格边缘的分割图像资讯，仍然是有用的资讯，Google提到，为了获得准确的结果，对经空间分区且于处理器间重新分散的图像，进行卷积运算，必须考虑每个图像分割的邻居。

Google的解决方案是实作称为Halo Exchange的算法，来处理图像分割邻居间的资料交换；在每次卷积运算之前，每个空间分区都会与邻居交换边距，以便有效地在边缘扩展图像分割。接下来，卷积运算会局部地应用到每个装置上，确保整个图像的卷积网络结果，无论有没有空间分区都是相同的。

借由这个技术，研究人员现在能以256向的模型平行化（Model Parallelism），使用每个维度超过512像素的3D图像，来训练3D U-Net，研究人员也已将这个框架用在肝肿瘤断层扫描上，证明其可行性。同时Google也释出基于Mesh-TensorFlow的框架，供研究社群使用。