为何夜拍可以这么清楚？Google公开如何用机器学习克服低光照环境的关键

Google近日在Pixel Camera App新增的夜拍Night Sight功能，就能让使用者在低光照的场景，拍出清晰的照片，这个功能令人惊艳，为何不需要三脚架和闪光灯的辅助，可以拍出像是白天拍摄的品质和清晰度。Google研发团队于14日在自家部落格中，揭露了突破夜拍挑战的背后技术，讲解如何解决夜拍的常见挑战，以及用机器学习训练自动白平衡算法，在低光照环境拍出高清照片。

低光照场景拍摄的常见挑战

首先，低光照的场景经过镜头拍摄后的影像会产生两种噪声，包含Shot noise和Read noise，第一种噪声主要来自于光子的变化，这是每个相机都会遇到的问题，即便是再好的电子感测器都还是有噪声的问题，而第二种噪声则是因为将光子转换为电子讯号的过程产生的随机误差，将曝光时间拉长，可以拍出噪声较少的照片，但是这样的做法并不实际。

为此，2014年Google在所有系列的Pixel手机，都导入了高动态范围成像（HDR+）技术来改善这个情况，透过一次拍摄多张亮度不同的照片，再用软件将这些照片合并成一张效果较好的照片，这个方法减少了Shot noise和Read noise照片的影响。

不过，高动态范围成像技术还是有一定的限制，顶多只能改善亮度3 lux的低光照场景拍摄，Google的夜拍功能是希望能够提升从0.3 lux到3 lux的照片拍摄清晰度，而增加曝光时间的方法会有两个问题，第一，Pixel手机预设的拍照模式为Zero-shutter-lag协议，限制了曝光时间，第二个问题则是动作模糊（Motion blur），也就是场景中若有移动的物体，便会产生模糊的影像，光学图像稳定（Optical image stabilization）最多只能处理8分之一秒的曝光时间，更长的曝光时间光学图像稳定技术也无法解决。为了解决这个问题，Pixel 3的预设拍照模式使动作测光（Motion metering）的模式，透过光流来测量最近的场景动作，并选择能使模糊最小化的曝光时间。

用机器学习训练自动白平衡算法校正色温

虽然解决了上述的噪声问题，在开发夜拍模式时，Google团队还遇到了其他挑战，首先是自动白平衡（Auto white balancing，AWB）的问题，人眼的视觉感知擅长色彩恒定，即便是在彩色的照明下，也能正确地辨识色彩，但是相机在不同光线下，会拍摄出不同色彩，照片就像是被着色一样，为了校正这个问题，相机会调整图像的颜色，还校正照片的主色，也就是色温，这样的过程称为自动白平衡，不过，AWB只有在一般光照的场景下才比较有效，但是在低光照的场景就无法确认光线的颜色。

因此，Google团队开发了一套基于学习的AWB算法，经过训练后，用来辨识效果好和不好的白平衡照片，当输入一张效果不佳的白平衡照片后，算法会建议如何转换颜色，让照片看起来较温和，训练该AWB算法需要用Pixel手机拍摄的各种不同场景作为训练资料，并在色彩校准显示器用手动校正该照片的白平衡。

光线亮度低于0.3 lux时，自动对焦会失效，Google还在努力改善夜拍模式在低光照条件下的自动对焦能力，Google的目标是希望能够在人眼看不见的物体的昏暗环境中，拍摄中黑暗中的物体，就像是拥有超能力一样，Google研究团队表示，黑暗中还是存在色彩，只是因为人在太黑暗的环境中，视网膜的视锥细胞会停止运作，因此人类看不见色彩，希望能持续改善夜拍功能，更进一步在更低光照的环境下，拍摄出高品质的照片。