APP下载

Google Pixel 相机技术解密 HDR+、人像、高解析变焦、夜视模式如何设计?

消息来源:baojiabao.com 作者: 发布时间:2024-04-18

报价宝综合消息Google Pixel 相机技术解密 HDR+、人像、高解析变焦、夜视模式如何设计?

HDR+ 解密:利用多张低曝光照片合成

Pixel 手机上的 HDR+ 是许多人爱用的功能,在高反差的环境下(例如逆光)HDR+ 比起一般 HDR 照片可以有更好的亮暗部平衡,画面细节和画质看起来也更出色。

一般 HDR 的典型做法是拍摄不同曝光时间的照片,把曝光时间短(通常是看起来比较暗的照片)的影像的亮部细节和曝光时间长(通常是看起来比较亮的照片)的影像的暗部细节结合,呈现出最终影像,这样的做法虽然可行,不过当相机晃动(例如手持的情况下)或物件移动时,每个影像的曝光程度不同、噪声也不同,因此 Google 不采用这样的方式来做出 HDR 效果,取而代之的,就是 HDR+。

Google Pixel 手机用的 HDR+ 做法是,在相同的曝光下连拍多张影像,且这些影像会避免亮部过度曝光(也就是会拍摄比较暗的照片),接着再合成这些低亮度的照片变成最终影像。

在处理多张叠图时,由于是在相同曝光程度下连拍的影像,因此影像相似度较高,更容易校准,手机会计算信号噪声比(Signal-to-noise ratio)和连拍帧数,并减少阴暗处的噪声,接着再采用色调映射(Tonemap)增强画面上的阴影,降低亮部,过程中可能会牺牲掉整体的色调和对比度,不过局部的对比表现会比较好,最终就呈现出 Google 手机拍摄出来的 HDR+ 样貌。

肖像模式解密:机器学习辨识人物、双像素预估深度图

肖像模式(或称人像模式、景深模式)是目前大多数智能手机都具备的拍摄功能,大部分的人像模式是采用合成浅景深的方式来达到背景模糊的效果,做法是利用双镜头相机在相近的焦点像拍摄两个影下,接着再利用立体匹配算法来计算出影像的深度图,有了影像深度资讯之后,选择其中一个平面保持清晰锐利,其他地方处理成模糊的样子,呈现出背景模糊的景深照片。

不过 Pixel 手机只配置了单镜头,该怎么达到景深效果呢?

在 Google Pixel 2 上的做法是这样的,先利用 Google 机器学习技术辨识出画面中的人物之后,再利用卷积神经网络,精确分割人物的边缘;背景的部分则是利用主镜头的双像素特性来分辨背景深度,接着再根据人物和背景的距离按照比例模糊化,呈现出类似专业相机拍出来的景深效果。

虽说 Google 可以模拟出类似单反相机的景深效果,不过实际上还是和单反相机的景深呈现不太一样,原因在于,专业相机是利用光学成像自然的呈现焦点之外的景物,景物会随着焦点距离的长短而呈现不同的模糊程度,不过 Pixel 手机为了让一般人都能拍出景深照片,因此特别扩展焦点距离,让使用者更容易简单的成功拍出景深照片。

来到 Google Pixel 3 之后,Google 进一步运用特殊的相机拍摄上万张照片,透过机器学习中的 Ground Truth 来训练双像素更好产生深度图,因此 Pixel 3 上的肖像模式表现比上一代又更进步些。 

高解析变焦:单镜头也能拍出长焦照片

不只可以利用单镜头就拍出景深照片,Pixel 3 也加入高解析变焦功能,透过多张影像叠合,让单镜头缩放后拍出来的照片清晰度和搭载 2x 光学变焦镜头的智能手机一样清晰。

做法是这样的,切换到高解析变焦模式后,手机会连续拍摄多张照片,透过微小的手震以及连续拍摄让手机可以得到更多颜色资讯,进而重建出更多色彩讯息。

那如果手机固定在脚架上,不会产生手震时此功能该如何运作呢?很简单,只要开启 OIS 制造镜头“摇晃”效果就可以模拟手震来补齐颜色资讯,由于 OIS 摇晃幅度很小,因此也不会干扰正常照片。 

夜视模式:连续拍摄多张照片合成

Google Pixel 最强大的拍摄功能非夜视模式莫属,几乎可以将夜晚拍成白天一般明亮,到底是怎么做到的呢?

简单来说,按一下快门之后,手机出现倒数环,在倒数时间内高速连拍多张照片(最多 15 张),接着再透过算法调整成像清晰度、白平衡,让影像呈现出最终清晰的样子。

要怎么决定夜视模式要拍摄几秒才能得到清晰的照片呢?手机的判断方式是这样的,当手机手震程度越高,或是拍摄物体在移动的话,手机就会缩短拍摄时间,不过这情况下画质会比较不清晰,不过在拍摄静止物体时,曝光时间就会拉长,照片清晰度也会随之提升。若使用 Pixel 3 拍摄的话,会结合高解析变焦功能来达到更清晰的夜景照,如果是使用 Pixel 1、Pixel 2、Pixel 3a 拍照的话,则是会结合 HDR+ 功能来拍出清楚的夜景照。

在夜晚拍摄遇到最大的困难就是,要如何还原物体真实的色彩,Google 的做法是“参考古典画的特征”。

Google 发现古典画作时常利用黑色环绕场景,并会将阴影投射成黑色,加上高对比度的特性,呈现出在暗处却很明亮的感觉。

透过同样的概念,Google 会以算法进行色调映射(Tonemap),让夜景照片还原出真实色彩。

 

 

2019-05-24 08:56:00

相关文章