APP下载

iPhone SE 用单镜头也能拍人像虚化照片 它是怎么做到iPhone 8做不到的事情?

消息来源:baojiabao.com 作者: 发布时间:2024-05-20

报价宝综合消息iPhone SE 用单镜头也能拍人像虚化照片 它是怎么做到iPhone 8做不到的事情?

从 iFixit 的拆解报告可以得知,新款 iPhone SE 中的某些零组件和 iPhone 8 完全相同,甚至达到了可以互换使用的程度——其中就包括了那颗 1200 万像素的广角镜头。

“旧瓶装新酒”的做法对 iPhone SE 而言并不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外观和大部分硬件,只是在芯片上保持和 6s 一致,进而让使用者能够以更低的价格获得旗舰机的性能体验。

理论上,照搬相同的镜头硬件,两者的拍照特性应该也不会有太大差异。比如说 iPhone 8 就不支援拍主体清晰、背景模糊的小景深照片,也就是我们常说的“人像模式”。

但查阅苹果的支援页面时你会发现,iPhone 8 所不支援的人像模式,却被新款 iPhone SE 支援了——哪怕两者都只有一颗后置镜头,且规格完全一样。

正常情况下,手机拍“人像模式”这样的虚化照片都得靠双镜头来完成——好比是人类的双眼,两个位置不同的镜头会获取两张不同角度的画面,然后结合视角差估算出景深,进而实现背景虚化,保持主体清晰。

如今列表上的 Plus 系列,或是近几年的 X、 XS 和 11 等,基本都是靠多镜头系统来完成人像虚化拍摄。

那么 iPhone 的前置单镜头又是怎么解决的?核心在于 Face ID 系统中的红外线点阵投影器,它也可以获取足够精准的深度数据,相当于是一颗“辅助镜头”。

这么来看,iPhone SE 能拍人像模式照片就很特殊了:一来,它没有多镜头,二来它也没有 Face ID,照理来说,应该在硬件上并不支援人像模式才对。

因此,答案就很明显了,苹果在软件上应该是又有了新的突破。

 

iPhone SE如何用单镜头做出人像虚化效果? 

最近,第三方相机APP Halide 的开发者 Ben Sandofsky 就透露了其中的技术原理,解释为什么新 iPhone SE 采用了和 iPhone 8 一样的单镜头规格,但却可以做到后者所无法实现的人像拍照模式。

他们表示,新 iPhone SE 很可能是“第一款只使用单一的 2D 图像,就可以产生人像虚化效果的 iPhone”。

你可能会反驳,iPhone XR 不也是单镜头拍虚化的吗,难道 SE 不是照搬它的方案?

然而拆解的情况证明, iPhone SE 和 iPhone XR 的镜头并不一致,这也导致两者在技术上存在差异。

最重要的一点,iPhone XR 的镜头可以使用双像素自动对焦(DPAF)技术来获得一定的深度数据,而不是完全只靠软件来模拟。

简单来说,DPAF 技术相当于将镜头感应器上的像素点,分割成两个更小的并排像素,去捕捉两张角度不同的照片,就像是我们的左右双眼一样。

虽然这产生的视角差不如原生双镜头那么明显,但仍有利于算法去构建深度讯息。

此前,Google 在 Pixel 2、3 上也运用了这样的技术来实现单镜头虚化。而在 Pixel 4 上,由于该机换成了多镜头规格,视差探测明显比单镜头更精准。

至于新 iPhone SE,由于它的感应器过于老旧,Halide 称它无法依靠感应器来获取视差图,基本只能靠 A13 Bionic 芯片所提供的机器学习算法,去模拟和产生深度数据图。

一句话解释就是,iPhone SE 的人像虚化拍摄,真的就是完全在靠软件和算法实现的。

Halide 用 iPhone XR 和新 iPhone SE 分别拍摄了一张小狗的照片(并非实拍,只是给“一张照片”拍照),然后对比两张图的深度数据。

他们发现,iPhone XR 仅仅是做了简单的图像分割,将主体抠了出来,但并没有正确辨识出小狗的耳朵。

但在新 iPhone SE 上,配合 A13 芯片所提供的全新算法,我们则得到了一张完全不同于 XR 的深度图。它不仅正确辨识出了小狗的耳朵和整体轮廓,还针对不同远近的背景做了分层处理。

这种深度图并不是 100% 准确的,Halide 表示,新 iPhone SE 在拍摄非人脸题材的虚化照片时,抠图和虚化的精准度明显没有拍人像时来得精准。

尤其是在一些主体和背景图十分模糊的情况下,此时多镜头的优势会更明显些。

从这张图可以看到,配备了多镜头系统的 iPhone 11 Pro,不仅能将圆木上小植物轮廓完整地勾出来,而且还能对辨识出背景的远近距离,并做出分层处理。

而在新 iPhone SE 上,尽管同样有分层处理的结果,但被摄主体和背景已经完全融在了一起,后期虚化时自然会比 iPhone 11 Pro 差不少。

这也是为什么,现在新 iPhone SE 使用 iOS 自带相机应用时,只有在检测到人脸的情况下,才能启用“人像模式”拍虚化照片,其余情况则会出现错误提示,这点和之前的 iPhone XR 一样。

原因仍然和苹果自己的算法有关。Halide 提及了一个名为“Portrait Effects Matte”(人像效果遮罩)的技术,主要用于在人像模式拍照中寻找出精确的人物轮廓,包括边缘的发丝、眼镜框等细节,以便对主体和背景进行分割。

但目前来看,这套基于机器学习的分割技术更多是为“拍人”准备的,它的确可以弥补 iPhone XR 、iPhone SE 这类单镜头手机在视差数据上的不足,但如果拍摄对象从人物换成其它物体,算法也会出现一定概率的判定错误。

至于像 iPhone 11 Pro 这类多镜头手机,就算抠图算法有局限性,但还是可以透过镜头硬件直接获得视差数据,所以它们在使用自带相机时,也能将人像模式用在非人脸情境中,效果也不会太差。

当然,官方不支援的东西,第三方开发者还是可以拿来加以改造。如今 Halide 应用就支援 iPhone XR、SE 去拍摄小动物或其它物体的虚化照片,背后也是利用了苹果的人像效果遮罩技术来构建深度图,同时配合自己的后端优化。

总得来看,本次新 iPhone SE 所实现的人像虚化拍照,算是单镜头手机靠软件优化所能做到的极限了。严格意义上,这其实也得归功于那颗 A13 芯片,如果不是它带来了最新的机器学习算法,单靠一颗过时的镜头,SE 的拍摄体验显然得打个对折。

这也多少证明,智能手机发展多镜头系统仍然是有意义的。我们可以用超广角来拓宽取景视野,可以靠潜望式长焦获得无损变焦照片,更别说 ToF、激光雷达这类“特殊镜头”对 AR 扩增实境的探测帮助,这些都不是单纯靠一个 OTA 升级,或是算法就能实现的特性。

当然,一味地吹嘘、比拼镜头数量同样令人厌烦,如果说硬件只是决定了成像的下限,那么一套优秀的算法,则可以显著拉升成像的上限,甚至是重新压榨出老硬件的价值和潜力。

不知道再等个四年,下一代 iPhone SE 面世时,单镜头还能否在手机行业留有一席之地?

题图来源:Apple

  • 本文授权转载自:ifanr(爱范儿)
2020-05-08 14:58:00
文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 报价宝 电视机价格 小米手机价格 红米手机价格 耳机价格

相关文章

最新资讯


手机


数码


科技