在过去两年，我们已经见证到在大众市场上的大多数智能手机对双镜头技术之采用，而且几乎是跨所有手机业者；双镜头出现在前置或后置摄像头，有不同的配置以及终极目标。

根据市场研究机构的报告指出，2018年有30%的智能手机将采用双镜头，明年该比例将成长至50%。而虽然智能手机市场花了超过十年时间才添加第二个镜头，看来第三个镜头也马上要登场了──在双镜头方案被采纳的两年之内。

本文将探讨智能手机影像系统添加第三个镜头的一些动机、所带来的挑战，以及一些可能的解决方案。

双镜头发展回顾

智能手机的厚度一直是移动摄影技术的挑战；随着技术演进，摄像头光圈尺寸可以非常迷你，像素(pixel)尺寸也越来越小，此外自动对焦与影像稳定也仍然需要能放进去。而最近，智能手机厂竞相实现不错的低光线拍照性能、高分辨率、低SNR，甚至还能以仅6mm的摄像头高度来变焦。

双镜头技术的诞生，除了为相机模块制造商与智能手机业者带来救赎，同时也带来挑战；它提出的方案是：如果单支摄像头已经充分发挥潜力，为何不合成两支摄像头的输出，好让它们能各自贡献其特殊优势？

最早搭载双镜头的智能手机是HTC One (M8)，应用于后置摄像头；其唯一目的是提供景深与对焦效果。而双镜头手机发展的第一阶段持续至2016年中，当时有多家智能手机业者都在旗舰机种尝试采用双镜头技术，利用不同的设定，包括仅支持景深、RGB-单色(Mono)，以及广角-超广角(Wide-Wider)等组合。不过并没有出现“杀手级拍照应用程序”，也没有任何一种配置方法胜出。

2016年9月，Apple发表配备后置双摄像头的iPhone 7 Plus，以“广角+望远”(Wide+Tele)的高阶双镜头配置，强调支持两种消费者最想要的功能：光学变焦(optical zoom)与数位散景(digital bokeh；或称“人像模式”)。从那时候起，双镜头智能手机市场地位确立，各家高阶与旗舰机种都采用了与Apple类似的配置，中低阶手机则仍仅支持景深功能。

Corephotonics (以色列新创公司，本文提供者)是在 2014年推出变焦双镜头系统，能在不牺牲摄像头Z轴高度的前提下支持真正的光学变焦 （来源：orephotonics）

然后是三镜头！

虽然双镜头智能手机已经在高阶市场普及，在近期内仍将会有许多新的双镜头拓朴亮相，以强化今日的双镜头方案性能；一个下一代双镜头进化的案例即将发生，即是可折迭摄像头架构的应用，不只能大幅改善变焦倍数以及低光线拍摄性能，也能实现更低的摄像头模块高度以适应更薄的手机机身。OPPO在2017年MWC就曾发表过采用这类技术的初期原型──配备5倍变焦镜头的智能手机摄像头技术。

另一个智能手机摄像头的有趣变化，会是利用三镜头组合；不过说比做容易得多，添加第三个摄像头镜头会带来明显的挑战(以及奖赏)，也为智能手机制造商开启了更广泛的可能性与配置选项。

三镜头智能手机可以有很多不同配置 （来源：Corephotonics）

接下来让我们来看看三镜头相机系统面临的三大挑战：

挑战一：“坪数”与成本

三镜头解决方案不但增加了摄像头系统物料列表(BoM)成本，也会因为其他可能整合到手机内的技术(例如红外线感测、近接感测器、结构光、更大的电池…等等)，而在机体内部空间占据更多“坪数”。这种“惩罚”几乎是不可避免的，但厂商必须要以整体金钱价值来衡量，有部分取决于其目标受众的优先性。

第三支摄像头添加的成本会与其配置直接相关，这点笔者在接下来会进一步解释；其金额估计在10美元至30美元之间。

挑战二：校准

为了要达到在视频/影像预览的无缝用户体验，并避免在影像融合或散景时出现残影或过长的处理时间，必须要在此三镜头成像系统的内部与外部属性上仔细校准，而且要在摄像头的生产在线进行，必须一丝不苟甚至可能以连续、自动化的执行方式来补偿物理性动态变化，例如温度变化与设备掉落冲击等。

摄像头系统的校准以及讯框同步(frame-to-frame synchronization)，为摄像头模块制造商以及这种更复杂摄像头系统供货商带来挑战；因为如果三个镜头每一个都需要完美校准，组装程序必须要谨慎设计，而良率预期会较低，如此可能会直接影响整体摄像头成本。

挑战三：固件、算法与功耗

三镜头摄影系统在固件方面也会更复杂，新架构会必须能像是只运作一支摄像头那样搞定三支摄像头；处理程序例如电源管理、讯框要求(frame request)、内存管理，以及其他摄像头管理员程序内部的状态机(state-machines)，会需要处理更多的逻辑、更多数据并允许在流水线内更多的平行处理，同时以更有效率的方式支持应用层以因应实时性能。

在另一方面，算法也面临相同挑战，包括确保合理的处理运作时间，以及避免来自多个镜头的多输入影像而导致的残影；同时还要处理三镜头在讯框同步、遮蔽(occlusions)方面的不精准，以及三镜头校准数据中的缺陷。因为这些复杂性，这种配置的整体系统(包括摄影镜头与处理平台)功耗会大大受影响。

接着让我们来讨论几种三镜头配置方法，这些案例各有优缺点，当然也可能还有其他的配置…

支持低光线拍摄的三镜头配置

三镜头摄像头能让使用者在光线相对较暗的场景中拍摄照片，而且变焦功能也不会打折扣。在演唱会现场拍摄舞台上的画面就是一个很好的例子，这种场景不但需要变焦，而且需要能支持低光线拍摄。

支持低光线拍摄的三镜头配置 （来源：Corephotonics）

连续变焦功能源自于以下几点：

1. 单色摄像头(Camera I)因为没有使用通常会配置在彩色摄像头感测器像素中的拜尔滤色镜数组(Bayer filter array)，而能提供更高的对角线分辨率(diagonal resolution)；在这种系统中，能使用彩色摄像头(Camera II与Camera III)来实现色彩重现。

2. 单色广角摄像头与彩色广角摄像头(Camera I与Camera II)不同的空间取样尺寸(例如像素尺寸)，也有助于此双镜头子系统的整体放大倍率性能。

3. 第三个摄像头还能支持来自望远镜头之更高的中央分辨率(center resolution)。

强化低光线拍摄性能，源自于与三镜头都有相关的、相对较低的焦比(f/#；镜头光圈设定)。将彩色摄像头(Camera II)输出讯框与单色摄像头(Camera I)输出讯框融合，会取得是前者两倍的光线，如此也能大幅改善SNR。

两倍曝光的效益是不采用彩色滤光片数组的结果，因为在彩色滤光片中，每个像素会被过滤为只记录三种色彩中的一种，以牺牲整体潜在可吸收光线为代价。

RGB/单色(Mono)/望远(Tele)三镜头能支持更佳的光线敏感度以及光学变焦 （来源：Corephotonics）

另一个这种三镜头配置方案胜过现有双镜头变焦摄像头的显著优势，是在Camera I与Camera II之间有较大的重迭视野(field of view，FoV)；这种功能可以在扩增实境(AR)以及数字散景(浅化背景深度的效果)等多种应用中，支持整体宽广FoV中的立体深度感测，而此种配置的一个显著缺点是在静态影像撷取时的快门延迟相对较高，而且在视频录像时的低光线拍摄性能就没有改善；此外很重要的是，这类摄像头系统的功耗必须小心监控，以避免当三镜头同时运作时发生悬崖式掉电。

支持广角拍摄的三镜头配置

镜头排列顺序对系统性能会有影响；举例来说，将广角彩色摄像头放在中间，能在视频拍摄时支持较顺畅的广角镜头到望远镜头过渡，同时简化两相邻摄像头(彩色与单色)之间的融合程序。但这种配置的代价是牺牲立体深度感测精确度，不过能透过将广角彩色摄像头与广角单色摄像头放在相对两端来改善。

鱼眼变焦摄像头配置 （来源：Corephotonics）

这种摄像头配置会非常适合旅游爱好者；举例来说，在拍摄开阔的景观时，超广角镜头能避免一般采用影像拼接的拍摄模式。同时非常有助于在变焦时撷取精细的影像细节；现在的智能手机只能让用户在影像质量较佳的光学变焦或是超广角画面中二选一，但三镜头配置就不需要做出这种抉择。

相较于前一种三镜头配置，这种配置能以更经济的方式处理功耗，因为大多数时间只有一个镜头启动，依据用户的变焦倍数；此外此摄像头数组顺序背后的逻辑会更直接，因为依据摄像头放大性能，相邻的两摄像头之间会一直以连续模式无缝切换。

这类系统的挑战在于超广角镜头会有相对较高的影像失真，特别是在视频平滑过渡、融合两个影像甚或是工厂校准程序时；不过热爱摄影的手机使用者，会非常欣赏望远镜头较长的焦距，能让他们从远处拍摄到效果更好的目标物特写。

支持折迭式望远摄像头的三镜头配置

这种三镜头配置也能让用户享受前所未有的真正5倍光学变焦，不需要妥协于今日的智能手机外观(也就是能与无边框全屏幕显示器共存的5mm高度摄像头)。而尽管F/#相对较高(例如f/2.8)，望远镜头的低光线拍摄性能也很出色，因为折迭式望远镜头强化了入摄瞳(pupil)，比起标准RGB广角镜，能撷取五倍以上的光线；比起前面提到的这种配置中的广角摄像头，光线撷取量则是超过2.5倍。

采用先进折迭光学技术的三镜头配置 （来源：Corephotonics）

这种超级变焦三镜头配置，从1到5倍变焦都能提供无缝、连续的变焦体验，无论是拍摄静态影像或是4K视频录像；结合多讯框(multi-frame)技术、影像融合以及多阶影像(multi-scaling)，这种摄像头最高能提供25倍变焦。结合可折迭变焦光学组件与OIS技术，这种先进的三镜头系统能改善今日智能手机摄像头的两大缺陷：低光线拍摄性能以及光学变焦倍数不足。

广角/2倍望远/5倍望远拍摄 （来源：Corephotonics）

报酬递减原则

我们在这篇文章中探讨了三镜头摄影系统的关键挑战，以及可能很快会被业者采用的三种不同摄像头配置方法。

一般来说，报酬递减原则(Law of Diminishing Returns)也适用于多镜头技术，在双镜头配置中的第二个摄像头在提升使用者体验上提供了最高的报酬，但任何一种三镜头配置中的第三个摄像头，可能需要为整体使用者体验带来很明显的价值，才能抵销其添加的额外成本、占位面积以及复杂度。

无论如何，三镜头配置能充分解决低光线拍摄时的限制(包括静态影像与动态视频撷取)，同时提供适当的光学变焦能力(3倍以上)，这在近期之内会成为对手机业者来说最具说服力的解决方案。

编译：Judith Cheng

编按：本文作者Gil Abraham为以色列公司Corephotonics产品管理总监

本文授权编译自EE Times，版权所有，谢绝转载