APP下载

Marc Levoy 一个用用算法改变了Android手机摄影发展方向的男人

发布于2020-08-02 14:50:27

1993 年,Levoy 借了一些磁盘给博士生 David Filo 和 Jerry Yang,他们用这些磁盘建立了一个 Internet 目录网站,这个网站之后被称为 Yahoo。同为博士研究生的拉里・佩奇(Larry Page)和谢尔盖・布林(Sergey Brin)则在离 Levoy 办公室两扇门远的地方研究Internet索引,后来他们创立了一个搜索网站——Google。

拉里・佩奇和 Levoy 的研究生共用一个办公室,而谢尔盖・布林则是 Levoy 的电脑图形课上的学生。在史丹佛,Levoy 几乎是目睹了整个网络最重要的时代在他眼前崛起,而由于他和 Google 创始人的师生关系,渐渐与 Google 有了越来越多的联系。

拉里・佩奇和谢尔盖・布林离开史丹佛创立 Google 后,很快投资了一个由 Levoy 主导的研究计划 CityBlock ,透过拍摄影片并将其复制到图片中,再透过计算处理等方式复原实际情境,也就是后来被 Google 商业化的 Google 街景计划。

Levoy 在运算摄影领域上的深厚造诣令 Google 团队十分钦佩,以至于 Google X 实验室遇到问题时第一时间想到了这位史丹佛教师。当时 Google X 正在研究一个名为 Google Glass 的产品,旨在推出一款可穿戴的“电脑”,而这台电脑将以眼镜的形式出现。

据 Google X 实验室发布的部落格文章,由于 Google X 选择了眼镜这种可穿戴式的产品形态,对硬件的要求极高,就算是手机中常见的微缩型相机硬件模组,应用到 Google Glass 上还要保持较好的拍摄效果,也并非一件简单的事。

既然透过硬件实现很难、或者说几乎不可能,是不是应该换一种思路,用软件来解决呢。就这样,Google X 找到了运算摄影领域的专家 Levoy 帮忙一起解决这个问题。

最终 Levoy 和 Google X 团队研究出了一种名为 HDR 成像的算法,即快速拍摄多张图片,并透过计算处理合成出高品质的图片。多张合成的方式可以更好的渲染暗部细节,同时又能保证高光处保持更高的清晰度。

与 Google X 合作期间,Levoy 自己还制作了一个 App——SynthCam,同样是透过合成计算的方式,让使用微缩相机模组的手机也能模拟单眼,实现拍摄主体之外内容逐渐模糊的效果。

尽管以现在的眼光来看,效果并不算特别好,但在当时已经是手机摄影领域的一次新突破了。

对于对运算摄影极强的兴趣,也促进了 Levoy 从史丹佛退休后加入 Google 。

Pixel 系列,运算摄影的新起点

2014 年,Marc Levoy 从史丹佛退休,进入 Google 成为全职员工,并担任了 Google 内部最具影响力的部门之一 Google Research 的领导人,主要负责研究运算摄影领域相关的事项。

在和 Google X 实验室合作时,Levoy 就意识到了 HDR 算法能应用在智能手机上,毕竟 Google Glass 和智能手机都是行动终端,便携性是优势。

就这样,Levoy 带领团队在 Nexus 系列上尝试应用 HDR 算法,不过效果一直不算太突出,Nexus 系列最后一款机型 Nexus 6P,就算使用上 Levoy 团队研发出的升级款 HDR+ 算法, DxOMark 分数也只有仅仅 73 分,和当时的主流旗舰还有一段距离。

直到 Google CEO Sundar Pichai在 2016 年提出由“移动为先”转为“AI 为先”的口号,Pixel 系列正是在这样环境下诞生的。

整个公司的策略转向,也让专精于软件计算领域的 Levoy 获得更多的灵活度与资源,他成为了 Google 首款自研智能手机——Pixel 系列的相机团队负责人,而相机正是 Pixel 系列的核心。

得益于 Pixel 用上了新的处理器骁龙 821,处理能力有不少提升,Levoy 能让 HDR+ 算法更舒畅自由的发挥,至少采集图片和合成计算的速度提升了不少,不会出现 Nexus 系列上开启 HDR 算法一会后手机就会过热,按下快门键后需要等待一会才能完成拍摄的情况。

2016 年 10 月 4 日,Google 正式发布了 Pixel,它的相机模组和 Nexus 6P 相比并没有太大变化,都是 1230 万像素和 1.55 μm 的单像素尺寸,只多了一个相位对焦功能。

但 Pixel 却让整个业界为之震惊,它超越了同期旗舰 iPhone 7 Plus 和三星 S7 登顶了 DxOMark 榜单。硬件几乎没有太大变化,但拍照能力却获得了质变,可见 Levoy 带领团队开发的 HDR+ 算法是有多强。

2017 年,Levoy 又尝试将自己在 2011 年左右开发的 App SynthCam 的技术拓展应用在 Pixel 2 上,同样是透过采集多张照片进行计算合成。不过,为了不出现之前 Nexus 系列上硬件拖后腿的现象,Pixel 团队特别为 Pixel 2 加入了一颗名为“Pixel Visual Core”的定制图像处理单元,以加速图像采集速度和计算速度。

有了硬件支援,Levoy 也更好发挥了,这次他在 Pixel 2 上加入了 AI(神经网络),用来判断物体的相对位置,进而推出“人像模式”,实现人物主体清晰,人像后的背景却逐渐模糊的效果。

不出意外,Pixel 2 再次超越同期旗舰三星 Galaxy Note 8 和 iPhone 8 Plus,登顶 DxOMark 榜首。

两次都是使用单镜头,两次都是硬件普通甚至算落后(同期旗舰都用上了双镜头),但 Pixel 却两次登顶,超越所有的对手,这让 Levoy 成为业界炙手可热的人物,甚至被称为是重新发明了“运算摄影”。

运算摄影,改变了潮水的方向

Pixel 系列的成功并没有让 Levoy 沉溺于其中,相反他又将目光转向了摄影领域的另一座高峰——夜间摄影,在 Pixel 推出的同一年,Levoy 在做极端低光源条件下的拍摄实验。

要知道夜间摄影的光照条件可比不上白天,而且智能手机作为行动便携设备,相机模组并不大,导致进光亮极少,不开闪光灯的话,想拍清楚是极难的一件事。

Levoy 对计算摄影的强大信念让他成功坚持了下来,正如他在极端极光拍摄实验影片中所说的:我认为,当我们从硬件主导的摄影转向软件定义的运算摄影的新领域时,这个领域才刚刚开始令人兴奋。

结果,现在我们都已经知道了, Levoy 登上了夜间摄影这座山的山巅。2018 年 10 月,Google 推出了 Pixel 3,这款新机最大的亮点正是 Levoy 带领团队开发的 Night Sight 夜景模式,即使是在晚上手机也能拍出精细度、亮度极高的照片。

和以往一样, Levoy 的解决办法还是老一套,采集图片加合成计算,只不过和我们直觉相反的是,Night Sight 夜景模式并非采集不同曝光度图片或是采集明亮而模糊的照片进行合成计算,而是选择捕捉大量昏暗而锐利的图片,进行合成计算,最终输出一张清晰的照片。

而在 Pixel 4 上,Levoy 在摄影领域的突破是天文摄影。

Pixel 系列,做到了以往硬件主导的摄影所做不到的事,无论是 HDR+、人像模式,还是 Night Sight 夜景模式、天文摄影,无不是对以往的突破。由软件定义的计算摄影,几乎启发了整个智能手机行业。

苹果、三星、华为等手机厂商在运算摄影上的投入越来越多,夜间模式几乎成为了高阶旗舰手机的标配,AI 拍照加持从高阶旗舰普及到中低阶产品中,成为一个基础宣传点。

Marc Levoy ,改变了潮水的方向。

  • 本文授权转载自:ifanr(爱范儿)
Facebook LINE

文章标签: 8848m5 Ps4 pro nikon Z6 iXM 100MP ty-ak1 thieye i60+ i7 8086k lumia 940xl sony a6000 moto z3 Dyson V10 AMD 2990X vivo y75s am pro30 gpu turbo rtx2080 Sony SBH90C ryzen3000 dysonV10 note9 360 n7 lg q6 gopro 7 oppo r17 pro vivo x5 DP-UB9000 eos1100D 技嘉H310 SONY DMP-Z1 IER-Z1R DMP-Z1 Ryzen52400G Kanton DX35 4G-AC68U g703bi R52400g 锐龙r32200g rog g703 BitoPro pep572 i78700 i78700K i7 8700 i7 8700k

相关文章

最新资讯


手机


数码


科技