APP下载

Adobe使用AI技术开发出超级分辨率功能,可逼真放大低分辨率图片

消息来源:baojiabao.com 作者: 发布时间:2024-05-04

报价宝综合消息Adobe使用AI技术开发出超级分辨率功能,可逼真放大低分辨率图片
图片来源: 

(图右)超级分辨率比起(图左)双三次插值采样法,可呈现更清晰的细节与线条

Adobe Camera Raw团队开发的超级分辨率(Super Resolution)功能,利用机器学习技术提高照片的分辨率,可将1,000万画素的照片提高为4,000万画素,同时还能保有照片丰富的细节。超级分辨率功能目前先于Camera Raw 13.2中推出,官方预告很快会轮到Lightroom和Lightroom Classic。

超级分辨率功能的开发,源自于2年前Adobe所开发的细节增强(Enhanced Details)功能,这个功能使用机器学习技术,以极高的保真度对原始档案(Raw File)进行内插计算,进而产生几乎没有假影的清晰细节,借此提高照片的品质。

而超级分辨率是Adobe Camera Raw团队的第2个画素增强功能,透过提高照片的分辨率,进而增加照片的品质。在一般情况来说,放大照片的分辨率,通常会使得细节变得模糊,但是超级分辨率功能却能保持这些细节的清晰度,原因是使用了数百万张照片,来训练机器学习模型,使得模型能够智慧地放大照片,同时保有清楚的边缘,并留下重要的细节。

Adobe提到,并非所有相机都拥有高分辨率,大部分手机相机分辨率落在1,200万画素,而许多相机则是在1,600万到2,400万画素之间,在许多情况下,像是线上发布或是发送给友人,这些画素的照片已经足够,但是如果是要大图输出,更大的分辨率可以留下更多细节,也可以使得边缘线条更加平滑。

旧照片也能透过超级分辨率功能重新被利用,15年前800万画素数码相机所拍摄的照片,现在可以在提高分辨率之后,重新被应用在大图输出上。此外,从照片中剪裁出来的部分图像,也能因为超级分辨率功能,变得更加清晰,官方表示,超级分辨率可说是进阶版的数位变焦功能。

Adobe使用大量范例照片来训练超级分辨率机器学习模型,该模型的基础架构为深度卷积神经网络,使用数百万低分辨率与高分辨率图像配对,来教模型如何放大低分辨率照片,官方解释,画素的颜色取决于周围的颜色,模型需要一些上下文,透过分析周围的画素来决定中间画素的颜色。

超级分辨率有3个特色,第1是Adobe使用了Bayer和X-Trans原始档案训练模型,因此当用户在原始档案应用超级分辨率功能时,同时也会获得细节增强功能加持。再来则是Adobe特别处理了一些具有挑战性的范例,包括许多贴图以及小细节(下图),超级分辨率在处理这些区域时,便不会出现假影。最后,Adobe应用了CoreML和Windows ML平台机器学习技术,因此用户可以在电脑上,使用GPU来加速超级分辨率计算。

超级分辨率会使得照片的分辨率线性加倍,也就是说,超级分辨率产生的图像,长度与宽度都会是原始照片的2倍,总画素将会是4倍,目前图片边长限制为65,000画素,总画素限制为5亿画素。除了Bayer或X-Trans原始档案之外,超级分辨率也可以用在JPEG、PNG和TIFF等档案格式,但是用在经高度压缩的JPEG或HEIC档案时,超级分辨率会使部分假影更加明显。

由于细节增强和超级分辨率都需要非常密集的运算,官方建议,用户可选用较快的GPU,并且使用支援CoreML和Windows ML机器学习技术的电脑,来执行超级分辨率功能,否则运算时间可能需要数分钟。另外,因为超级分辨率会产生非常大的档案,官方也建议用户可以使用固态硬盘,以加速档案读取。

Adobe仍在改进超级分辨率功能,突破目前的分辨率限制,应用到更大的图像上,并且试着将相同的技术,应用到锐利化和降噪等功能。

2021-03-15 16:48:00

相关文章