狠起来连自己都打 Adobe公司开发反PS软件 识别率达99%_影象

大资料文摘出品

作者：蒋宝尚

Photoshop是迄今为止世界上最畅销的图象编辑软件。它已成为许多涉及影象处理的行业的标准。

PS的出生也颇有传奇色彩，它最初是由托马斯·诺尔（Thomas Knoll）和约翰·诺尔（John Knoll）这对兄弟于1987年为了完成研究论文而制作的。

但是直到1990年后，这个软件才由Adobe公司首次释出。从出生到释出期间困难重重不足为外人道。

经历了几十年的发展，PS已经成为了Adobe公司最大的收入来源。尤其是在中国，PS确实帮助很多普通人实现了“网红梦” ，更是被授予了“亚洲四大邪术之一”的称号。

Adobe最近宣布开发出了一项新技术 —— “影象处理反侦查” ，使用AI就可以检测出影象是否被PS了。

研究成果是Adobe公司和加州大学伯克利分校的科学家合作取得的，使用这项新技术可以轻松识别影象中被拼接、复制以及删除的部分。

这是反PS效果，由左至右依次为：经修改的影象、检测到修改、自动还原后的影象、原始影象。

由于Photoshop也是Adobe公司的，在吐槽Adobe自己打自己之外，更多的是直呼Adobe这种功能是魔鬼吗？毕竟现在的小青年，拍照不PS都不好意思发朋友圈~

不过也有拍手叫好的小伙伴，因为受过PS美颜的苦~例如下面的这个案例~

其实，有些PS的图，如果仔细看也能够看出来，但这款工具准确率更高。Adobe表示，与人眼53%的准确率相比，他们的工具识别准确率高达99％。

但是“照骗”的小伙伴暂时可以松一口气，因为目前Adobe没有立即打算将这项最新成果进行商业化。

两年开发两种演算法来杀自己

传统的反PS方法，非专业人士不可为，毕竟使用光线分析工具来判断一张照片是不是原始图片需要很深的功底。

以下是操作步骤，你估摸估摸~

而这项研究利用卷积神经网络识别PS过的人脸图片，直接了当的告诉你哪张照片PS过了、PS了哪里、最初的模样是个啥。

此大杀器是由Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。

目前，研究成果以成论文，并放在了arxiv上面~

论文地址：

https://arxiv.org/pdf/1906.05856.pdf

其实，早在2018年Adobe公司在CVPR 2018上展示了机器是如何在更短时间内自动识别出照片的修改痕迹的。当时的那篇论文并不能看作计算机视觉领域的一大突破，但是看到Adobe这个“PS专业户”发明“反PS工具”还是很有趣的。

论文地址：

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf

那次的论文展示了如何用机器学习发现影象的三种改变：拼接、复制、删除。

为了发现这些特点，科学家们通常会在影象的隐藏层中寻找线索。只要这些影象经过编辑，它们会留下数字化痕迹，例如影象感测器产生的颜色和亮度的不一致性（也被称为影象噪声）。当你将两张不同的照片拼在一起，或者从另一张图中复制贴上其中一部分，背景噪声是不匹配的，就像用有些许色差的油漆掩盖墙壁上的污渍。

换句话说，研究人员训练了一个深度学习神经网络来识别影象处理。第一种方法是识别 RGB 的变化，第二种是识别噪点。这项技术将这两种方法结合起来用，以此实现更准确的识别。

而最新的这项研究主要针对 Adobe Photoshop 自带的功能脸部感知液化（Face Aware Liquify）。

因为脸部感知液化可以先识别人脸五官，然后使用者可以使用它进行相应的修改，如眼睛大小、额头宽窄、瘦脸、鼻高等，还可以轻松调出微笑唇。

在这篇论文中提出了两种模型：一种是全域性分类模型，任务是预测人脸是否发生改变；另一种是区域性分类模型，可以用来识别发生改变的位置。

首先用ResNet50架构训练一个二元分类器。确定图片是否被修改过。在最后的评估过程测量了图片画素（即是否为高清）对模型的影响，以及为了增强稳健性，还对资料进行了增强，所使用的方法包括调整图片大小，调整图片的对比度和饱和度等的。

另外，研究人员通过编写 Photoshop 指令码建立了影象训练集，几千张，几千张的从网上抓取图片进行训练。

这还不够，研究人员还请了美术方面的专家帮他们手动修改图片扩大训练集。

该研究所用资料集的具体资料。

不同的目标对应不同的损失函式

研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场（optical flow field）Uˆ ∈ R^(H×W×2)。之后，研究人员尝试将影象恢复为原图。

研究人员训练了一个光流场预测模型F来预测画素扭曲场（perpixel warping field），衡量其与每个样本真实光流场 U 之间的距离（通过计算原图和修改后的图之间的光流得到）。

下图展示了光流场的一些示例。

损失函式公式如下所示：

通过逆扭曲来恢复原图。重建损失函式为：

其中，X是修改后的影象，U是真值光流场，L_epe表示光流场之间的误差。

研究者试图使光流场更加平滑流畅，于是使用以下损失函式：

而直接使用该重建损失函式会导致低纹理区域出现模糊和伪影，于是研究者联合训练以上三个损失函式：

最后，演算法模型的全域性评估结果如下☟

相关报道：

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/