脸书以逆向工程溯源假照生成模型，有助调查深度伪造事件

脸书与密歇根州立大学（MSU）合作，开发了一种侦测深度伪造（Deepfake）的新方法，这个方法是透过对假照以及生成照片的模型，进行逆向工程，以发现可用来侦测假照的特征。研究人员提到，这项研究的重要性在于，突破人们对于假照侦测的理解，透过解析模型能够让相关从业人员，更好地调查深度伪造虚假资讯事件。

由于深度伪造技术越来越进步，人类已经无法轻易的分辨假照与真实图像的差异，再加上深度伪造技术可能不只被用于娱乐上，而是另外的恶意目的，因此假照侦测研究变得重要。当前的深度伪造侦测技术有其限制，研究人员透过封闭的资料集，来教模型分类假照，但是一旦假照是由侦侧模型未看过的图像产生，则侦测模型效能低落。

而逆向工程是解决深度伪造的另一种方法，这并非全新的概念，研究团队使用逆向工程方法，探索生成假照的深度伪造人工智能模型所产生的特殊图腾，研究人员从图片来源着手，并且撷取模型产生图像的特性，透过归纳图像来源，来推论深度伪造生成模型的资讯，就能追踪出一系列图像来源。这种能够发现假照是由单一模型产生的能力，对于打击应用深度伪造技术的恶意攻击非常有用。

研究人员解释，在深度学习时代之前，生成照片通常需要使用小型且知名的工具，而这些工具留下的指纹，便能被当作手工制作的特征，可用来侦测由工具生成的照片，但是深度学习技术使得可用来产生图片的工具集，存在无限多种组合，让研究人员难以透过手工特征，来辨识特定的讯号或是指纹属性。

研究人员现在使用指纹评估网络（FEN），从假照中撷取生成模型所留下的指纹，研究人员提到，由于图片制造过程的缺陷，每个图片都会留下装置特殊的图腾，在数位摄影中，照片指纹会被用来辨识拍摄的数码相机，而装置指纹与摄影机指纹类似，生成模型会在照片上留下特殊的纹路，因此可用来辨识产生图片的生成模型。

研究人员根据野外发现的深度伪造指纹，建立生成指纹资料集，并利用该资料集训练模型，用来辨识过去未见过的指纹，研究人员提到，他们的系统可以评估深度伪造模型的算法网络架构，以及训练损失函式，由于生成模型的网络架构和训练损失函式都不相同，因此可以用来精确的断定生成模型。

研究团队以各种来源的资料集测试并且评估模型，虽然目前还没有其他模型解析的方法，但研究人员透过建立随机基准真相（Random Ground-Truth）来进行比较，实验结果显示，脸书与MSU所开发的方法，明显比随机基准真相更好，显示架构超参数、训练损失函式，与生成的图像间，确实存在关联性。

研究人员提到，他们的方法具有良好的泛化能力，可应用到人类与非人类的图像中。该方法解构深度伪造技术撷取指纹，该指纹经研究人员研究，并无法映射回原始图像中，这个指纹仅为生成模型留下的痕迹。

这些研究用的人像假照和逆向工程的实验，都在MSU中生成与进行，MSU将会向研究社群开源该研究资料集、程式码和训练模型，以促进深度伪造侦测研究发展。