【台湾人脸辨识实例：台大CMLab实验室】识破万脸伪装靠女神卡卡浓妆照，台大打败美中俄夺全球第一

台湾不只有自己的国产人脸辨识技术，在先进人脸技术研究上，也不输国外顶尖大学。例如台大CMLab人脸辨识团队，去年首次参加CVPR 2018举办的全球伪装人脸辨识竞赛，就勇夺大赛第一名，不仅以超过9成的高辨识率力压全场，更是全部唯一辨识破9字头的队伍，就连主办方都私下来请教，想知道为何他们训练的算法，辨识可以这么厉害的原因。也向世界证明，台湾的人脸辨识研发能量，拥有世界一流竞争实力。

台湾人脸辨识研发力，不输国外

最近两年，虽然脸部辨识技术，已经可以落地成为实际应用，甚至比人眼辨识都还高，但实务上仍有不少挑战要克服。尤其是伪装人脸（Disguised Faces）的辨识问题，到现在仍是棘手难题。因为人脸辨识用的重要特征被遮蔽，例如在脸上画浓妆，或搭配其它穿搭饰品（如眼镜、帽子和假发）等，使得人脸辨识结果容易出现误判影响了实用性，甚至成为有心人士假冒他人身份从事违法情事，近来，也成为人脸辨识研究上的一大热门议题。

但是之前没有一个伪装人脸数据库，可供研究来使用。直到去年，全球三大电脑视觉顶尖会议之一的CVPR 2018主办方，释出一套内含有11,000张的伪装人脸影像的公开数据库，让学界可以投入研究，甚至还举办首届伪装人脸辨识竞赛（Disguised Faces in the Wild），不只开放学校，也广邀业界人脸辨识好手来参赛。比赛背后更是由美国-情报单位负责先进情报研究的IARPA大力出资。

这场赛事共有数十队参赛，并分两阶段比赛，台湾也有来自台大CMLab实验室人脸辨识团队代表参赛。最后更一路过关斩将，拿下首届伪脸辨识大赛冠军。在3个比赛项目里的两项，混淆（Obfuscation）、整体辨识（ Overall accuracy）项目双双拿下第一名。

其中，在整体辨识率项目，台大团队以自行开发设计的深度学习伪脸辨识算法，在误判率（FAR）只有百分之一的条件下，辨识率仍可达到90.62%，更是唯一一组辨识率达9成的队伍，比第2名还高出近3%。前十名的学校有来自美国、中国、俄罗斯，还有美国、中国等研究机构与企业，台大也是唯一进榜的台湾队伍。

伪装人脸的挑战，在于要能正确辨识出是本人伪装的人脸（浓妆、戴眼镜、帽子），还是以装扮冒充别人身份的其他人脸。

伪装人脸（Disguised Faces）的挑战，在于要能正确辨识出是本人伪装的人脸（浓妆、戴眼镜、帽子），还是以装扮冒充别人身份的其他人脸。因为人脸辨识用的重要特征被遮住，使得人脸辨识结果容易出现误判影响了实用性。近来成为人脸辨识技术研究上的一大热门议题。图片来源／Maneet Singh

就像美国知名歌手女神卡卡（Lady Gaga）妆化得再浓，一般人认不出，但是死忠粉丝还是看得出来。负责带队的台大资工系教授徐宏民表示，这也给了他们灵感，用来破解伪装人脸。

所以，训练设计上，分两阶段来完成，第一阶段，先以其他资料集抽取人脸特征，先训练出一个深度卷积神经网络（DCNN）的模型，可以用来辨识人脸；接下来，再以大会提供的伪装人脸资料，额外建立一个神经网络区块，专门用于学习伪装人脸的辨识。徐宏民进一步补充，设计网络时，不只使用深度学习技术，在进行特征撷取时，也结合了早期的机器学习的PCA（主成分分析）技术，将这些人脸资料先经转换投射到一个新的特征空间，来学习这些伪脸的主要特征，再用学到的这些人脸结构、特征去比对，找出眼前这个人是本人伪装，还是别人假扮。经过他们训练过的伪脸演算模型，连化浓妆后的Lady Gaga都能认。

对于这次比赛成果，徐宏民表示，这更证明了台湾人脸辨识研究实力，完全不输国外顶尖大学，“甚至后来，遇到主办者，连他都很好奇我们怎么做，可以做到这么高的辨识率。”他自豪地说。

除了伪装人脸外，低分辨率照片也是人脸辨识当前的另一项挑战。例如，3年前发生的纽约连环爆炸案，警方一开始公布嫌疑犯人脸照片，连局内人脸辨识系统也束手无策，因为监视器拍到的人脸影像分辨率太低，难以辨识，导致警方无法在第一时间将嫌犯追捕到案。

这也让当时人在国外做研究的徐宏民，决定改善低分辨率人脸影像的辨识问题。他解释，通常拍摄的脸孔很小时（小于160x160或200x200像素），辨识上就会有难度，即使将照片放再大，人脸看起来还是很模糊，不易辨识。

​

3年前的纽约连环爆炸案，警方公布的嫌疑犯人脸照片，因分辨率太低，连自家人脸辨识系统也束手无策，这让当时在国外做研究的徐宏民和团队，花了2年设计出新的低分辨率人脸辨识以及放大算法，就算只有一般人脸照片大小的十分之一，只有12×14分辨率，都认得出来。图片来源／新泽西州警局、FBI

所以，徐宏民和研究团队花了快2年，设计出一套新的低分辨率人脸辨识以及放大算法，可以在放大小尺寸人脸图片时，同时保留更多分辨率细节，而不失真。他指出，透过这个算法，输入的人脸大小只有12×14分辨率，不到一般可辨识人脸照片的十分之一，都能辨识得很好，准确率还很高。根据在LFW（公开人脸资料集）测试上，辨识率甚至可以达到98.20%，跟其他顶尖算法相比，一点也不逊色。后来，他们也将这次研究成果在去年ECCV欧洲电脑视觉会议上发表，也引起很高关注。

台湾人脸辨识要落地，实际场域应用的人脸资料是关键

讲到台湾脸部辨识技术的发展，徐宏民也建议，最好要有自己一套在地人脸数据库，如果完全用国外脸孔资料训练出来的算法，来套用在包含台湾人在内的亚洲人脸时，辨识上大约有3到4%的落差，“关键就在于，是不是用在地的脸部资料训练的演算模型。”他说。

徐宏民进一步补充，这些训练用的人脸资料，无法反应实际应用场域，往往跟现场拍摄到的人脸会有很大的差异，实际应用需要面对的辨识挑战更大，如光线不佳、视角差、逆光等，甚至也有国家、地域的人脸差别。

尤其在台湾，他提到，很多人都戴眼镜，但目前很多公开人脸数据库，都缺少这类型的照片，“这也是台湾发展自有人脸辨识技术的关键，需要用更贴近应用场域的人脸资料，辨识出来的结果才会好。”他说。