AI为何这样辨识人脸？台大徐宏民团队首创可解释AI新技术，正尝试扩大应用到金融和医疗AI

曾在2018年全球三大电脑视觉会议CVPR的伪人脸辨识竞赛中，带领台大团队夺冠的台大资工系教授徐宏民，今日与科技部共同发表全球首创可解释性人脸辨识技术，称为xCos（Explainable Cosine）模组，率先将可解释性AI（Explainable AI，XAI）技术应用在人脸辨识领域中。而且，徐宏民团队更将这个技术开源释出，提供国内外产学研单位使用，除了在脸辨领域产品化，让不同脸辨AI模型可以结合xCos来解释决策原因，团队也正试着与其他领域的AI模型结合，比如金融借贷信评、医疗影像辨识、能源节电预测模型等。

徐宏民表示，当初团队会注意到脸辨XAI的议题，是在与几家软硬件公司合作开发脸辨产品时，在深度学习模型的设计过程，发现某些AI辨识结果与人为直觉判断的结果不同，使团队开始在意，AI的决策依据是什么？为了解决这个问题，团队费时一年多开发了xCos模组，来解释两张人脸比对后，AI判断为同一人或是不同人的决策原因。

由于一般人在比对两张图是否为同一张时，会直觉的比较五官差异，以部位的相似度为判断依据，因此，团队开发的xCos模组也提供符合人类直觉的判读方法，透过撷取两张影像的特征值来生成两张图，一张为格状余弦相似度图（Patched Cosine Map），以颜色深浅来呈现图像相似或不相似之处，另一张是注意力图（Attention Map），同样以颜色深浅来呈现哪些部位是影响决策的关键。接着，再将两个结果进行矩阵运算，来得到最后的相似度分数（xCos）。

团队开发的xCos模组可生成两张图，来辅助人解释AI决策的依据。

举例来说，以下图这张网球运动员Roger Federer的照片为例，左边的格状余弦相似度图中，蓝色越深代表两张图片越相近的位置，粉色越深则代表越不相近的位置，可以明显发现，头发位置受装扮影响为全图最不相似之处。而在右边的注意力图中，则是透过绿色的深浅，代表影响AI判断的重要程度，这张图中，不难发现AI是以鼻梁及脸部下半部作为判断依据。透过这种图像化的解释方式，就能进一步指出两张人像的差异点与相似点，以及AI根据哪些特征来做判断。

左边的格状余弦相似度图中，蓝色越深代表两张图片越相近，粉色越深则代表越不相近之处；而右边的注意力图中，则是透过绿色的深浅，代表影响AI判断的重要程度。

而且，在AI模型中嵌入xCos模组，不只可以用来解释AI决策原因，徐宏民更指出，透过xCos算出的相似度分数，甚至能比原先的AI预测结果更准确。同时，借由xCos的可解释性，还能让其他人在开发AI脸辨模型过程中，能更直观的验证算法的决策是否正确，换句话说，“xCos可以帮助人脸辨识技术的开发。”

xCos模组的另一个优势，则是能自动辨识人脸不自然的表面，聚焦在其他可辨识的人脸部位上，来提高伪脸辨识的准确率。徐宏民解释，这是因为一般的人脸辨识，是提取整个脸部的特征值来进行比对，一旦遇到口罩、眼镜等遮蔽脸部部位的情况，就很容易因比对结果差距太大而无法验证通过。但xCos会自动学习并调整提取特征值的部位，比如说，判断出未被口罩遮蔽的部位来进行比对，达到伪装人脸辨识的效果。

不管是戴假发或眼镜，xCos模组可以自动判断并调整提取特征值的部位，来提高伪脸辨识的准确率。

徐宏民也指出，相对于XAI较知名的LIME技术，xCos模组是为深度学习模型所设计的XAI技术。LIME是透过干扰一笔训练资料中的局部特征（features），来观察是否会影响预测结果，借此判断训练资料中的哪些特征，对于模型决策有更关键的作用。不过，现在深度学习模型中的参数，动辄上千、上万、甚至上亿个，要调整大量参数才能找出影响结果的关键特征，“在现实的深度学习是不可行的，因为你要调的东西太多了，LIME用来解释小模型比较容易。”

且在LIME技术中，虽然可以找出图片中的哪些特征对于预测结果更重要，但为什么相似度是75%，不是85%、95%？LIME无法解释。不过，徐宏民说，透过xCos模组的矩阵运算过程，能呈现信心值如何被计算出来，更适合用于深度学习模型。

目前，xCos模组已在GitHub开源释出，提供国内外产学研单位使用，已经在人脸辨识实作出可用的模组版本，能嵌入不同脸辨AI模型中，来解释不同模型决策的原因。同时，徐宏民的团队也正试着将这个可解释AI模组应用到其他领域，包括金融领域的借贷信评模型、医疗领域的肝癌影像辨识模型、能源领域的节电预测模型等，但因资料类型不同、解释方式也需要调整，团队也还在尝试xCos模组能否成功扩大应用。

实际Demo，透过左边的摄影机拍照后，可以立即与数据库比对出身份，并呈现相似之处与判断依据。图以科技部部长陈良基为例，在戴假发与口罩的情况下，还能成功辨识。