AI面试有新工具！台师大开发微表情AI辨识技术，即时预测应征者职场性格与沟通能力，辅助HR聘雇决策

身为应征者，当面试官询问：“你是否是个谨慎小心的人？”绝大多数人肯定会回答：“是！”鲜少有人会自曝缺点。但是，嘴巴会骗人，微表情不会，一个三十分之一秒闪过的微表情，就是判断应征者真实性格的关键。

台师大科技应用与人力资源发展学系，将微表情与职场性格相连结，透过持续20分钟的结构式面谈，萃取应征者在面试时，短至三十分之一秒的微表情，再运用CNN深度学习，分析这些微表情动态组合，来预测该名应征者在职场上的5大性格体现，包括情绪是否足够稳定、是外向或内向、是开放或保守、是否足够审慎细心、是否有亲和力，以及是否具有良好的沟通技巧等。

台师大科技应用与人力资源发展学系助理教授孙弘岳解释，微表情指的是五分之一秒到四十分之一秒内的脸部表情变化，快到肉眼无法识别，就算是善于伪装的人，也难以控制微表情的变化，因此，资工领域过去已有许多针对微表情的研究，大多是将微表情连结情绪表现，比如找出生气、害怕、紧张等情绪，来分辨一个人是否说谎。

不过，除了用于测谎，孙弘岳带领的研究团队发现，将微表情应用于面试上，也能准确抓出应征者的职场性格与沟通能力，提前协助面试官筛除不适任的员工。

靠电脑视觉与深度学习，找出微表情与应征者职场性格、沟通能力的关联性

研究过程中，为了找出微表情与职场性格的关联性，台师大与震旦行合作，取得震旦行企业内部员工回答面试问题的影片，并且取得该名员工自己、主管、下属、同事、客户对该名员工性格的印象评分，“我们把性格量表，拿给该名员工周边的上下级、同事、客户来打分数，如果三个人以上打的分数一致，就能代表该名员工在职场上的形象。”孙弘岳说。

同时，为了预测应征者的沟通技巧，台师大也请多位资深人资主管，来对员工的面试影片评分，透过询问如“如何跟老板报告坏消息？如何解决团队内的冲突？”等问题，由人资主管针对员工的回答来评分，若三位以上的评分结果一致，则作为该名员工沟通技巧的分数。如此一来，台师大便有了震旦行员工在面试时的应答影片，其职场同僚对其职场性格的评价，以及资深人资主管对其沟通技巧的评价，从2018年Q2累积至今，受试资料已达上千份。

取得这些资料后，首先，研究团队运用电脑视觉的技术，先在面试影片中的人脸上定位86个侦测点（facial landmarks），透过已申请到专利的HOG-SVM算法，萃取这86个点位在特定情境与时间下的动态组合，来分析微表情特征值。

接着，研究团队运用CNN深度学习，透过不同受试者面试时的微表情变化，与建立在他人观感之上的评分，找出两者之间的关联性，前后共开发了26套AI模型，发现不同性格强弱与微表情之间，以及沟通技巧高低与微表情之间都存在关联性。进一步将这些AI模型应用在面试影片上，就能从应征者的微表情分析，来预测其职场上的性格及沟通能力表现。

孙弘岳指出：“我没办法告诉你什么微表情组合，会造就高沟通技巧，或是造成特定的职场性格，因为过程中可能找出上百万条线索的组合，不是一句话能讲完，”但是，尽管预测过程仍是一个黑盒子，研究团队仍透过AI证实了两者间的关联性，确定微表情可以用来预测一个人的职场性格与沟通能力。

不只如此，研究团队也结合这些震旦行员工拍摄面试影片时的微表情，以及该名员工实际进入职场的绩效来进行关联性分析，发现目前上百人的受试资料中，用员工微表情来预测其业务绩效的准确度，竟然高达9成，“我们看到结果也吓一跳！”孙弘岳表示，透过更多绩效资料的搜集，团队可将现行的职场性格预测结果，继续连结到职场的绩效表现，这是未来的一大研究方向。

孙弘岳也补充说明，之所以特别强调是“职场性格”，是因这项AI面试研究的基础，建立在受试者回答结构式问题的面试过程之上，也就是说，一般聊天时的微表情变化，无法测得其职场上的性格表现。且职场性格指的是职场上呈现给他人的形象，并不代表员工本身的真实性格，有时主管对于员工的职场性格认知，还会与下属、同事的认知不同，这都取决于员工意图在职场上展现的性格形象而定。

除了能用来预测性格，微表情也能用来预测沟通能力的原因，孙弘岳解释，试想一个成功的沟通者，往往不是靠嘴巴讲了什么，来说服别人、调解纷争，具备沟通技巧能力的关键，是言行中带给别人的感受。“所以如果应征者有很多成功沟通经验，通常会反映在他的微表情上，非口语的讯息扮演很重的角色，哪怕只是三十分之一秒，都会带给别人不同的感受。”因此，微表情与沟通能力也呈现一定程度的关联性。

目前，研究团队除了持续精进，以微表情预测职场性格及沟通能力的多个AI模型，团队也正在研究，透过微表情变化，来侦测应征者每一句话的真实性，判断应征者哪一句话在说谎。孙弘岳指出，另一项欲进行的研究，则是要分析，应征者面对真人面试官与AI面试官，在回答问题时是否产生差异。未来，研究团队也会持续将过去进行的微表情社会科学研究，与资工技术跨领域结合，来找出更多相关的应用与洞察。

靠AI面试更客观找出应征者性格与能力特质，辅助面试官决定聘雇人选

震旦行将这项技术结合到自家的AI面试系统中，目前已有多家国内金融业者、高科技制造业大厂采用。台师大科技应用与人力资源发展学系主任林坤谊指出，企业之所以采用AI面试技术的原因有三，其一，是为了履行ESG的责任，达到减少碳排放、碳足迹的目的，透过让应征者可以先在家面试，以AI进行初步筛选，再找出符合资格者前来企业面试，就能来减少海选时大量应征者、接待者交通往来的碳足迹；其二，则是为了加强防疫，运用AI面试技术能减少人际交流与互动，降低疫情散播风险。

其三，则是AI面试确实能协助企业先筛掉不适任的人选，更精准的在短时间内哪找出潜在员工，进而减少面试时间的浪费。

孙弘岳也补充说明，面试时，第一印象尤其重要，有时面试官在前两分钟，就已经依据第一印象决定是否要聘雇一个人，后面长达18分钟的问答，可能都只是在侧面佐证前两分钟的决策结果。但是，这个做法常有不够客观的问题。“我们实际的研究也发现，面试官在看人，时常是不准的。”

因此，孙弘岳认为，这套AI面试技术，能让面试官更快了解应征者的职场性格特质，且因为这套AI面试技术，本身是以脸部86个侦测点的变化作为分析判断依据，个人长相、美丑并不会影响AI判读，反而相对于面试官，能更客观的给予性格与能力分析。

这套AI技术，也无法取代人工面试的功能，大多担任辅助的角色，或是只是初步筛选之用，因为实际上要判断一个人是否能适任一项工作，还需要综合考量其过去经验、专业能力。

也非所有场景都适用这套AI辨识技术，“我们现在用在人才征选，因为企业与应征者之间的讯息不对等，应征者不一定会照实回答问题，所以用AI来辅助面试官的决策。”林坤谊指出，但针对企业内部的员工绩效考核，就牵涉到企业伦理的问题，员工有个人隐私权，这类场景就较不适用。

先透过手机录制面试影片，系统将直接节录不同问题的片段，分类到不同问题的字段中，同时也会进行AI微表情辨识。

AI将分析应征者的5类职场性格并自动评分，包括情绪是否足够稳定、是外向或内向、是开放或保守、是否足够审慎细心、是否有亲和力，以及是否具有良好的沟通技巧。

五大人格特质的进一步分析。

系统也会自动建议面试官可再追问的问题。