国产全球第一套针对中后期渐冻患者研发的智慧沟通系统，能用AI辨识脑波来判断患者意图

今天科技部揭露科技突围专案中，“渐冻症病友智慧沟通系统”的研究结果。这个专案从107年9月开始执行，目的要让中后期渐冻症病患，在全身瘫痪甚至连眼球也不能活动的情况下，能透过辅具来表达生理或心理的意图。这套系统涵盖多项装置，包括智慧眼控系统、多功能脑机界面、脑波感测电极帽（E-Cap），以及能重现病友声音的语音合成技术等。

渐冻症病友智慧沟通系统的架构。

渐冻症是一种运动神经元退化，而造成全身肌肉萎缩及无力的疾病，台湾平均每三天就有一位渐冻人确诊，目前健保统计资料中共有1000多位渐冻人，尚无药可医。中期渐冻人面临到的问题，是四肢瘫痪，但仍可费力沟通，但到了后期，不仅无法难以说话，就连吞咽、眼球转动等动作也会变得迟缓，甚至完全丧失功能。

不过，尽管中后期病患的日常沟通需求极为迫切，全球针对该族群所开发的辅具进程却很缓慢。专案计划主持人、同时也是北科大研发处副研发长刘益宏表示，当病患连眼控功能都丧失，一般瞳孔追踪的辅具就失去效用，必须运用眼睛周遭残存的肌肉运动讯号，或是仰赖大脑脑波讯号来沟通，“但是国际上不但没有针对中后期病友研发的辅具，连研究资料都乏善可陈。”

用AI分析脑波来判断患者意图，以及客制化测量脑波的最佳位置

因此，为了让完全丧失肌肉运动能力的渐冻人，能透过科技来对外简单沟通，北科大研究团队，初步研发了一套辅助渐冻症病友沟通的解决方案。其中最具突破性的技术，是研发了渐冻人脑波扫描及解码算法，能针对中后期渐冻症病患脑波进行AI判读，该论文也在今年4月被发表在SCI国际期刊IEEE Consumer Electronics Magazine（IEEE CEM），获得国际性认可。

由于渐冻患者的运动神经元逐渐退化，其大脑运动皮质区与体感区的脑波活动与一般健康人不一样，若进一步观察中后期渐冻患者的脑波，更会发现每位患者脑内活跃区域也不同；因此，若要进一步对脑波进行AI判读，就需要根据脑波活跃区域来找到最佳脑波测量位置。研究团队为此研发一套渐冻人脑活动扫描算法，在扫描病患脑波活动后，能客制化找出不同病患测量脑波的最佳位置。

找到测量位置后，研发团队利用机器学习算法与碎形维度，来萃取细微的脑波变化，来开发一套能辨识“是”与“否”的算法，借此来判断病患要表达的意思。特别的是，这边的辨识“是”与“否”，并不是真的让病患想像这两个字眼，而是让病患自行定义“是”与“否”所代表的动作。

比如说，“是”代表右手握拳，“否”代表左手握拳，尽管无法控制肌肉运动，但借由想像肌肉的运动，能让脑波产生变化，而AI模型就能根据些微的变化来进行判读；也因为每个人的脑波影像不同，同一套算法会根据不同人的影像资料，来训练适用于不同患者的模型，病患也能自行定义回答“是”与“否”时，要想像的动作。

这套能辨识“是”与“否”的脑波算法，已经针对5位病患进行脑波判读实测，其辨平均识准确率达到85%，且用来辨识的次数越多，模型辨识率也会再提升。未来，研究团队也要开发能辨识4个选项的AI算法，比如说透过系统界面来显示位于上、下、左、右的4个选项，病患能透过想像4个方向各别代表的动作，让系统判读脑波做出选择。

刘益宏也表示，目前市售脑波仪分两种，一种是单纯撷取脑波数据却没有判读功能，另一种则是用来量测专注力，不具有沟通的效果，“我们应该是全球第一个将脑波判读技术，应用在中后期的渐冻人患者上。”

针对5位病患进行脑波判读实测，其平均辨识准确率达到85%。

模拟使用脑波感测电极帽（E-Cap）以及多功能脑机界面。

运用脑机界面来回答问题时，如果AI侦测脑波判断为“是”，界面十字处将会显示“是”。

也能跳转到沟通内容清单，左边是生理需求、右边是心理需求，其下各有三个选项，此时，系统将会停留在各个选项，由病友针对每个选项来回答是／否，借此确认需求。

脑波帽是用热塑形3D立体织物的技术来做，能先扫描病友头形，以及确认电极点定位，再客制化制作来服贴头形，让穿戴体验更舒服。

透过眼电讯号辨识算法，让病友移动眼球方向来表达意图

另一个眼控装置，则是透过算法从纵向、横向的眼电讯号，训练出能辨识五种眼球运动的模型，分别是上、下、左、右、眨眼，这是要让眼球已经无法灵活运动，却还是能做到轻微移动及眨眼的患者使用。刘益宏表示，市面上的瞳孔追踪技术已经发展成熟，较适合眼球仍灵活的初期渐冻症患者，所以研发团队把重心投入眼电讯号辨识算法的开发。

首先，研究团队用5位一般人来测试该算法，执行上下左右4个动作并重复十次，平均辨识率能达到92%。接着，先筛去眼动讯号过于微弱以致于无法分析的病友，并对其中6位病患进行眼动测试，目前，其中4位已经可以成功使用这套服务系统，而另外两位的信号接收较不稳定，还有技术上的问题需要克服。

刘益宏表示，眼控系统未来可以跟智慧眼镜或AR/VR结合，让患者长时间穿戴也能兼具舒适性与便利性，甚至能躺在床上来操控家中电器用品，或是呼叫照护者提供协助。

模拟病友使用智慧眼控系统。

能使用的功能包括叫人铃、沟通内容、家电控制、以及智慧沟通系统。

眼控感应装置从眼罩式改良成现在的头带式。

头带式感应装置的感测贴片，以三点式金属片量测横向与纵向眼电讯号。

用小样本语音合成技术来重建病患声音，来解决病友语料不足问题

此外，为了更人性化的让患者用声音传达想法，研究团队要用语音合成技术来重建病患的声音。然而，一般要合成特定对象的声音，需要庞大的语料来进行分析与合成，但病友能提供的语音样本不足，品质通常也不佳，成为重建过程的最大问题。

因此，研发团队开发小样本语音合成技术，用渐冻患者的残存语料与一般人的语料，合成趋近于原音的表现，“虽然还没办法完美还原原音，但已经有某种相似度。”而这个技术，也将运用在脑波辨识系统与眼控系统中，让患者透过脑波或眼球移动来选择意图时，也能用接近原音的声音来说出需求。

而这套渐冻症病友智慧沟通系统的实测，则是交由荣总复健科医师来负责进行医学临床评估。评估团队实地拜访位于台北、基隆、桃园的20位病患来进行问卷评估，也以临床的忧郁指数量表，来对比病友与病友家属使用该系统前后的忧郁指数。从结果来看，平均忧郁指数下降了33.2%，而各别案例的忧郁指数也都呈现不等量的下降。

针对病友与病友家属的临床的忧郁指数量表，可以看见使用该系统后忧郁指数明显下降。

刘益宏表示，虽然这套系统是全球第一个针对后期渐冻病患，所设计的智慧沟通系统，并且已经得到初步验正，但要真正上市量产，还有一段路要走，不仅技术还要持续优化，临床测试也不可或缺。不过，目前已经与一家国际企业洽谈合作，对方将会投入资金、硬件制造等资源，来加速该系统的产品化。