“意念打字”新方法:每分钟能写近 30 个字母,错误率仅 6.13%
消息来源:baojiabao.com 作者: 发布时间:2024-05-10
戴上一套特殊装备后,就能把自己的想法在屏幕上展示出来。
-- 没错,这位无法说话的瘫痪者正在"意念回复"ing……
他在脑中默读字母的"代号"*,平均约 2 秒钟就可以输出一个字母,最终平均字符错误率仅 6.13%。
研究者表示,这种脑机接口堪称截瘫和渐冻症患者的福音:
从大脑活动中解码语音来帮患者"说话",是一种非常有潜力的新方案!
去年,斯坦大学研究团队也给一位瘫痪且无法说话的老爷子植入了脑机接口,成果还登上了 Nature 封面。
虽然准确率超过了 99%,但他们用的另一种方式:让患者在脑中"手写"字母。
而现在这个用脑机接口来读取大脑中"语音"的团队,来自加利福尼亚大学旧金山分校(UCSF)。
最近,他们的相关论文登上了 Nature Communications。
下面就来看看这群研究者具体是如何操作的。
植入脑机接口,读取大脑"语音"
植入患者头部的设备如下:
一组高密度的电极,即 128 通道皮质电图(ECoG)阵列;另外还有一个经皮连接器,用来连接植入设备和外部系统。
其实早 2019 年,这些设备就被植入到该患者的头部。几年过去了,目前没有任何手术并发症。
在拼写测试正式开始前,是数据的收集和预处理。
研究人员通过植入的 ECoG 阵列以及外部计算机系统,来提取并分析患者神经特征,包括高伽马活动(High-gamma activity,HGA)和低频信号( Low-frequency signal,LFS)等。
其中,高伽马活动是判断成年人认知功能的重要指标;而分析低频振荡则有助于判断大脑中想象的语音以及脑损伤程度。
为了提高数据质量,研究者使用滤波器对所得数据进行了降噪处理。
研究者由这些数据得出,虽然患者瘫痪且无法说话,但他的脑子基本正常。
下面,拼写试验正式开始 -- 首先,患者在大脑中默念一个单词来自动唤醒 AI。
然后根据屏幕上显示出的问题,在脑子中按字母作答,并根据提示每 2 秒左右想象一个字母。
不过他在脑中默念的并非每个字母本身读音,而是其 NATO 代码(比如 α 代替 a,β 代替 b)。
因为 NATO 代码比字母本身发音更长、更多变,按理来说应该更容易被辨别。
为了证明默念 NATO 代码发音确实比字母本身发音效果更好,研究人员还专门做了对比实验。
结果显示,默读 NATO 代码时,大脑神经的活动整体差异性真的比读字母原发音明显,并且总体识别准确率也更高。
在患者"意念输出"的同时,基于 RNN 的字母分类模型会处理每一个神经时间窗。
研究者设计了单词错误率(WER)、字符错误率(CER)、每分钟单词数(WPM)等指标来评估解码的句子。
结果显示,对于一个 1152 个单词的词汇表,字符错误率的中位数近 6.13%,单词错误率的中位数为 10.53%。
也就是说,患者想象的这些单词中,近九成都能一次性准确表达。
另外,研究人员还将这一方法推广到包含 9170 个单词的词汇表中,字符平均错误率也仅 8.23%。
实际上,该团队在去年就搞出了类似的"意念输出"装备,当时他们让开头这位瘫痪且失语多年的患者成功"说话",每分钟能表达 15 个单词左右。
但当时这个 AI 掌握的总词汇量少得可怜,只有 50 多个,且解码错误率约为 25%。
由此可见,在一年左右的时间内,研究团队对这个脑机接口完成了飞跃式升级。
当然,他们也表示,患者目前必须按以预先设定的速度来想象字母读音(比如每 2.5 秒想象一个),这样还不够灵活。
而且现在的结果仅限于一个参与者,该方法效果到底怎么样,后续还需要在更多的患者中得到验证。
研究团队简介
最后,再来看看本研究背后的团队:他们来自加利福尼亚大学旧金山分校(UCSF)韦尔神经科学研究所。
UCSF 是加州大学系统的十所分校之一。
论文的共同一作有 3 位:Sean L. Metzger,Jessie R. Liu 和 David A. Moses,他们目前均为 UCSF 的博士研究生。
通讯作者 Edward F. Chang 教授,现任神经外科医生兼 UCSF 神经外科系主任。
Chang 教授博士毕业于 UCSF,后曾到 UC 伯克利从事认知神经科学的博士后研究。
他的重点研究方向为语言、运动和人类情感的大脑机制,希望能借此帮助瘫痪和语言障碍患者恢复一定的正常功能。
论文地址:
https://www.nature.com/articles/s41467-022-33611-3
参考链接:
[1]https://www.youtube.com/watch?v=RRX0j32ABSU
[2]https://bigthink.com/neuropsych/brain-implant-letters-paralyzed-speak/
[3]https://www.nature.com/articles/s41586-021-03506-2
本文来自微信公众号:量子位 (ID:QbitAI),作者:Alex
2022-12-21 19:16:49相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24