AI读心工具:1小时脑扫描即可重建所见图像

据MIT Technology Review 10月1日报道,以色列魏茨曼科学研究所的计算机科学家米哈尔·伊拉尼(Michal Irani)及其团队开发出一种AI工具:只需分析功能性磁共振(fMRI)脑扫描数据,就能以相当高的精度重建一个人当时正在观看的图像,反过来还能根据图像预测其脑活动。
以往从脑信号重建视觉的尝试大多产出模糊难辨的图像——模型也许能判断受试者看到的是一根香蕉,但重建图的位置、大小和背景往往对不上。伊拉尼团队改用分辨率更高的扫描数据集,每个体素(三维像素)仅覆盖约一立方毫米的脑组织,远小于传统fMRI约三立方毫米的体素。
系统采用双分支"大脑解码器":一个分支负责预测图像的空间结构与轮廓、色彩分布,另一个分支负责识别高层语义内容(比如"盘子里的一串香蕉"),两路信号随后汇入图像扩散模型,逐步把随机噪声细化为接近原始画面的重建结果。
训练数据短缺是这一领域的老大难——配对的"图像+脑扫描"数据非常稀缺。团队的解法是再训练一个反向的"通用大脑编码器",让它从任意图像预测对应的脑活动;编码器与解码器互相配合、循环打磨,使约70%的训练数据来自从未有真人躺在扫描仪里看过的图像。
这套方法的实际收益是成本:以往的工具在新受试者身上通常需要约40小时的fMRI数据才能可靠工作,而伊拉尼的解码器只需1小时校准。加州大学圣塔芭芭拉分校神经科学家汤米·斯普拉格指出,fMRI扫描费用约为每小时600至1000美元,"没人负担得起为新受试者做40小时扫描",新方法能让更大规模的实验室用上这类技术。
当然它远不完美。伊拉尼在演示中展示了失败案例:受试者看到的蛋糕被重建成一叠三明治,浴缸里的狗则变成了一只毛色相同的山羊。但在对比测试中,该工具明显优于以往已发表的方法。这项成果上个月在纽约举行的认知计算神经科学会议上公布。
研究同时引发了"神经隐私"担忧。专家警告,类似的生成式解码方法若迁移到脑电图(EEG)等便携设备上,未来可能被用来在本人不知情或未同意的情况下提取其想法与心理意象。伊拉尼则计划把系统从静态图像扩展到视频、音频,进而尝试重建人的想象与梦境,并希望帮助完全瘫痪的闭锁综合征患者仅凭脑活动进行交流。
编译自 MIT Technology Review,原标题:"An AI 'mind-reading' tool can reconstruct what you're looking at from a brain scan"