研究人员首次将脑信号直接转换为语音
在《科学报告》杂志上发表的一项突破性研究中,纽约哥伦比亚大学(CU)的工程师描述了一种系统,该系统能够监视人的大脑活动并将相关位转换为清晰,易于识别的语音。
“我们的声音有助于将我们与我们的朋友,家人和周围的世界联系起来,这就是为什么由于受伤或疾病而失去声音的能力如此具有破坏性的原因,”该论文的资深作者,校长尼玛·梅斯加拉尼(Nima Mesgarani)博士说。 CU的Mortimer B. Zuckermann思维脑行为研究所的研究员。
经过进一步的调整和更新,使用当前可用的语音合成器和人工智能构建的系统很快将成为因中风或肌萎缩性侧索硬化症(ALS)等疾病而失去发言能力的人们的生命线。
此外,转换与听觉和产生的与语音相关的大脑模式的能力可能对从事脑机接口(BCI)应用程序研究的研究人员非常有用。
在这项研究中,尼玛·梅斯加拉尼(Nima Mesgarani)和他的同事招募了一群接受脑部手术的癫痫患者,他们被要求听取不同人所说的句子,而研究团队则对他们的大脑活动进行了测量。
用于将思想转换为单词的大脑植入物可能比人们想象的要近。图片来源:通过flickr.com的健康博客,CC BY-SA 2.0。
接下来,参与者在录制大脑信号的同时聆听说话者背诵0到9之间的数字,然后将其输入到声码器中。声码器是一种计算机算法,能够在对讲话的人的录音进行训练后合成语音。由Amazon Echo和Apple Siri使用)。
经过一些清理后,多达75%的参与者成功识别了机器人声音,这超出了以往的任何尝试。
该团队现在计划使用更多的强迫词进行进一步的实验,希望最终将该系统用作植入物的一部分,类似于癫痫患者所佩戴的植入物,该植入物可以将思想直接转化为语音。
Mesgarani博士说:“在这种情况下,如果佩戴者认为'我需要一杯水',我们的系统可以吸收由该想法产生的大脑信号,并将其转变为合成的口头言语。” “这将改变游戏规则。这将给任何因语言能力受损或受伤而失去发言能力的人重新提供与周围世界联系的机会。”