著名的平克·弗洛伊德歌词从浑浊但富有音乐性的声音中浮现出来：“总而言之，这只是墙上的一块砖。”但这张特殊的录音并非来自1979年的专辑“TheWall”，也不是来自PinkFloyd的音乐会。

相反，研究人员根据人们听歌曲“墙上的另一块砖，第1部分”的重构脑电波创建了它。

根据8月15日发表在《PLOSBiology》杂志上的一份新报告，这是研究人员首次仅根据大脑录音重建一首可识别的歌曲。

最终，研究小组希望他们的发现能够使脑机接口产生更自然的语音，帮助那些因瘫痪而“锁定”而无法说话的人进行交流。

加州大学伯克利分校心理学和神经科学教授、高级研究员罗伯特·奈特博士说：“现在，当我们只说话时，它就像机器人一样。”

想想与世界上最著名的被困病人之一史蒂芬·霍金相关的计算机语音。

奈特说，人类语言是由单词组成的，但它也具有音乐性，人们根据语调和节奏等音乐概念添加不同的含义和情感。

“音乐是普遍的。它可能在语言出现之前就存在于各种文化中，”奈特说。“我们希望将音乐提取信号与单词提取信号融合起来，以打造一个更加人性化的界面。”

当研究人员播放歌曲中的三分钟片段时，植入患者大脑的电极捕获了已知处理音乐属性(音调、节奏、和声和单词)的大脑区域的电活动。

这些记录收集自2012年和2013年的29名患者。奈特说，所有患者都患有癫痫症，外科医生植入电极以帮助确定导致癫痫发作的精确大脑区域。

“当他们在医院等待三次癫痫发作[以查明癫痫发作的位置]时，如果患者同意，我们可以做这样的实验，”奈特解释道。

从2017年开始，研究人员开始将这些记录的脑电波输入编程用于分析数据的计算机。

最终，该算法变得足够聪明，可以将大脑活动解码为患者几年前听到的平克·弗洛伊德歌曲的再现。

“这项研究代表了对音乐感知的神经解剖学的理解向前迈出了一步，”运动障碍神经学家、小提琴家、约翰·霍普金斯大学音乐与医学中心主任亚历山大·潘特利亚特博士说。潘特拉亚特没有参与这项研究。

潘特利亚特说：“未来声音检测的准确性需要提高，目前尚不清楚这些发现是否可以直接应用于解码语音的韵律元素——语气、语调、语气。”

“然而，这些早期发现确实有望通过针对颞上回来提高脑机接口信号检测的质量，”潘特利亚特补充道。“这为因ALS(肌萎缩侧索硬化症)或创伤性脑损伤等各种神经系统疾病而面临沟通障碍的患者带来了希望。”

加州大学伯克利分校海伦威尔斯神经科学研究所的首席研究员卢多维奇·贝利尔(LudovicBellier)表示，事实上，结果表明，大脑的听觉区域可能是再现语音的更好目标。

贝利尔说，许多早期从脑电波复制语音的研究都集中在运动皮层上，运动皮层是大脑中产生嘴巴和声带运动的部分，用于产生语音的声音。

“现在，这项技术更像是大脑的键盘，”贝利尔在一份新闻稿中说。“你无法从键盘上读出你的想法。你需要按下按钮。它会发出一种机器人的声音;当然，我所说的表达自由会减少。”

贝利尔本人从小就是一名音乐家，甚至一度在重金属乐队中表演。

利用大脑记录，贝利尔和他的同事还能够查明大脑中参与检测节律的新区域。此外，听觉区域的不同区域对不同的声音做出反应，例如合成器音符与持续的人声。

奈特说，研究人员证实，右脑比左脑更能适应音乐。

奈特说，目前技术还不够先进，人们无法使用从头皮获取的脑电图读数来重现这种语音质量。需要植入电极，这意味着侵入性手术。

“我们记录的信号称为高频活动，它在皮层上非常强大，约为10微伏，”Knight说。“但是当它到达头皮时，电压会下降10倍，这意味着它只有1微伏，这属于头皮肌肉活动的噪音水平。”

奈特补充说，还需要更好的电极才能真正实现高质量的语音再现。他指出，所使用的电极间距为5毫米，如果间距为1.5毫米，可以获得更好的信号。

“我们真正需要的是更高密度的网格，因为对于任何机器学习方法来说，重要的是你在一段时间内输入的数据量，”奈特说。“我们在3分钟内只能使用64个数据点。如果我们在6分钟内有6,000个数据点，我认为歌曲质量将令人难以置信。”

奈特说，他的团队刚刚获得了一笔资助，用于研究患有布罗卡失语症的患者，布罗卡失语症是一种干扰说话能力的脑部疾病。

“这些病人不能说话，但他们可以唱歌，”奈特说。这项研究中学到的知识可以帮助团队更好地理解为什么患有这些损伤的人可以唱出他们不能说的话。

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：