跳动城乡网研究表明，经过训练来执行听觉任务的神经计算模型显示出与人类听觉皮层相似的内部组织。
模仿人类听觉系统结构和功能的计算模型可以帮助研究人员设计更好的助听器、人工耳蜗和脑机接口。麻省理工学院的一项新研究发现，源自机器学习的现代计算模型正在接近这一目标。
在迄今为止最大规模的深度神经网络研究中，麻省理工学院的团队表明，大多数模型都会生成内部表征，这些表征与人们在聆听相同声音时在人脑中看到的表征具有相同的属性。
该研究还提供了如何最好地训练此类模型的见解：研究人员发现，根据包括背景噪声在内的听觉输入进行训练的模型更接近地模仿人类听觉皮层的激活模式。
“这项研究的与众不同之处在于，它是迄今为止对此类模型与听觉系统进行的最全面的比较。这项研究表明，源自机器学习的模型是朝着正确方向迈出的一步，它为我们提供了一些线索，让我们了解如何使它们成为更好的大脑模型。”大脑和认知副教授JoshMcDermott说道。麻省理工学院的科学博士，麻省理工学院麦戈文脑研究所和大脑、思维和机器中心的成员，也是该研究的高级作者。
麻省理工学院研究生GretaTuckute和JenelleFeather博士'22是这篇开放获取论文的主要作者，该论文发表在PLOSBiology上。
听力模型
深度神经网络是由多层信息处理单元组成的计算模型，可以根据大量数据进行训练以执行特定任务。这种类型的模型已广泛应用于许多应用中，神经科学家已经开始探索这些系统也可用于描述人脑如何执行某些任务的可能性。
“这些用机器学习构建的模型能够以以前类型的模型不可能实现的规模来调解行为，这引起了人们对模型中的表示是否可以捕获正在发生的事情的兴趣。在大脑中，”塔库特说。
当神经网络执行任务时，其处理单元响应其接收到的每个音频输入(例如单词或其他类型的声音)生成激活模式。这些输入的模型表示可以与听相同输入的人的功能磁共振成像大脑扫描中看到的激活模式进行比较。
2018年，麦克德莫特和当时的研究生亚历山大·凯尔(AlexanderKell)报告称，当他们训练神经网络执行听觉任务(例如从音频信号中识别单词)时，模型生成的内部表征与功能磁共振成像扫描中看到的相似。人们听到相同的声音。
freestar
从那时起，这些类型的模型得到了广泛的使用，因此麦克德莫特的研究小组开始评估更大的一组模型，看看近似人脑中神经表征的能力是否是这些模型的普遍特征。
在这项研究中，研究人员分析了9个公开的深度神经网络模型，这些模型经过训练可以执行听觉任务，并且基于两种不同的架构创建了自己的14个模型。这些模型中的大多数都被训练来执行单一任务——识别单词、识别说话者、识别环境声音和识别音乐流派——而其中两个模型被训练来执行多项任务。
当研究人员向这些模型提供在人类功能磁共振成像实验中用作刺激的自然声音时，他们发现内部模型表示往往与人脑产生的声音相似。其表征与大脑中所见的表征最相似的模型是接受过一项以上任务训练并且接受过包括背景噪声在内的听觉输入训练的模型。
“如果你在噪声中训练模型，它们会比你不训练模型时给出更好的大脑预测，这在直觉上是合理的，因为很多现实世界的听力都涉及在噪声中听到，而这似乎是听觉系统所适应的，”Feather说。
分层处理
这项新研究还支持这样的观点，即人类听觉皮层具有某种程度的分层组织，其中处理被分为支持不同计算功能的阶段。与2018年的研究一样，研究人员发现，模型早期阶段生成的表征与初级听觉皮层中生成的表征最相似，而模型后期阶段生成的表征更类似于初级皮层以外的大脑区域生成的表征。
此外，研究人员发现，经过不同任务训练的模型能够更好地复制试镜的不同方面。例如，在语音相关任务上训练的模型更类似于语音选择性区域。
“尽管模型看到了完全相同的训练数据并且架构也相同，但当你针对一项特定任务进行优化时，你可以看到它有选择地解释了大脑中的特定调整属性，”塔克特说。
麦克德莫特的实验室现在计划利用他们的发现来尝试开发能够更成功地再现人类大脑反应的模型。除了帮助科学家更多地了解大脑是如何组织的之外，这些模型还可以用来帮助开发更好的助听器、人工耳蜗和脑机接口。
“我们领域的目标是最终建立一个可以预测大脑反应和行为的计算机模型。我们认为，如果我们成功实现这一目标，就会打开很多大门。”麦克德莫特说。
