神经网络一直在推动人工智能领域的突破，包括目前广泛应用于从金融、人力资源到医疗保健等广泛应用的大型语言模型。但这些网络仍然是一个黑匣子，工程师和科学家很难理解其内部运作方式。

现在，由加州大学圣地亚哥分校的数据和计算机科学家领导的团队为神经网络提供了相当于X射线的图像，以揭示它们实际上是如何学习的。

研究人员发现，统计分析中使用的公式提供了神经网络(例如ChatGPT的前身GPT-2)如何学习数据中的相关模式(称为特征)的简化数学描述。该公式还解释了神经网络如何使用这些相关模式进行预测。

“我们正试图从基本原理来理解神经网络，”博士丹尼尔·比格尔霍尔(DanielBeaglehole)说。加州大学圣地亚哥分校计算机科学与工程系的学生，也是该研究的共同第一作者。“通过我们的公式，人们可以简单地解释网络使用哪些特征来进行预测。”

该团队在《科学》杂志上发表了他们的发现。

为什么这很重要?人工智能驱动的工具现在在日常生活中无处不在。银行用它们来批准贷款。医院使用它们来分析医疗数据，例如X射线和MRI。公司用它们来筛选求职者。但目前很难理解神经网络用于做出决策的机制以及可能影响决策的训练数据中的偏差。

“如果你不了解神经网络如何学习，就很难确定神经网络是否产生可靠、准确和适当的响应，”该论文的通讯作者、加州大学圣地亚哥分校Halicioglu数据科学研究所教授MikhailBelkin说。“考虑到机器学习和神经网络技术最近的快速发展，这一点尤其重要。”

这项研究是贝尔金研究小组更大努力的一部分，旨在开发解释神经网络如何工作的数学理论。“技术已经远远超过了理论，”他说。“我们需要赶上。”

该团队还表明，他们用来理解神经网络如何学习的统计公式(称为平均梯度外积(AGOP))可以应用于提高不包含神经网络的其他类型机器学习架构的性能和效率。

贝尔金说：“如果我们了解驱动神经网络的基本机制，我们应该能够构建更简单、更高效、更可解释的机器学习模型。”“我们希望这将有助于人工智能的民主化。”

贝尔金设想的机器学习系统需要更少的计算能力，因此也需要更少的电网电力来运行。这些系统也不会那么复杂，因此更容易理解。

用例子说明新发现

(人工)神经网络是用于学习数据特征之间关系(即识别图像中的特定对象或面部)的计算工具。任务的一个示例是确定新图像中的人是否戴着眼镜。机器学习通过向神经网络提供许多标记为“戴眼镜的人”或“不戴眼镜的人”的图像的示例(训练)图像来解决这个问题。

神经网络学习图像及其标签之间的关系，并提取做出决定时需要关注的数据模式或特征。人工智能系统被认为是黑匣子的原因之一是因为通常很难用数学方式描述系统实际使用什么标准来进行预测，包括潜在的偏差。这项新工作为系统如何学习这些特征提供了简单的数学解释。

特征是数据中的相关模式。在上面的示例中，神经网络学习并使用多种特征来确定照片中的人是否确实戴着眼镜。

对于这项任务，需要注意的一个特征是脸部的上半部分。其他特征可能是眼镜经常放置的眼睛或鼻子区域。网络选择性地关注它学到的相关特征，然后丢弃图像的其他部分，例如脸部的下半部分、头发等。

特征学习是识别数据中相关模式，然后使用这些模式进行预测的能力。在眼镜示例中，网络学会关注脸部的上半部分。在新的《科学》论文中，研究人员确定了一个统计公式来描述神经网络如何学习特征。

替代神经网络架构：研究人员继续证明，将该公式插入到不依赖神经网络的计算系统中，可以使这些系统更快、更高效地学习。

“我如何忽略不必要的事情?人类很擅长这一点，”贝尔金说。“机器也在做同样的事情。例如，大型语言模型正在实现这种‘选择性关注’，但我们还不知道它们是如何做到的。在我们的《科学》论文中，我们提出了一种机制，至少解释了机器学习的一些机制。神经网络正在‘选择性地关注’。”

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：