2024年，诺贝尔物理学奖授予了 John Hopfield 和 Geoffrey Hinton 两位科学家，以表彰他们在神经网络领域的奠基性贡献。如今，神经网络已经成为人工智能领域的核心技术之一，但为什么这项技术会获得诺贝尔物理学奖？这其实要从神经网络的发展历程说起。
* 2024年诺贝尔物理学奖得主：John Hopfield 和 Geoffrey Hinton
01
神经网络的起源与发展
神经网络的灵感源自于人类大脑中的神经元网络。早在1940年代，科学家就已经了解神经系统的基本构造：神经细胞体和突触。通过电信号和化学物质的传递，神经元之间得以相互连接，从而传递各种信息。1943年，神经生物学家 Warren McCulloch 和数学家 Walter Pitts 合作，发表了一篇重要论文。他们提出了一个简单的二进制神经元模型，并借助布尔代数来描述大脑神经元如何通过“开关”的组合产生复杂模式。这项研究标志着神经网络研究的开端，被称为 MP 模型。
到了1950年代，Frank Rosenblatt 在 MP 模型的基础上进一步发展，提出了感知机（Perceptron）模型。感知机是一种简单的二元分类器，它接收多个输入，通过加权和的计算，再经过一个简单的激活函数（大于零为1，小于零为0），最后输出结果。尽管感知机的功能相对简单，但它已经能够区分一些基本的视觉模式。然而，单层感知机存在许多限制，例如无法实现异或运算，而且多层感知机由于其黑盒特性，难以理解其内部运作，导致这一研究领域在随后的一段时间里进入低潮期。
02
Hopfield 网络：新生的希望
神经网络的研究在1980年代再次焕发活力，其中一位关键人物就是 John Hopfield。Hopfield 跨越物理学、分子生物学和神经科学多个领域，并在1982年提出了一种新型的神经网络模型，即 Hopfield 网络。该网络的设计灵感来自磁性材料的研究，尤其是原子的自旋特性。Hopfield 通过这种材料中的相互作用规律，构建了一个带有节点和连接的网络模型，类似于多个微小磁铁相互影响的原子模型。
* Hopfield 网络的概念图
在 Hopfield 网络中，每个节点都可以存储一个值（0或1），而节点之间的连接具有不同的强度。通过调整这些连接强度，使得网络能够保存图像，并在输入类似图像时进行自动校正。这种校正过程可以被比喻为小球在山谷和峰顶之间滚动，当网络接收到一个不完整或失真的图像时，就如同小球滚入最近的山谷，找到最相近的记忆模式。这一网络能够有效处理包含噪声或部分丢失的信息，甚至可以同时保存多个模式。
* Hopfield 网络的关联记忆功能
03
Hinton 与波尔茨曼机
在1980年代，Geoffrey Hinton 在 Hopfield 网络的基础上，与同事 Terrence Sejnowski 一同开发了一种新型的神经网络，称为波尔茨曼机（Boltzmann Machine）。波尔茨曼机运用了统计物理学中的概念，通过计算系统的整体能量，来估算各个模式的概率。这种网络不仅能识别训练过的模式，还能生成与之相似的新模式，因此被视为生成模型的早期例子。
* Geoffrey Hinton 的主要贡献
波尔茨曼机中的节点分为可见层和隐藏层，训练过程通过调整连接强度，使得示例模式在网络运行时出现的概率最大化。最初的波尔茨曼机效率较低，但 Hinton 和同事对其进行了改进，引入了受限波尔茨曼机（Restricted Boltzmann Machine），大大提升了计算效率。
04
深度学习的崛起与未来
尽管神经网络在20世纪90年代再次经历了低谷，但 Hinton 从未放弃。他于2006年发表了两篇重要论文，介绍了一种新颖的预训练方法，使得深度神经网络的训练成为可能。通过一系列波尔茨曼机层层预训练，优化网络的初始参数，Hinton 打开了通向深度学习的大门，也为深度学习的新时代奠定了基础。
* 深度学习中前馈神经网络的结构图
进入21世纪后，随着算法和硬件技术的突破，尤其是GPU的广泛应用，深度学习领域迎来了大爆发。如今，深度神经网络已经成为众多应用的基础，包括大规模语言模型（如 GPT-4），这些模型的规模达到数以万亿计的参数，远超当年Hopfield 网络的几十个节点。今天的人工智能领域，不仅得益于数据和算力的进步，也依赖于Hopfield 和 Hinton 两位科学家的开创性工作。
* 神经网络在多个领域中的实际应用
物理学为神经网络的发展提供了丰富的工具，反过来，神经网络也在帮助物理学家处理大量数据，如发现希格斯粒子、减少引力波测量中的噪声，甚至用于分子和材料性能的预测。随着神经网络的进一步发展，其在各个领域的潜力将继续扩大，我们也将继续探讨其可能带来的深远影响。
--- End ---
欢迎关注微软 智汇AI 官方账号
一手资讯抢先了解
喜欢就点击一下 在看 吧~