当前位置: 首页 » 资讯 » 人工智能 » 正文

解密诺贝尔物理学奖为啥颁给AI?Hinton和Ilya 12年前对话,竟引发物理诺奖AI风暴!

IP属地 北京 编辑:陆辰风 书圈 时间:2024-10-10 09:18:48

新智元报道

编辑:编辑部 HYZ

诺贝尔物理学奖公布第三天,争议依然未平息。诺奖官号都被愤怒的网友冲了:AI不是物理学!Hopfield网络和反向传播算法究竟与物理学有何关系?这要从Hinton和Ilya 12年前的那件事说起。

诺贝尔物理学奖一公布,瞬间炸翻了物理圈和AI圈。

Hinton的第一反应更是有趣:这不会是个诈骗电话吧?

如此出乎意料的结果,让各路针对诺奖物理学奖的严肃预测,都仿佛成了笑话。

而诺贝尔奖的官方账号,也被网友们给冲爆了。

他们纷纷高呼:这不是物理学!

「数据科学或神经网络是『用于』物理学,但绝对不『是』物理学。」

相比之下,AI圈则是一片其乐融融的景象。大佬们都开心地给Hinton送去了祝福。

左右滑动查看

AI教母李飞飞:AI的深远影响,如今才刚刚开始

MIT博士生Ziming Liu直言:「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果,但唯有科学才能带来从无到有的突破。

Jim Fan则做了一个非常有趣的「AI-物理学对照表」:

想冲击诺奖的AI学者们,你们学会了吗

言归正传,诺贝尔物理学奖,为何要颁给AI学者?

这就要从深度学习爆发的那一年讲起。

Geoffrey Hinton:2012年,深度学习的惊人革命

早在1986年,Geoffrey Hinton等人在Nature上发表的论文,就让训练多层神经网络的「反向传播算法」广为人知。

当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。

可以说,神经网络在经历第一波寒冬之后,自此开始重新走向AI舞台。

1989年,LeCun率先使用了反向传播和卷积神经网络。他也同意Hinton的看法。

我毫不怀疑,最终我们在上世纪80-90年代开发的技术将被采用。

早期的图灵三巨头

不过,反向传播算法引发的热潮,随后又在1995年被统计机器学习盖过去了。

统计机器学习的风头兴盛了很多年,即使2006年Hinton在Science上首次提出「深度学习」,业内也响应寥寥。

直到2012年9月,一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文,让此前沉寂多年的AI领域热度骤起。

文中提出的AlexNet深度卷积神经网络,在当年的ImageNet比赛上以碾压之势夺冠,一举将top-5错误率降低到了15.3%,比身后的第二名(26.2%)足足高出10多个百分点。

ImageNet数据集,正是由斯坦福李飞飞团队在2007年创建。

AlexNet摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。

后来人们所讲的「深度学习革命」,也借此文以发端,直到十二年后的今天。

事后李飞飞这样回顾:自2012年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。

自此,人们开始相信:大数据、算力、深度模型,是走向通用人工智能的关键三要素。

而深度模型也从最早的卷积神经网络,迭代为递归神经网络、Transformer、扩散模型,直至今天的GPT。

从生理学、哲学到AI:大脑究竟如何思考

在年轻时,为了弄清楚人类的大脑如何工作,Hinton首先来到剑桥学习生理学,而后又转向哲学,但最终也没有得到想要的答案。

于是,Hinton去了爱丁堡,开始研究AI,通过模拟事物的运行,来测试理论。

「在我看来,必须有一种大脑学习的方式,显然不是通过将各种事物编程到大脑中,然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接,以便它可以做复杂的事情。」

「我总是受到关于大脑工作原理的启发:有一堆神经元,它们执行相对简单的操作,它们是非线性的,它们收集输入,进行加权,然后根据加权输入给出输出。问题是,如何改变这些权重以使整个事情做得很好?」

某个周日,Hinton坐在办公室,突然有人敲门。AI命运的齿轮从此转动。

敲门的正是Ilya。

当年青涩的Ilya

Hinton给了Ilya一篇关于反向传播的论文,约定两人一周后讨论。

Ilya:I didn't understand it.

Hinton:这不就是链式法则吗?

Ilya:不是,我不明白你为啥不用个更好的优化器来处理梯度?

——Hinton的眼睛亮了一下,这是他们花了好几年时间在思考的问题。

Ilya很早就有一种直觉:只要把神经网络模型做大一点,就会得到更好的效果。Hinton认为这是一种逃避,必须有新的想法或者算法才行。

但事实证明,Ilya是对的。

新的想法确实重要,比如像Transformer这样的新架构。但实际上,当今AI的发展主要源于数据的规模和计算的规模。

2011年,Hinton带领Ilya和另一名研究生James Martins,发表了一篇字符级预测的论文。他们使用维基百科训练模型,尝试预测下一个HTML字符。

模型首次采用了嵌入(embedding)和反向传播,将每个符号转换为嵌入,然后让嵌入相互作用以预测下一个符号的嵌入,并通过反向传播来学习数据的三元组。

当时的人们不相信模型能够理解任何东西,但实验结果令人震惊,模型仿佛已经学会了思考——所有信息都被压缩到了模型权重中。

AI如何「蹭」上物理学

讲到这里,你可能有一个疑问:这些跟物理学有什么关系呢?

诺奖委员会的解释是,人工神经网络是用物理学工具训练的。

Geoffrey Hinton曾以Hopfield网络为基础,创建了一个使用不同方法的新网络:玻尔兹曼机。在这个过程中,Hinton使用的是统计物理学的工具,来学习和识别数据中的模式。

就这样,AI跟物理学联系上了。

如果讲到此次另一位获奖者John Hopfield,倒是和物理学的关系更紧密一些。

一言以蔽之,Hopfield网络是按物理学上能量函数最小化来构建的,可以看作是物理学中「自旋玻璃模型」的扩展。

Hopfield网络利用了材料由于其原子自旋而具有特性的物理学——这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量,并通过找到节点之间连接的值来训练,使保存的图像具有低能量。

另外,Hopfield Network和玻尔兹曼机都是基于能量的模型。

统计力学原理,便是这两者的核心。它们都使用来自统计力学的能量函数,来建模和解决与模式识别和数据分类相关的问题。

在前者当中,能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中,能量函数通过调整节点之间连接的权重来帮助学习数据的分布。

至此,诺奖委员会就自圆其说了。

John Hopfield:一个想法,波及三大学科

20世纪80年代初,John Hopfield在加州理工学院创建了一个简单的计算机模型——Hopfield Network。

其行为方式不太像当时的计算机,而更像人脑。

这是因为,Hopfield Network模仿了人脑储存信息的结构。它由相互连接的节点组成,正如人脑中的神经元一样。

节点中的连接强度具有可塑性,可强可弱,而强连接进而形成了我们所说的「记忆」。

Hopfield学生,现Caltech计算机科学、计算与神经系统以及生物工程教授Erik Winfree解释道:

Hopfield Network是物理学中「自旋玻璃模型」(the spin glass model)的扩展。自旋玻璃有两种磁化状态,可以称之为它的「记忆」。

Hopfield扩展了这一模型,让其有了更复杂的连接模式。

简言之,他使用一个简单的规则,让每对单元(每个节点)之间有不同的连接强度,而不再局限于两种状态。

他的工作证明了,这种网络可以储存多种复杂的模式(记忆),而且比之前的方法更接近大脑运作方式。

Hopfield以一种跨学科的视角阐述这个模型,解释了人工神经网络与物理学之间的联系。

复旦大学计算机科学教授张军平认为,Hopfield Network与物理学领域的关联是,它的设计思路模拟了电路结构。

「假设网络每个单元均由运算放大器和电容电阻组成,而每个单元就代表着一个神经元」。

在普林斯顿大学新闻发布会上,Hopfield表达了同样的观点。他认为,长远来看,新科学领域通常产生于,大量科学知识的交叉点上。

你必须愿意在这些「缝隙」中工作,找出你的知识局限性,以及让这些学科更丰富、更深入、更好被理解而采取的行动。

来自MIT-IBM实验室物理学家Dmitry Krotov分享了,Hopfield Network一个想法至少对三大学科产生了巨大的影响。

它们分别是,统计物理学、计算机科学和人工智能、神经科学。

2023年,他曾发表了一篇Nature论文,对Hopfield Network在统计物理、神经科学和机器学习等多个学科中,进行了分析。

论文地址:https://www.nature.com/articles/s42254-023-00595-y

Krotov本人也与Hopfield合作过多篇研究,因此他对Hopfield Network工作的了解再熟悉不过了。

统计物理学

在统计物理学中,Hopfield Model成为最常被研究的哈密顿量(Hamiltonian)之一。哈密顿量在物理学中,描述了系统的总能量,是理解系统行为的关键。

这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能,提供了切入点。

就连诺贝尔奖官方给出了解释,机器学习模型,是基于物理方程式。

计算机科学和AI

在计算机科学中,Hopfield Network终结了AI寒冬(1974-1981),并开启了人工神经网络的复兴。

Hopfield在1982年发表的论文,标志着现代神经网络的开始。

论文地址:https://www.pnas.org/doi/10.1073/pnas.79.8.2554

就连如今的顶会NeurIPS,起源可以追溯到1984-1986年在加州理工学院举行的被称为「Hopfests」的会议。

这个名字直接致敬了Hopfield,彰显了他的早期工作在神经网络研究中的核心地位。

John Moody在1991年的NeurIPS论文集中记录了这段历史。

另外,Hopfield Network成为限制玻尔兹曼机(Restricted Boltzmann Machine)发展的主要灵感来源。RBM在早期深度学习中,发挥着重要的作用。

还有基于能量的模型(Energy based Model),代表着人工智能领域中一个重要的范式。

它也是从Hopfield基于能量和记忆的模型发展而来。

神经科学

在神经科学领域,Hopfield Network成为后来许多计算记忆模型的基础。

它将记忆回忆概念化,即能量景观中滚下山坡的想法,已成为神经科学中的经典隐喻。

这次「诺奖风波」后,许多人也对如今的学科分类有了全新的思考。

不可否认的是,AI已经融入了全学科、全领域。

而这次诺贝尔物理学奖颁给AI,也是AI大爆发对于人类社会颠覆影响的一个真实写照。

参考资料:

https://x.com/Caltech/status/1843764971022495942

https://x.com/DimaKrotov/status/1843682498825564463

https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/

https://x.com/DrJimFan/status/1843681423443800315

声明:本文版权归原作者及原出处所有,内容为作者观点,并不代表本公众号赞同其观点及对其真实性负责。如涉及版权等问题,请及时与我们联系,我们立即更正或删除相关内容。本公众号拥有对此声明的最终解释权。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新