这是流行的“深度学习”的唯一画笔吗？

时间：2022-07-11  来源：  作者：[db:作者]  浏览次数：

“科学的每一次进步都是一场葬礼。”埋葬的是我们曾经为之欢呼的最后的伟大进步。

上一次听到普朗克的名言是在9月中旬多伦多的一个AI研讨会上。被称为这场AI革命之父的Hinton教授在接受AXIOS采访时抛出了一个炸弹：

“我们应该抛开一切，从头开始。”

“未来的希望将寄托在一群对我所说的一切持极度怀疑态度的年轻学生身上。”

他说的都是支持过去十年AI爆发所依赖的“反向传播”，大家熟悉的流行语“深度学习”“神经网络”都是关于它的。

1986年，辛顿和他的两个研究伙伴一起发表了一篇论文。当人们质疑并放弃论文中提出的理论时，他总是坚持。如今，“深度学习”一举成为最热门的技术之一。有多少有抱负的年轻人已经开始夜以继日地研究神经网络和反向传播.他说，是时候另辟蹊径了。

辛顿在20世纪80年代已经是神经网络专家了。这里的神经网络指的是极度简化的人脑模型。当时在AI研究领域基本公认是死路一条。

在此之前，麻省理工学院的天才马文明斯基在他与另一位人工智能先驱西蒙派珀特合著的《感知机》(感知机)》一书中提出了早期的神经网络模型。同时，这本书从数学上证明了它只能执行最基本的功能。但那是在20世纪60年代末，这本书和它所代表的成就足以让学术界欢呼雀跃，被认为是机器智能向人类智能迈出的第一步。

明斯基的感知机只有两层神经元：输入和输出。理论上，在输入和输出之间增加更多的中间层可以解决很多问题。但难点在于没有人知道如何训练这样的网络，所以从实用的角度来看，大家都认为没用.除了少数不信者，如辛顿，而其他人则完全抛弃了整个神经网络。

辛顿在1986年打破了僵局，那是在明斯基提出感知机器概念的17年后。他证明了“反向传播”在训练深度神经网络中的有效性，也就是说，可以在感知器的基本输入和输出层之间增加一些中间层，通过这种机制可以有效地训练它。

然而，由于硬件提供的计算能力，“深度学习”又过了26年才真正起飞。

2012年，辛顿与他在多伦多大学的两名学生发表了一篇文章，标志着这一突破。在世人眼中，AI是一夜之间发生的奇迹，但对韩丁来说，却是延迟到来的结果。

“深度学习”这个名字来源于神经网络的“层”，有很多层，意思是“深度”。每一层都是由一个接一个不太聪明的神经元组成的。这些“神经元”就像人类的神经元一样，可以通过“接受刺激”而兴奋，然后将这种“兴奋”传递给与之相邻的神经元。每个兴奋度都用一个数字来表示，比如0.69或者87.52。除此之外，还有一个非常重要的数字，用来表示两个神经元之间的连接会传递多少“兴奋”。第二个数字旨在模拟真实大脑神经元的“触地”强度。数字越高，越能传递“刺激”。

反向传播呢？目前公认最有效的智能实现方式，但前提是要有大量的数据。这也解释了为什么大数据如此重要，为什么那些互联网巨头对数据如此饥渴。

以图像识别为例。此时的数据是位于一个神经网络中不同“层”的数百万张图片。如果目的是训练一个神经网络，让它学会识别猫，那么这些训练图片就包括两种，有猫的和没有猫的。更重要的是，每张图片都需要一个对应的logo。在建立这样的神经网络之初，神经元之间的连接权重，也就是前面提到的代表“会传递多少兴奋”的数字，通常是随机的。就好像大脑神经元的“触摸过程”没有调试过一样。反向传播的目的就是调整这些权重，让网络按照我们想要的模式工作：让顶层(输出层)的猫的画面“兴奋起来”。

在用来训练这个神经网络的第一张图片上，比如一个花盆，你把这张100x100像素的图片转换成10000个数字，每个数字分配给网络第一层的神经元，然后让这些数字代表