AI进化论06:连接主义的复兴——神经网络的“蛰伏”与“萌动”
各位老铁,上回咱们聊了AI的第一次“寒冬”,符号主义AI因为各种“bug”和“坑”被“打入冷宫”。但就在这冰天雪地里,另一条“技术路线”——连接主义(Connectionism),却在默默地“积蓄力量”。这连接主义啊,跟符号主义完全是两个路子:符号主义是“硬编码”,连接主义就是“数据驱动”,让机器自己“悟”!
1. 符号主义的另一面:从“规则”到“数据”,让机器自己“悟”
符号主义强调“规则”和“逻辑”,就像我们写代码,把所有业务逻辑都用if-else写得明明白白。但连接主义呢,它更侧重于“数据”和“学习”。它觉得,智能这玩意儿,不是你把规则写得多全就能搞定的,而是机器得能从海量数据中自己“悟”出规律,通过调整神经元之间的“连接强度”(也就是我们说的“权重”),来适应新的输入。这不就是我们现在说的“机器学习”嘛!
2. 早期的火花:感知机与它的“冬天”——一个“Hello World”级别的bug
连接主义的“火种”,其实很早就有了。1943年,两位老哥就搞出了M-P神经元模型,这是最早的“人工神经元”,模拟了生物神经元的简单工作方式。这玩意儿,就像我们现在写代码,先搞个“Hello World”出来。
1957年,又有个叫罗森布拉特的老哥,发明了感知机(Perceptron)。这玩意儿,就是个能学习分类的简单神经网络,能通过调整权重来识别模式,比如区分不同形状的图片。这在当时可把大家激动坏了,觉得AI要起飞了!
但好景不长,1969年,明斯基和佩珀特两位大佬,合写了本《感知机》的书。这本书“严谨”地证明了,单层感知机解决不了“异或(XOR)问题”——这玩意儿,就是个简单的非线性分类问题,在我们现在看来,简直是个“Hello World”级别的bug!但当年,这结论直接给神经网络“判了死刑”,导致了神经网络研究的第一次“寒冬”。很多研究员都跑去搞符号主义AI了。
3. 蛰伏中的突破:反向传播算法——打通神经网络的“任督二脉”
虽然感知机“翻车”了,但总有那么几个“死心眼”的,没放弃。在20世纪70年代和80年代,一系列关键的算法突破,为神经网络的“复活”奠定了基础:
- 多层感知机: 大家发现,只要给神经网络多加几层(也就是“隐藏层”),它就能解决非线性问题,包括那个“异或问题”!
- 反向传播(Backpropagation)算法: 这玩意儿,简直是神经网络发展史上的“神来之笔”!虽然它的核心思想早在1974年就被提出了,但直到1986年,才被鲁梅尔哈特、辛顿和威廉姆斯这几位大佬重新“挖”出来,并推广开来。反向传播算法,就像给神经网络打通了“任督二脉”,让它能高效地学习和调整权重,从而从数据中“悟”出更复杂的模式。
反向传播算法的出现,让训练多层神经网络成为可能,极大地提升了神经网络的“学习能力”和“表达能力”。这不就是我们现在说的“深度学习”嘛!
4. 并行分布式处理:寒冬中的“抱团取暖”
1986年,鲁梅尔哈特、辛顿和麦克莱兰这几位大佬,还出了本书叫《并行分布式处理》。这本书系统地阐述了连接主义的理论框架,展示了神经网络在认知科学领域的潜力。这标志着连接主义研究的正式“复兴”,吸引了大量研究员重新投入到神经网络的“怀抱”。这不就是寒冬中“抱团取暖”嘛!
5. 萌动中的局限:没数据,没算力,再牛也白搭
虽然反向传播算法带来了突破,但20世纪80年代和90年代的神经网络研究,依然面临着“没数据,没算力”的困境:
- 计算能力不足: 训练大型神经网络,那可是个“算力吞噬兽”,当时的计算机性能根本喂不饱它。
- 数据稀缺: 巧妇难为无米之炊,没有大规模的标注数据集,神经网络再能学也白搭。
- “梯度消失”问题: 随着网络层数越深,反向传播过程中梯度会变得非常小,导致深层网络训练起来“跟便秘一样”,极其困难。
这些“硬伤”,让神经网络在当时的应用仍然有限,没能像后来的深度学习那样“一飞冲天”。但连接主义的“火种”已被重新点燃,为未来的“大爆发”积蓄着能量。
结语
在AI的第一次寒冬中,连接主义以其独特的“数据驱动”视角和反向传播算法的突破,为AI研究开辟了新的“技术路线”。虽然当时的“硬件条件”和“数据条件”限制了它的“发挥”,但神经网络的“蛰伏”与“萌动”,预示着一场更深刻的变革即将到来。正是这些看似微小的进步,最终汇聚成了AI的下一次浪潮。
下一篇,咱们就聊聊第二次AI寒冬,看看当年AI是怎么“改头换面”,从“AI”变成“机器学习”的,以及它为深度学习的爆发做了哪些“铺垫”。敬请期待!