1986年,杰弗里·辛顿、大卫·鲁梅尔哈特和罗纳德·威廉姆斯在Nature发表论文,系统阐述了反向传播(Backpropagation)算法如何训练多层神经网络。算法的核心思想是:让网络预测输出,计算误差,然后将误差信号从输出层反向逐层传递,调整每个权重的微小贡献——就像给每个神经元打分:”你这次帮了多少忙?”反向传播终于解决了多层网络无法有效训练的难题,给了神经网络的第二春。
【为什么重要?】
解决了神经网络长期以来最致命的弱点——无法高效训练多层结构,为深度学习时代的到来铺平了道路。
【逻辑闭环】
解决了什么:让多层神经网络首次可以高效学习复杂特征,NLP、图像识别等任务出现突破性进展。局限是什么:当时的计算机算力和数据量严重不足——网络超过几层就会遭遇”梯度消失”,训练缓慢且不稳定。这些局限推动了后来的ReLU激活函数、批归一化、Dropout正则化等技术的发明,以及GPU加速和大数据集的建设。
觉得有用?点个赞