2006年,杰弗里·辛顿和学生鲁斯·萨拉赫丁诺夫在Science发表论文,提出用逐层无监督预训练解决深层网络的梯度消失问题。思路是:先用无监督学习让网络层层学会数据的基本表示,再用反向传播微调。这篇论文不仅技术上突破了多层训练的障碍,更在心理上向整个学界宣告:神经网络是认真的竞争者!辛顿将这类多层神经网络命名为”深度学习(Deep Learning)”,一个改变世界的术语由此诞生。

【为什么重要?】
正式宣告了深度学习时代的到来,吸引顶尖研究者和大量资金重新投入神经网络研究,是AI历史上最重要的转折点之一。

【逻辑闭环】
解决了什么:克服了训练深层网络时梯度消失的核心障碍,让10层以上的网络成为可能。局限是什么:预训练过程复杂,且仍然需要大量标注数据。这一局限催生了2009年ImageNet大型标注数据集,以及2012年AlexNet直接用GPU和大数据证明:有了足够的数据和算力,深层网络可以毫无悬念地碾压传统方法。

觉得有用?点个赞

作者 entai_admin

发表回复

© 2026 EntAI恩钛智能  |  上海市黄浦区人民路879号人民大楼一楼(后) | EntAI@EntAIAI.com
🔑 登录 ✨ 免费注册
友情链接: IAICA 国际智能照护协会 IAICA.NGO® OECD AI UNESCO AI Partnership on AI Stanford HAI MIT CSAIL Berkeley BAIR 清华AIR 北京智源BAAI Hugging Face Papers With Code Google DeepMind Anthropic