2020年，OpenAI发布GPT-3，参数量达1750亿，比之前最大的语言模型大100倍。GPT-3展现出令研究者震惊的”涌现能力”（Emergent Abilities）：仅用几个示例就能完成全新任务（Few-Shot Learning），不需要任何针对性训练——给它几个翻译例子，它就能翻译；给它几段代码，它就能写代码；给它法律条文，它就能做法律分析。没人编程告诉它这些，它自己”学”会了。这说明规模本身可以产生质变——足够大的语言模型会涌现出令人意想不到的能力。
【为什么重要？】
GPT-3证明了规模定律（Scaling Law）的强大威力，预示着更大模型将带来更多能力，直接开启了大语言模型的军备竞赛，并为ChatGPT奠定了技术基础。
【逻辑闭环】
解决了什么：证明规模×数据×计算可以在没有任务特定设计的情况下产生泛化智能，这是AI迈向通用性的重大一步。局限是什么：GPT-3输出流利但经常”一本正经地胡说”（幻觉问题），缺乏事实一致性，且API调用成本极高，普通用户无法触达。这些局限催生了RLHF（人类反馈强化学习）对齐技术——不只是”能说”，还要”说真话，说有用的话”，最终演化为ChatGPT。
觉得有用？点个赞