如何理解大模型的涌现能力？

“涌现能力”是大型模型中一个备受关注的现象，请问你如何理解这个概念？它通常在模型规模达到什么程度时出现？

对“涌现能力”的理解：

“涌现能力”（Emergent Abilities）是指那些在小型模型中不存在或表现不佳，但当模型规模（包括参数量、训练数据和计算量）达到某个临界点后，突然出现并显著超越随机水平的能力。

它的核心特征是非线性和不可预测性：

• 非线性增长： 这种能力的性能表现并不随着模型规模的增加而平滑、线性地提升。相反，它会在某个规模区间内发生“相变”式的跃迁，性能从接近随机猜测的水平迅速提升到非常高的水平。
• 非直接训练： 这些高级能力通常不是通过特定的监督学习目标直接训练出来的。例如，我们没有直接教模型如何“一步一步思考”，但当模型足够大时，它通过学习海量文本中的逻辑关系，自发地获得了这种能力。

典型的涌现能力例子包括：

1. 思维链（Chain-of-Thought, CoT）： 在面对需要多步推理的数学或逻辑问题时，通过提示模型“一步一步地思考”，大模型可以生成一个连贯的推理过程并得出正确答案。小模型则无法利用这种提示。
2. 上下文学习（In-context Learning）： 无需更新模型权重，仅在Prompt中提供几个任务示例（Few-shot），大模型就能“学会”并执行这个新任务。
3. 执行复杂指令： 理解并遵循包含多个步骤、约束和否定逻辑的复杂人类指令。

出现的模型规模：

涌现能力出现的具体规模没有一个固定的数值，它取决于能力本身、模型架构、数据质量和评估任务的复杂性。

然而，根据Google等机构的标志性研究，许多引人注目的涌现能力，例如思维链推理，通常是在模型参数规模达到百亿（tens of billions）到千亿（a hundred billion） 级别时开始出现的。

• 例如，在Google PaLM模型的实验中，思维链推理能力在62B参数的模型上开始显现，而在8B和16B的模型上则完全无效。这种能力随着模型增长到540B时变得更加强大和稳定。

总而言之，“涌现能力”是“量变引起质变”在大型模型领域的生动体现，它表明单纯地扩大规模可以解锁全新的、更高级的认知能力，这也是当前LLM研究持续推动模型规模增长的核心驱动力之一。