Column
LLM 基础与训练
Transformer、位置编码、解码策略、词元化、MoE 与大规模训练。
Transformer、位置编码、解码策略、词元化、MoE 与大规模训练。
部分论文与前沿算法题的原材料仅给出阅读提示，相关文章中保留提示并注明内容状态。
/ Notes
- Transformer 的自注意力机制如何工作？
- Transformer 为什么需要位置编码？
- RoPE 是什么？与绝对位置编码有什么区别？
- MHA、MQA、GQA 有什么区别？
- Encoder-Only、Decoder-Only、Encoder-Decoder 各擅长什么？
- Scaling Laws 揭示了模型、数据与计算量的什么关系？
- LLM 常见的解码策略有哪些？
- 什么是词元化？BPE 和 WordPiece 有什么区别？
- NLP 与 LLM 有什么联系和区别？
- L1 和 L2 正则化分别适合什么场景？
- 如何理解大模型的涌现能力？
- LLM 常用哪些激活函数？为什么选择它们？
- MoE 如何扩大参数量并控制推理计算量？
- 训练百亿、千亿参数 LLM 有哪些挑战？
- 了解哪些大模型开源框架？如何讨论 Qwen 与 DeepSeek？
- 面试时如何介绍读过的 LLM 前沿论文？