2022 年 11 月，OpenAI 推出的 ChatGPT 火爆全網，由此拉開了大模型加速發展的序幕。OpenAI 的成功源于其利用了 Transformer 的所遵循的 Scaling Law（規模效應），在增大模型參數數量、訓練數據、用于訓練是計算量的同時，帶來系統能力穩步的增長。甚至在模型參數達到一定量級，模型能力會得到顯著提升，表明較大模型有涌現能力。