單一大模型路線下，需要完成大規模參數計算。以 GPT-3 模型為例，隨著模型朝更大體量的方向演進，參數量從 GPT-3 Small 的 1.25 億個增長到 GPT-3 175B 的 1746 億個，一次訓練所需的計算量從 2.6PFlop/s-day 增至 3640PFlop/s-day。與此同時，在不同學習樣本 （包括小 樣本、單一樣本、零樣本）條件下的模型，隨 著參數量的提升均實現不同幅度的上下文學習能力改善，外在表現為語言準確率的提升。我們認為，隨著大模型訓練表現出越來越強大的實戰能力，未來或將成為 NLP 訓練的主流選擇。