? 隨著大規模預訓練自然語言模型的 提出，模型的訓練過程中提出了更高的算力要求 。預訓練模型通過無需人工標注的大規模文本庫進行高算力的預先訓練，得到通用的語言模型和表現形式，再經過特定應用環境對預訓練模型進行微調，從而在各種下游應用領域得到目標任務的快速收斂和準確率提升。預訓練模型在訓練過程中不針對下游任務進行訓練，模型的泛化學習能力使其具備廣泛的下游適應能力，泛化學習能力與 模型的參數量密切相關，因而參數巨量化成為預訓 練模型的典型特征。同時隨著訓練數據量的顯著提升，預訓練模型的訓練過程中對算力提出了更高的要求。