? 預訓練大模型進入千億參數時代，模型訓練算力需求邁上新臺階。自GPT-3模型之后，大規模的自然語言模型進入了千億參數時代，2021年之后涌現出諸多千億規模的自然語言模型，模型的訓練算力顯著增加。ChatGPT模型參數量為1750億，訓練算力需求為3.14*1023 flops，當前各種預訓練語言模型還在快速的更新迭代，不斷刷新自然語言處理任務的表現記錄，單一模型的訓練算力需求也不斷突破新高。