? 預訓練自然語言模型進入千億參數 時代，模型訓練算力邁上新臺階。自GPT-3模型之 后，大規模的自然語言模型進入了千億參數時代，2021年之后涌現出諸多千億規模的自然語言模型，模型的訓練算力顯著增加。GPT-3模型參數量為1750億，訓練算力需求為3.14E+23 flops，當前各種預訓練語言模型還在快速的更新迭代，不斷刷新自然語言處理任務的表現記錄，單一模型的訓練算力需求也不斷突破新高。