
大模型興起和生成式人工智能應用對算力訓練與推理的需求指數級提升,AI 服務器作為算力關鍵基礎設施進入高景氣周期。隨著大模型的不斷演進,大模型所需訓練與推理算力需求指數級提升,主要由于:(1)模型復雜度提升,比如Transformer 架構的 BERT、GPT 等大模型,參數規模與復雜度顯著提升;(2)數據集規模大幅擴張;(3)推理的實時性和低延遲需求。根據 OPEN AI,1746億參數的 GPT-3 模型大約需要 375-625 臺 8 卡 DGX A100 服務器(對應訓練時間 10 天左右),對應 A100 GPU 數量約 3000-5000 張,GPT4.0 參數量約為 1.8萬億左右,對應 13 萬億訓練數據,所需算力進一步指數級提升。