3072張80GBA100訓練GPT,最大規模模型參數量是GPT-3原版規模的5倍 ChatGPT 帶動算力需求飆升,存算側硬件全面增量需求。據 NVIDIA 估算,訓練 GPT-3,假設單個機器的顯存/內存容量足夠的前提下,8 張 V100 顯卡訓練時長預計達 36 年,1024 張 80GBA100 顯卡完整訓練 GPT-3 的時長為 1 個月,算力側硬件需求全面增長。 行業數據 下載Excel 下載圖片 原圖定位