模型訓練成本呈指數級增長。2017 年谷歌訓練 Transformer 模型時，訓練成本僅為 930美元，而谷歌 2023年發布的 Germini Ultra模型訓練成本已經達到 1.914億美元。伴隨模型參數增長、復雜程度提升，訓練硬件數量使用越多、集成程度更高、訓練時間越長，訓練成本隨之激增。當前大模型距離通用人工智能仍有一定差距，大模型訓練成本或將保持高速增長。