AI 大模型發展過程中，通常伴隨著模型參數量增大、訓練數據增多的趨勢，對于芯片的算力需求持續增長。根據《AI算力集群方案設計與優化》總結的過去 4 年全球主要 NLP（自然語言處理）模型，模型的參數量從 ELMo 的 9400 萬增長至 Megatron-Turing NLG 的 5300 億，增長了近 5600 倍。以 GPT-1 到 GPT-3 的發展過程為例，2018 年 6 月GPT-1 發布，GPT-1 預訓練過程是無監督的，采用了 BooksCorpus 數據集，微調過程是有監督的，主要針對語言模型，整個模型參數量達到 1.17 億，其中預訓練數據量達到 5GB。GPT-2 于 2019 年 2 月發布，預訓練過程同樣是無監督的，采用多任務學習的方式，參數量提升至 15 億，預訓練數據量提升至 40GB。GPT-3 于 2020 年 5 月發布，通過更為海量的參數來進行訓練和學習，參數量進一步提升至 1750 億，預訓練數據量提升數個數量級至 45TB。AI模型的發展在目前階段來看，更好的性能獲取通常意味著更多的參數量和更大的數據集，AI 模型的迅猛發展與芯片層面的算力進步密不可分，以 GPU 為代表的加速芯片快速迭代發展為大模型更替奠定了良好的硬件基礎。