自 OpenAI 通過 GPT 3 證實增加模型參數和訓練數據量能顯著提升大模型性能后，超大規模LLM開發已成為大模型的主流技術，SOTA模型的性能一直在提升，但提升速度有所放緩。對大參數、大算力的需求已將模型訓練變成了少數機構之間的競爭，目前已形成由 OpenAI、Anthropic等研發水平領先的初創公司與微軟、谷歌、Meta、亞馬遜等資源豐富的科技公司主導的市場格局。