神經網絡結構——Transformer 架構，2018 年，OpenAI 和 Google 分別發布了 GPT-1 與 BERT 大模型，意味著預訓練大模型成為自然語言處理領域的主流。2020 年，OpenAI 推出 GPT-3，模型參數規模達 1750 億，2023 年再度推出 GPT-4，此外，百度推出文心大模型，華為宣布建設盤古大模型等，AI 大模型快速發展。2024 年，OpenAI 首款文生視頻模型--Sora 模型，完美繼承 DALL·E 3 的畫質和遵循指令能力，其支持用戶輸入文本描述，生成一段長達 1 分鐘的高清流暢視頻。