《計算機行業深度研究：全球大模型將往何處去？-240701（61頁）.pdf》由會員分享，可在線閱讀，更多相關《計算機行業深度研究：全球大模型將往何處去？-240701（61頁）.pdf（61頁珍藏版）》請在三個皮匠報告上搜索。

1、 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。1 證券研究報告 計算機計算機 全球大模型將往何處去？全球大模型將往何處去？華泰研究華泰研究 計算機計算機 增持增持 (維持維持)研究員 謝春生謝春生 SAC No.S0570519080006 SFC No.BQZ938 +(86)21 2987 2036 聯系人 袁澤世，袁澤世，PhD SAC No.S0570122080053 +(86)21 2897 2228 行業走勢圖行業走勢圖 資料來源：Wind，華泰研究 重點推薦重點推薦 股票名稱股票名稱 股票代碼股票代碼 目標價目標價 (當地幣種當地幣種)投資評級投資評級 微軟(M

2、icrosoft)MSFT US 477.33 買入 奧多比(Adobe)ADBE US 613.45 買入 浪潮信息 000977 CH 50.67 買入 金山辦公 688111 CH 354.50 買入 福昕軟件 688095 CH 73.96 買入 泛微網絡 603039 CH 41.97 買入 中科創達 300496 CH 62.65 買入 網宿科技 300017 CH 12.08 買入 資料來源：華泰研究預測 2024 年 7 月 01 日中國內地 深度研究深度研究 大模型頭部格局基本確定，大模型頭部格局基本確定，AI Agent 將加速將加速 AGI 進程進程 我們認為，海外閉源大

3、模型已經形成 OpenAI 為首，Google、Anthropic 等緊隨的格局。在頭部閉源模型之下，Meta 引領開源模型生態，開源閉源模型差距逐步縮小。為了適配端側需求，小參數模型也在快速發展。國內看，模型百花齊放，但技術辨識度不高，23 年頭部互聯網廠商和科技企業進展較快，24 年以來初創公司開始發力長文本、MoE 等領域。展望后續，Scaling Law+Transformer 仍將長期有效，合成數據或逐漸成為關鍵數據來源。此外，AI Agent 能夠極大提高現有模型的表現，是實現 AGI 的重要推力。大模型技術是 AI 浪潮的軟件“基礎設施”，建議持續關注相關進展。多模態多模態+長文

4、本長文本+MoE 已成共識，大模型與小模型路線并駕齊驅已成共識，大模型與小模型路線并駕齊驅 頭部 GPT、Gemini、Claude 模型先后支持了多模態推理；Claude 較早實現了 200K 長文本，Gemini 將長文本推到 2M tokens；GPT-4、Mistral 展現了 MoE 架構的優勢，Gemini 也在短期內更改為 MoE 架構。共識已經形成，國內大模型廠商均在跟進，Kimi 引領長文本趨勢，MiniMax、階躍星辰較早實踐 MoE 模型。Mistral、微軟、Meta、Google 的小模型性能不斷突破，為端側 AI 打下良好基礎，成為與大模型并駕齊驅的另一條重要發展路

5、線。Scaling Law 未達邊界，算力換智能仍然成立未達邊界，算力換智能仍然成立 OpenAI 在 Scaling Law 論文中，從理論上預測了邊界遞減的存在。但實際上，OpenAI、Google 和 Anthropic 仍在踐行大參數等于高智能的路線。清華唐杰教授在 24 年 2 月北京人工智能產業創新發展大會上指出，Scaling Law 盡頭遠未到來，算力換智能繼續成立。在參數持續變大的情況下，訓練數據的需求量進一步提升，據 Epoch 預測，2030 年到 2050 年，將耗盡低質量語言數據的庫存，未來訓練數據的缺乏將可能減緩機器學習模型的規模擴展。因此，合成數據或成為關鍵。AI

6、 Agent 是是 AGI 的關鍵范式，具身智能是大模型重要落地場景的關鍵范式，具身智能是大模型重要落地場景 AI Agent 能夠自主、全流程、多步驟的執行任務，大幅延展了大模型的能力范圍，被認為是實現 AGI 的關鍵范式。斯坦福大學吳恩達教授在 24 年 3 月的紅杉美國 AI 峰會上指出，如果用戶圍繞 GPT-3.5 使用一個 Agent 工作流程，其實際表現甚至好于 GPT-4。并且 AI Agent 的能力能夠充分受益于大模型的演進。此外，大模型與機器人具身智能的結合（如 OpenAI 與 Figure），也有望隨著模型能力的迭代快速發展。我們認為，24 年 AI Agent 和具身

7、智能將成為新一代大模型的重要落地場景。GPT-5 有望推動全球算力和應用的下一階段發展有望推動全球算力和應用的下一階段發展 我們預期 GPT-5：1）MoE 架構將延續，專家參數和數量或變大；2）GPT-5及之后模型的訓練數據集質量更高、規模更大；3）在思維鏈 CoT 的基礎上，再加一層 AI 監督；4）支持更多外部工具調用的端到端模型；5）多種大小不同的參數，不排除推出端側小模型；6）從普通操作系統到 LLM 操作系統；7）端側 AI Agent 將更加實用和智能。我們認為，GPT-5 的發布有望推動全球算力和應用的下一階段發展，建議關注：海外標的，AI 應用：微軟、Adobe等。國內標的，

8、1）AI 服務器：浪潮信息等；2）AI 應用：金山辦公、福昕軟件、泛微網絡等；3）端側：中科創達、網宿科技。風險提示：宏觀經濟波動，技術進步不及預期，中美競爭加劇。本研報中涉及到未上市公司或未覆蓋個股內容，均系對其客觀公開信息的整理，并不代表本研究團隊對該公司、該股票的推薦或覆蓋。(43)(31)(20)(8)4Jul-23Nov-23Mar-24Jun-24(%)計算機滬深300 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。2 計算機計算機 正文目錄正文目錄 大模型復盤：全球格局與模型特點基本明晰大模型復盤：全球格局與模型特點基本明晰.3 全球格局：海外技術收斂，國內百花齊放

9、.3 特點#1：大模型與小模型同步發展.7 特點#2：原生多模態逐步成為頭部大模型的標配能力.11 特點#3：上下文作為 LLM 的內存，是實現模型通用化的關鍵.16 特點#4：MoE 是模型從千億到萬億參數的關鍵架構.20 大模型展望：大模型展望：Scaling Law+AI Agent+具身智能具身智能.23 展望#1：Scaling Law 理論上有邊界，但是目前仍未到達.23 展望#2：模型幻覺短期難消除但可抑制，CoT 是典型方法.24 展望#3：開源模型將在未來技術生態中占據一席之地.25 展望#4：數據將成為模型規模繼續擴大的瓶頸，合成數據或是關鍵.27 展望#5：新的模型架構出

10、現，但是 Transformer 仍是主流.29 展望#6：AI Agent 智能體是 AGI 的加速器.31 展望#7：具身智能與 LLM 結合落地加速.33 GPT-5 的幾個預期的幾個預期.36 預期#1：MoE 架構將延續，專家參數和數量或變大.36 預期#2：GPT-5 及之后模型的訓練數據集質量更高、規模更大.37 預期#3：在思維鏈 CoT 的基礎上，再加一層 AI 監督.37 預期#4：支持更多外部工具調用的端到端模型.38 預期#5：多種大小不同的參數，不排除推出端側小模型.39 預期#6：從普通操作系統到 LLM 操作系統.39 預期#7：端側 AI Agent 將更加實用

11、和智能.40 理想理想 vs 現實：從現實：從 AI+到到+AI.42 大模型產業鏈相關公司及主大模型產業鏈相關公司及主要邏輯要邏輯.46 相關產業鏈公司梳理.46 相關產業鏈公司邏輯.46 國產大模型初創公司投融資情況.54 風險提示.56 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。3 計算機計算機 大模型復盤：全球格局與模型特點基本明晰大模型復盤：全球格局與模型特點基本明晰 2023 年是大模型（年是大模型（LLM）技術和應用快速迭代的一年。）技術和應用快速迭代的一年。重要催化劑是 22 年 11 月底發布的ChatGPT。ChatGPT 雖然在技術基座上是之前已經問世的

12、 GPT-3 和 InstructGPT，但它給了全球用戶一個與 LLM 交互的自然語言界面，極大拉近了 LLM 與普通大眾的距離，引起了資本的關注，成為大模型技術加速迭代的導火索。微軟、Google、Meta、Nvidia 等龍頭大廠，OpenAI、Anthropic、Mistra 等初創公司，以及斯坦福、清華、上交等學術機構，引領了 23 年的 LLM 發展。LLM 技術也從模型本身擴展到端側、AI Agent、具身智能等更廣泛的領域。此外，在大模型技術應用上，一方面，云 SaaS 廠商將 AI 賦能于傳統 SaaS 軟件，如微軟 Copilot 和 Adobe Firefly；另一方面，

13、以 AI 為核心的應用興起，如 AI 搜索 Perplexity，文生圖 Stable Diffusion、Midjourney、DALL-E，文生視頻 Runway、Pika、Sora 等。圖表圖表1：2018 年以來的大模型路線圖（截至年以來的大模型路線圖（截至 23 年年 8 月）月）資料來源：Examining User-Friendly and Open-Sourced Large GPT Models:A Survey on Language,Multimodal,and Scientific GPT Models，Kaiyuan Gao（2023.8）、華泰研究 全球格局：海外技

14、術收斂，國內百花齊放全球格局：海外技術收斂，國內百花齊放 海外閉源大模型已經形成海外閉源大模型已經形成 OpenAI 為首，為首，Google、Anthropic 等模型緊隨的格局。等模型緊隨的格局。閉源模型中，雖然 Google Gemini 和 Anthropic 分別于 24 年 2 月和 3 月更新了 1.5 Pro（Gemini 1.0是在 23 年 12 月）和 Claude 3，在上下文長度、數學、編碼、專業領域等能力測評上超過了 GPT-4，但是考慮到：1）GPT-4 和 4 Turbo 實質上為 23 年 3 月 GPT-4 系列的迭代，比Gemini 和 Claude 3

15、早推出近一年；2）ChatGPT 對多模態、App 語音交互、工具調用（聯網、高級數據分析）、智能體（GPTs）等能力進行了有機整合；3）根據 UC 伯克利大學 Chatbot Arena 的榜單（該榜單為用戶盲測模型評價的結果，較為客觀），GPT-4 的用戶體驗仍是頭部頂尖水平；4）GPT-5 已在訓練中；5）GPT-4o 的端到端能力再次提升。因此，我們認為，OpenAI 的技術仍處于暫時領先。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。4 計算機計算機 圖表圖表2：Gemini 1.0 在部分測評集上超越在部分測評集上超越 GPT-4 圖表圖表3：Claude 3 Opu

16、s 在部分測評集上超越在部分測評集上超越 GPT-4 資料來源：Gemini 1.0 技術報告、華泰研究 資料來源：Claude 3 技術報告、華泰研究 圖表圖表4：UC 伯克利大學伯克利大學 Chatbot Arena 榜單（用戶盲選評出）榜單（用戶盲選評出）注：截至 2024 年 6 月 30 日 資料來源：LMSYS Chatbot Arena、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。5 計算機計算機 圖表圖表5：OpenAI vs Google vs Anthropic 資料來源：各公司官網、華泰研究 Meta 的的 Llama 系列作為開源模型，具有格局

17、上的特殊性和分界性。系列作為開源模型，具有格局上的特殊性和分界性。海外模型廠商如果在模型性能上無法超越同代的開源 Llama 模型（據 Meta 官網 4 月 18 日信息，Llama 3 的 8B和 70B 先行版小模型已經發布，最大的 400B 參數正在訓練），則很難在海外基礎模型中占據一席之地，除非模型具有差異化應用場景，典型的如陪伴類應用 Character.ai。此外，除了頭部大參數模型，能夠超過同代 Llama 的較小參數或者有獨特使用體驗的模型，也會得到用戶青睞，典型的如：1）馬斯克旗下 xAI 的 Grok-1（已開源）、Grok-1.5（未開源），能夠獨家使用 X 平臺上的數

18、據，較好的響應用戶實時信息查詢需求；2）法國大模型初創公司Mistral，開源了 Mistral 7B、Mixtral 8x7B-MoE 小模型，適配算力受限的端側等平臺，隨后又轉入閉源模型，更新了性能更強的 Mistral-medium 和 large，并與微軟合作，在 Azure上為用戶提供 API。圖表圖表6：Meta 在海外模型廠商中格局的特殊性在海外模型廠商中格局的特殊性 圖表圖表7：Top 20 GenAI Web 產品平均月訪問量（截至產品平均月訪問量（截至 24 年年 3 月）月）資料來源：各公司官網、華泰研究 資料來源：a16z、華泰研究 免責聲明和披露以及分析師聲明是報告的

19、一部分，請務必一起閱讀。6 計算機計算機 圖表圖表8：Grok-1 開源信息開源信息 圖表圖表9：Mistral 的模型譜系和價格（截至的模型譜系和價格（截至 2024 年年 5 月月 28 日）日）資料來源：xAI 官網、華泰研究 資料來源：Mistral 官網、華泰研究 國內模型百花齊放，互聯網大廠、初創公司、科技企業均有代表性模型產品。國內模型百花齊放，互聯網大廠、初創公司、科技企業均有代表性模型產品。國內模型技術辨識度不高，據 SuperCLUE 測評結果榜單，頭部的國內模型在得分上相差并不顯著。在國內主流的模型中，互聯網廠商和科技企業在大模型上起步較早，如百度在 GPT-4 發布的后

20、一天即 23 年 3 月 15 日發布文心一言，23 年 3 月 29 日 360 智腦 1.0 發布，23 年 4 月通義千問上線，23 年 5 月 6 日訊飛星火 1.0 發布。進入 24 年，初創公司的大模型產品得到了更廣泛的關注，例如 24 年 3 月月之暗面更新 Kimi智能助手 200 萬字的上下文支持能力，直接引發了百度、360 等廠商對長上下文的適配。同月階躍星辰 STEP 模型發布，其 STEP 2 宣稱為萬億參數 MoE 模型，直接對標 GPT-4 的參數（一般認為是 1.8 T 參數的 MoE），在大多數國內模型以千億參數為主的環境下，將參數量率先提升到萬億級別。4 月，

21、MiniMax也發布了萬億參數 MoE 架構的 abab 6.5。圖表圖表10：國內主流大模型格局國內主流大模型格局 圖表圖表11：國內外模型國內外模型 SuperCLUE 榜單榜單 注：綠色為互聯網廠商，黃色為初創公司，灰色為科技公司 資料來源：各公司官網、華泰研究 注：截至 2024 年 4 月 資料來源：CLUE 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。7 計算機計算機 圖表圖表12：國內主流模型的對比（截至國內主流模型的對比（截至 24 年年 2 月）月）資料來源：各公司官網、華泰研究 特點特點#1：大模型與小模型同步發展：大模型與小模型同步發展 根

22、據根據 Scaling Law，更大參數、更多數據和更多算力能夠得到更好的模型智能。，更大參數、更多數據和更多算力能夠得到更好的模型智能。2020 年 1月，OpenAI 發布論文Scaling Laws for Neural Language Models，奠定了 Scaling Law（縮放定律）的基礎，為后續 GPT 的迭代指明了大參數、大算力方向。Scaling Laws 是一種經驗性質的結論，并非完備的數學理論推導。OpenAI 在 decoder-only Transformer 架構的特定配置下進行了詳盡的實驗，摸清了模型性能（用模型 Loss 衡量，Loss 越小性能越好）與參

23、數（N）、數據集 token（D）和投入訓練算力（C）的關系N、D、C 是影響Loss 最顯著的因素，三者增加將帶來更好的模型性能。Transformer 架構中的層數、向量寬度等其它參數并不構成主要影響因素。圖表圖表13：Scaling Law 最主要的結論：訓練時最主要的結論：訓練時 N、D 和和 C 增加將帶來更好的模型性能增加將帶來更好的模型性能 資料來源：Scaling Laws for Neural Language Models，OpenAI（2020）、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。8 計算機計算機 根據根據 Scaling Law 論文

24、，可以用論文，可以用 6ND 來估算模型所需要的訓練算力（以來估算模型所需要的訓練算力（以 FLOPs 為單位）。為單位）。Transformer 架構涉及了多種參數，包括層數（nlayer）、殘差流維數（dmodel）、前饋層維數（dff）、注意力機制輸出維數（dattn）、每層注意力頭數（nhead）、輸入上下文 token 數（nctx）等。在訓練數據進入 Transformer 解碼器后，每一步運算都會涉及相應的參數，并對應有需求的算力。據 OpenAI 測算，單個 token 訓練時在 Transformer 解碼器中正向傳播，所需FLOPs（每秒浮點運算數）為 2N+2nlayer

25、nctxdattn。由于在論文寫作于 2020 年，當時模型上下文長度 nctx并不長，滿足 dmodel nctx/12，因此 2N+2nlayernctxdattn可約等于 2N。在訓練中反向傳播時，所需算力約為正向的 2 倍（即 4N），因此單個 token 訓練全過程需要算力總共 6N FLOPs，考慮全部的訓練 token 數 D，共需算力近似 6ND FLOPs。在推理時，為了計算方便，通常采用正向訓練算力需求 2ND 來計算所需 FLOPs。值得注意的是，目前值得注意的是，目前 Claude 3、Gemini 1.5 Pro、Kimi 智能助手等大模型支持的上下文智能助手等大模型

26、支持的上下文長度遠超當年，長度遠超當年，dmodel nctx/12 不再滿足，因此不再滿足，因此 2nlayernctxdattn應予以考慮。即上下文長度應予以考慮。即上下文長度更長時，訓練需求的算力是高于更長時，訓練需求的算力是高于 6ND 的。的。圖表圖表14：Transformer 經典架構經典架構 圖表圖表15：單個單個 token 正向傳播需要每一步的算力拆解正向傳播需要每一步的算力拆解 注：OpenAI Scaling Laws 論文中僅涉及右半部分解碼器。其 GPT 系列模型同樣僅涉及解碼器部分 資料來源：Attention is all you need，Ashish（201

27、7）、華泰研究 資料來源：Scaling Laws for Neural Language Models，OpenAI（2020）、華泰研究 在在 Scaling Law 指導下，指導下，OpenAI 延續了大參數模型的路線。延續了大參數模型的路線。2020 年 1 月 Scaling Laws論文發表后不久，2020 年 5 月 GPT-3 系列問世，將參數從 GPT-2 的 15 億提升到 1750 億，訓練數據大小從 40G 提升到 570G（數據處理后，處理前數據量更大），分別提升了 100+倍和 14 倍。到了 GPT-4，雖然 OpenAI 官方未公布參數大小，但是根據 SemiA

28、nalysis 的信息，目前業界基本默認了 GPT-4 是 1.8 萬億參數的 MoE 模型，訓練數據集包含約 13 萬億個 token，使用了約 25,000 個 A100 GPU，訓練了 90 到 100 天，參數量、數據集和訓練所需算力相比 GPT-3 又有數量級的提升。OpenAI 在不斷踐行 Scaling Law，將模型的參數以及模型的智能提升到新的層級。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。9 計算機計算機 圖表圖表16：Scaling Laws 指導指導 OpenAI 將模型參數和智能提高到新的層級將模型參數和智能提高到新的層級 資料來源：OpenAI G

29、PT 1-4 系列論文、華泰研究 從從 Google 和和 Anthropic 的模型布局看，印證了大參數能帶來模型性能的提升。的模型布局看，印證了大參數能帶來模型性能的提升。Google 的Gemini 和 Anthropic 的 Claude 3 系列均分別提供了“大中小”三款模型，雖然兩家廠商并未給出模型參數、訓練數據細節，但是均表示更大的模型智能更強（參見圖表 2 和圖表 3），推理速度相對較慢，所需的算力和訓練數據也相應更多，是對 Scaling Law 的印證。此外，此外，我們梳理了全球主流模型廠商的參數情況，同樣發現旗艦模型的參數量仍在變大。我們梳理了全球主流模型廠商的參數情況，

30、同樣發現旗艦模型的參數量仍在變大。圖表圖表17：Gemini 系列：系列：Ultra、Pro 和和 Nano，參數依次減少，參數依次減少 圖表圖表18：Claude 系列：系列：Haiku、Sonnet、Opus，智能依次升高，智能依次升高 資料來源：Google 官網、華泰研究 資料來源：Anthropic 官網、華泰研究 我們認為，全球頭部閉源模型的參數目前呈現的規律是：跨代際更新，模型參數進一步加我們認為，全球頭部閉源模型的參數目前呈現的規律是：跨代際更新，模型參數進一步加大；同代際更新，隨著模型技術架構優化和軟硬件資源協同能力提高，在模型性性能不降大；同代際更新，隨著模型技術架構優化和

31、軟硬件資源協同能力提高，在模型性性能不降的情況下，參數或做的更小。的情況下，參數或做的更小。Google 和 OpenAI 的最新模型都呈現了這個趨勢。24 年 5月 13 日，OpenAI 發布了 GPT-4o 模型，在多模態端到端的架構基礎上，實現了更快的推理速度，以及相比于 GPT-4 Turbo 50%的成本下降，我們推測其模型參數或在下降。5 月14 日 Google 發布了 Gemini 1.5 Flash，官方明確指出 Flash 是在 Pro 的基礎上，通過在線蒸餾的方式得到，即 Flash 的參數小于 Pro。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。10

32、計算機計算機 圖表圖表19：全球主流模型廠商旗艦模型的大參數發展趨勢全球主流模型廠商旗艦模型的大參數發展趨勢 資料來源：各公司官網、華泰研究 大參數并不是唯一選擇，小參數模型更好適配了終端算力受限的場景。大參數并不是唯一選擇，小參數模型更好適配了終端算力受限的場景。Google 的 Gemini系列是典型代表，其最小的 Nano 包括 1.8B 和 3.25B 兩個版本，并且已經在其 Pixel 8 Pro和三星 Galaxy S24 上實現部署，取得了不錯的終端 AI 效果。此外，Google 在 24 年 2 月開源了輕量級、高性能 Gemma（2B 和 7B 兩種參數版本），與 Gemi

33、ni 模型技術同源，支持商用。Google 指出，預訓練和指令調整的 Gemma 模型可以在筆記本電腦、工作站、物聯網、移動設備或 Google Cloud 上運行。微軟同樣在 23 年 11 月的 Ignite 大會上提出了SLM（小語言模型）路線，并將旗下的 Phi 模型升級到 Phi-2，參數大小僅 2.7B，性能超過7B 參數的 Llama 2。24 年 4 月 Phi-3 發布，最小參數僅 3.8B，其性能超過參數量大其兩倍的模型，5 月微軟 Build 大會上，Phi-3 系列參數為 7B 和 14B 的模型發布。圖表圖表20：Gemma 的測試結果：超過同參數的測試結果：超過同參

34、數模型模型 圖表圖表21：Phi-3 mini 的測試結果：超過更大參數的的測試結果：超過更大參數的 Llama 3 資料來源：Google 官網、華泰研究 資料來源：微軟官網、華泰研究 Mistral發布的發布的7B和和8x7B模型也是開源小模型的典型代表。模型也是開源小模型的典型代表。法國人工智能初創公司Mistral AI 成立于 2023 年 5 月，其高管來自 DeepMind、Facebook 等核心 AI 團隊。2023 年 9 月和 12 月，Mistral 分別開源了 Mistral-7B（73 億參數）和 Mixtral-8x7B-MoE（467 億參數，8 個 專 家）。

35、Mistral-7B 在 多 項 測 試 基 準 中 優 于 130 億 參 數 的 Llama 2-13B。Mixtral-8x7B-MoE 在大多數測試基準上超過 Llama 2，且推理速度提高了 6 倍；與 GPT-3.5相比，也能在多項測評基準上達到或超過 GPT-3.5 水平。在小參數開源模型中，Mistral 的競爭力很強。Mistral 推出的平臺服務 La plateforme 也支持模型的 API 調用（參見圖表 9）。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。11 計算機計算機 圖表圖表22：Mistral-7B 的基準測試結果的基準測試結果 圖表圖表23

36、：Mixtral-8x7B-MoE 的的基準測試結果基準測試結果 資料來源：Mistral 官網、華泰研究 資料來源：Mistral 官網、華泰研究 小參數模型的訓練算力需求仍在變大，定性看，訓推算力需求空間可觀。小參數模型的訓練算力需求仍在變大，定性看，訓推算力需求空間可觀。雖然模型參數較小，但是為了提高性能，模型廠商均投入了大量的訓練數據。如Phi-2有1.4T訓練數據tokens，Phi-3 為 3.3T tokens，Gemma 為 6T/2T tokens（分別對應 7B 和 2B 模型）。24 年 4 月 Meta率先開源的兩個 Llama 3 系列小模型 8B 和 70B，對應的

37、訓練 token 已經達到了 15T，并且Meta 表示，即使已經使用了 15T 的訓練數據，仍能看到模型性能的持續提升。我們認為，雖然單個小模型相比于大模型訓練算力需求并不大，但是一方面小模型本身的訓練數據集在不斷增加，另一方面，未來在終端 AI PC 和手機，甚至車機和機器人上，都有可能部署終端模型，因此定性看，小模型總體的訓練和推理算力需求仍然可觀。特點特點#2：原生多模態逐步成為頭部大模型的標配能力：原生多模態逐步成為頭部大模型的標配能力 OpenAI 的的 GPT 系列在全球閉源大語言模型廠商中率先適配多模態能力。系列在全球閉源大語言模型廠商中率先適配多模態能力。拋開專門的多模態模型

38、/產品，如文生圖 Stable Diffusion/Midjourney/DALL-E，文生視頻 Sora/Runway/Pika/Stable Video Diffusion 外，在頭部閉源 LLM 中，OpenAI 的 GPT-4 最先引入多模態能力。23 年 3 月，GPT-4 技術報告中即展示了 GPT-4 支持文本和圖像兩種模態作為輸入。9 月 25 日，OpenAI 官方 Blog 宣布 GPT-4 的 Vision（視覺）能力上線，支持多圖和文本的交錯推理，同時宣布 ChatGPT App 支持語音交互（語音轉文本模型為 Whisper，文本轉語音模型為 Voice Engine

39、）。23 年 10 月 19 日，OpenAI 旗下新一代文生圖模型 DALL-E 3 在ChatGPT 中實裝上線，可以通過與 ChatGPT 對話來實現文生圖。圖表圖表24：GPT-4 技術報告率先宣布支持多模態圖像輸入技術報告率先宣布支持多模態圖像輸入 圖表圖表25：ChatGPT App 對圖像和語音的支持對圖像和語音的支持 資料來源：GPT-4 技術報告、華泰研究 資料來源：OpenAI 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。12 計算機計算機 通過模型間非端到端協作，通過模型間非端到端協作，ChatGPT 網頁端和網頁端和 App 實現了完備的

40、多模態能力支持。實現了完備的多模態能力支持。隨著OpenAI 的 GPT-4V、DALL-E 3、Whisper、Voice Engine 等模型的上線和更新，OpenAI將所有的模型協同集成成 pipeline 形式，使得 ChatGPT 能夠實現：1）推理文本；2）理解圖像；3）生成圖像；4）語音轉文本；5）文本轉語音。ChatGPT 成為 2023 年支持模態最多的 LLM 產品。圖表圖表26：ChatGPT 多模態能力溯源多模態能力溯源 資料來源：OpenAI 官網、華泰研究 Google 從從 PaLM 模型開始即在探索模型開始即在探索 LLM 向多模態領域的拓展。向多模態領域的拓展

41、。PaLM 是 Google Gemini的前一代主要模型系列。2022 年 4 月，Google 的 PaLM 模型問世。PaLM 自身為大語言模型，僅支持文本模態，但是在 PaLM 的能力之上，Google 將圖像、機器人具身數據轉化為文本 token 形式，訓練出多模態模型 PaLM-E。此外，還將音頻模態與 PaLM 模型結合，發布 AudioPaLM。在醫療領域，Google 先基于 PaLM 訓練出醫療語言模型 Med-PaLM，隨后在 Med-PaLM 基礎上將醫療圖像知識增加到訓練數據中，訓練出醫療領域多模態模型Med-PaLM M。圖表圖表27：PaLM 模型從文本模態到多模

42、態的演進路線模型從文本模態到多模態的演進路線 資料來源：Google 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。13 計算機計算機 Gemini 模型問世后，端到端原生多模態能力成為頭部模型廠商的“標配”能力。模型問世后，端到端原生多模態能力成為頭部模型廠商的“標配”能力。2023 年5 月的 I/O 大會上，Google 宣布了下一代模型 Gemini，但未透露細節。12 月，Gemini 1.0模型發布，配備了 Ultra/Pro/Nano 三種參數大小依次遞減的型號。Gemini 同樣支持文本、圖像、視頻、音頻等多模態，但是其范式和 OpenAI 的 C

43、hatGPT 有很大區別：ChatGPT屬于多種不同模型的集合，每個模型負責不同的模態，結果可以串聯；而屬于多種不同模型的集合，每個模型負責不同的模態，結果可以串聯；而 Gemini 具備端具備端到端的原生多模態能力，到端的原生多模態能力，Gemini 模型自身可以處理全部支持的模模型自身可以處理全部支持的模態態。據 The Decoder 信息，23 年 OpenAI 內部已經在考慮一種代號為“Gobi”的新模型，該模型同樣從一開始就被設計為原生多模態。我們認為，這種端到端的原生多模態范式將成為未來頭部大模型廠商實現多模態的主流范式。圖表圖表28：Gemini 1.0 技術報告中展示的端到端

44、原生多模態架構技術報告中展示的端到端原生多模態架構 資料來源：Gemini 1.0 技術報告、華泰研究 Anthropic Claude 模型多模態能力“雖遲但到”，模型多模態能力“雖遲但到”，Claude 3 模型科研能力優異。模型科研能力優異。Anthropic的 Claude 系列模型在 2024 年 3 月更新到 Gen 3 后，全系適配了多模態圖像識別能力，并在科學圖表識別上大幅超越 GPT-4 和 Gemini 1.0 Ultra。此外，Claude 3 Haiku 有著優秀的成本控制和推理速度優勢，據 Anthropic 官方，Haiku 的速度是同類產品的三倍，能夠在一秒內處理

45、約 30 頁的內容（21K token），使企業能夠快速分析大量文檔，例如季度備案、合同或法律案件，且一美元就能分析 400 個最高法院案例或 2500 張圖片。圖表圖表29：Claude 3 多模態評測結果對比多模態評測結果對比 資料來源：Anthropic 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。14 計算機計算機 GPT-4o 在在 GPT-5 發布之前實現了端到端的多模態支持，驗證了原生多模態的技術趨勢。發布之前實現了端到端的多模態支持，驗證了原生多模態的技術趨勢。24 年 5 月 14 日 Google I/O 大會前夕，OpenAI 發布了新版模

46、型 GPT-4o（omni），棄用了之前 ChatGPT 拼接 GPT-4V、Whisper、DALL-E 的非端到端模式，統一了文本、圖像、音頻和視頻模態，以端到端的方式，實現了輸入文本、圖像、音頻和視頻，輸出文本、圖像和音頻，追上了 Google Gemini 的原生多模態進度，并且模態支持更加全面（4o 支持音頻輸出，Gemini 不支持）。4o 在文本、圖像、音頻等各項指標上均超越了同等級現有模型。圖表圖表30：GPT-4o 實現了端到端的多模態支持實現了端到端的多模態支持 圖表圖表31：GPT-4o 的文生圖能正確保留文字信息的文生圖能正確保留文字信息 資料來源：OpenAI 官網、

47、華泰研究 資料來源：OpenAI 官網、華泰研究 圖表圖表32：GPT-4o 在文本上的表現在文本上的表現 圖表圖表33：GPT-4o 在語音翻譯上的表現在語音翻譯上的表現 資料來源：OpenAI 官網、華泰研究 資料來源：OpenAI 官網、華泰研究 Claude 3.5 Sonnet增強了增強了UI交互體驗，與交互體驗，與GPT-4o的語音交互相比朝著差異化路徑發展。的語音交互相比朝著差異化路徑發展。6 月 21 日，Anthropic 宣布了 Claude 3.5 Sonnet 模型，在價格相比于 Claude 3 Sonnet 不變的情況下，在研究生水平推理、代碼等能力（文本層面），以

48、及視覺數學推理、圖表問答等能力（視覺層面）上超過了 GPT-4o。Claude 3.5 Sonnet 另一個突出的性能是 UI 交互能力的增強，主要由 Artifacts 功能實現。當用戶要求 Claude 生成代碼片段、文本文檔或網站設計等內容時，對話旁邊的專用窗口中將實時出現相應的展示，例如編寫的游戲、網頁等。Anthropic 指出，Artifacts 交互方式未來將會從個人拓展到團隊和整個組織協作，將知識、文檔和正在進行的工作集中在一個共享空間中。我們認為，GPT-4o 和 Claude 3.5 Sonnet均在優化用戶交互上下功夫，但是兩者的方向存在差異化，GPT-4o 更注重語音交

49、互，而Sonnet 更注重 UI 界面交互。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。15 計算機計算機 圖表圖表34：Claude 3.5 Sonnet 與其他模型在文本測評集的表現與其他模型在文本測評集的表現 圖表圖表35：Claude 3.5 Sonnet 與其他模型在視覺測評集的表現與其他模型在視覺測評集的表現 資料來源：Anthropic 官網、華泰研究 資料來源：Anthropic 官網、華泰研究 圖表圖表36：Claude 3.5 Sonnet 的的 Artifacts 功能展示功能展示 注：UI 左側是用戶輸入提示詞區域，右側為 Artifacts 實時展示的

50、編程結果 資料來源：Anthropic 官網、華泰研究 國內模型廠商積極適配多模態，以圖像理解能力為主。國內模型廠商積極適配多模態，以圖像理解能力為主。在 GPT-4 宣布支持多模態后，國內廠商也積極適配多模態圖片的識別、理解和推理。截至 2024 年 4 月，國產主流模型多模態支持情況如下：1）百度文心一言，說圖解畫支持單張圖像推理，支持圖像生成。2）阿里通義千問，支持單張圖片推理，支持圖像生成。阿里開源的模型 Qwen-VL 支持圖像推理。3）騰訊混元助手，支持圖像生成，以及單張圖像推理。3）訊飛星火，支持單張圖像推理，支持圖像生成。4）智譜 ChatGLM 4，支持單張圖像推理，支持圖像

51、生成。5）360 智腦，支持圖像生成。6）字節豆包，支持圖像生成。7）Kimi 智能助手，支持圖片中的文字識別。月之暗面官方表示24年下半年將支持多模態推理。8）階躍星辰基于Step模型的助手躍問，支持多圖推理。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。16 計算機計算機 特點特點#3：上下文作為：上下文作為 LLM 的內存，是實現模型通用化的關鍵的內存，是實現模型通用化的關鍵 國外國外 LLM 廠商較早實現長上下文，國內廠商通過長上下文找到差異化競爭優勢。廠商較早實現長上下文，國內廠商通過長上下文找到差異化競爭優勢。國外較早實現長上下文的廠商是 Anthropic，旗下 C

52、laude模型在 23年 11月，將支持的上下文從 100K tokens 提升到 200K，同時期的 GPT-4 維持在 128K。24 年 2 月，Google 更新 Gemini 到1.5 Pro 版本，將上下文長度擴展到 1M（5 月更新中擴展到 2M），并在內部實現了 10M，是目前已知最大上下文長度。國內方面，23 年 10 月由月之暗面發布的 Kimi 智能助手（原名 Kimi Chat），率先提供 20 萬字的長上下文，并在 24 年迎來了用戶訪問量的大幅提升。24 年 3 月，阿里通義千問和 Kimi 先后宣布支持 1000 萬字和 200 萬字上下文，引發國內百度文心一言、

53、360 智腦等廠商紛紛跟進長上下文能力迭代。我們認為，國內 LLM 廠商以長上下文為契機，尋找到了細分領域差異化的競爭路線，或有助于指導后續的模型迭代。圖表圖表37：全球主流模型廠商的長上下文布局（實線框代表暫未落地，實框代表已經落地）全球主流模型廠商的長上下文布局（實線框代表暫未落地，實框代表已經落地）資料來源：各公司官網、華泰研究 圖表圖表38：國內主流大模型或產品訪問量情況國內主流大模型或產品訪問量情況 圖表圖表39：國內主流大模型國內主流大模型 App 留存率情況（截至留存率情況（截至 23 年年 3 月）月）資料來源：SimilarWeb、華泰研究 資料來源：QuestMobile、

54、華泰研究 05001,0001,5002,0002,50011月12月1月2月3月4月(萬)文心一言訊飛星火字節豆包Kimi秘塔AI搜索44.75%38.90%35.70%32.74%20%25%30%35%40%45%50%55%次日2日3日7日豆包文心一言天工訊飛星火Kimi智能助手 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。17 計算機計算機 長上下文使得模型更加通用化。長上下文使得模型更加通用化。據月之暗面官方信息，長上下文能夠解決 90%的模型微調定制問題。對于短上下文模型，在執行具體的下游任務前，其已具備的能力往往仍有欠缺，需要針對下游任務進行微調。微調的基本步驟

55、包括數據集的準備、微調訓練等，中間可能還涉及微調結果不理想，需要重新梳理微調過程。而上下文長度足夠的情況下，可以將數據作為提示詞的一部分，直接用自然語言輸入給大模型，讓模型從上下文中學習，達到微調效果，使得模型本身更具有通用性。以 Google Gemini 1.5 Pro 為例，將 250K token 的Kalamang 語（全球使用人數小于 200 人，幾乎不存在于 LLM 的訓練集中）直接作為上下文輸入給模型，實現了接近人類的翻譯水平。而 GPT-4 和 Claude 2.1 由于上下文支持長度不夠，無法通過上下文學習到全部的知識。圖表圖表40：Kalamang 語機器翻譯評測結果對比

56、（語機器翻譯評測結果對比（6 分為滿分）分為滿分）資料來源：Gemini 1.5 Pro 技術報告、華泰研究 長上下文還能很好的適配虛擬角色、開發者、長上下文還能很好的適配虛擬角色、開發者、AI Agent、垂類場景等需求。、垂類場景等需求。1）虛擬角色）虛擬角色Chatbot：長文本能力幫助虛擬角色記住更多的重要用戶信息，提高使用體驗。2）開發者：）開發者：基于大模型開發劇本殺等游戲或應用時，需要將數萬字甚至超過十萬字的劇情設定以及游戲規則作為 prompt 輸入，對長上下文能力有著剛性需求。3）AI Agent：Agent 智能體運行需要自主進行多輪規劃和決策，且每步行動都可能需要參考歷史

57、記憶信息才能完成。因此，短上下文會導致長流程中的信息遺忘，長上下文是 Agent 效果的重要保障。4）垂直場）垂直場景客戶需求：景客戶需求：對于律師、分析師、咨詢師等專業用戶群體，有較多長文本內容分析需求，模型長上下文能力是關鍵。圖表圖表41：長上下文適配多種場景需求長上下文適配多種場景需求 資料來源：月之暗面官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。18 計算機計算機 實現長上下文有多種方法，優化實現長上下文有多種方法，優化 Transformer 架構模塊是核心。架構模塊是核心。拆解 Transformer 解碼器，可以通過改進架構中的各個模塊來實現上下文

58、長度的拓展。1）高效注意力機制：）高效注意力機制：高效的注意力機制能夠降低計算成本，甚至實現線性時間復雜度。這樣在訓練時就可以實現更長的序列長度，相應的推理序列長度也會更長。2）實現長期記憶：）實現長期記憶：設計顯式記憶機制，如給予外部存儲，解決上下文記憶的局限性。3）改進位置編碼）改進位置編碼 PE：對現有的位置編碼 PE 進行改進，實現上下文外推。4）對上下文進行處理：）對上下文進行處理：用額外的上下文預/后處理，在已有的 LLM（視為黑盒）上改進，確保每次調用中給 LLM 的輸入始終滿足最大長度要求。5）其他方法：以更廣泛的視角來增強 LLM 的有效上下文窗口，或優化使用現成 LLM 時

59、的效率，例如MoE（混合專家）、特殊的優化目標函數、并行策略、權重壓縮等。更多細節可以參考華泰更多細節可以參考華泰證券計算機團隊證券計算機團隊 3 月月 26 日研報計算機：通過日研報計算機：通過 Kimi，看長文本的實現。，看長文本的實現。圖表圖表42：從從 Transformer 架構來拆解長上下文的改進方法架構來拆解長上下文的改進方法 資料來源：Advancing Transformer Architecture in Long-Context Large Language Models:A Comprehensive Survey，Huang（2024）、華泰研究 RAG 與其他長文本

60、實現方法相比，并沒有顯著的優劣之分，要結合場景進行選擇。與其他長文本實現方法相比，并沒有顯著的優劣之分，要結合場景進行選擇。RAG基本原理是，在用戶提問時，retriever（檢索器）會從外部的知識庫中檢索最相關的信息傳遞給大模型，作為大模型推理所需知識的補充。RAG 更像是大模型本身的“外掛”幫手“外掛”幫手。而優化注意力機制等其他長上下文實現方法，則是大模型的“內生”能力“內生”能力，是模型本身能夠支持輸入更長的信息，并通過注意力機制掌握序列全局關系?！皟壬彼坪醣取巴鈷臁备呒?，因為模型會捕捉到用戶提出的所有歷史信息，更適用于 C 端信息量有限場景。但是對于 B 端用戶，其企業 Know

61、-How 積累量巨大，且很多知識也是結構化的 QA（如客服），而模型上下文長度不可能無限延長（受制于算法、算力、推理時間等各種因素），因此 RAG這種“外掛”的形式更加適合。例如，主要面向 B 端的大模型廠商 Cohere，將 RAG 作為模型重要能力以適配 B 端檢索場景，其 Command R+模型本身上下文長度僅 128K。我們認為，“內生”長文本技術是從根本上解決問題，是發展趨勢，但是受制于算力等因我們認為，“內生”長文本技術是從根本上解決問題，是發展趨勢，但是受制于算力等因素素（未來或將逐步解決），短期內將與（未來或將逐步解決），短期內將與 RAG 共存，選擇上取決于使用場景。共存，

62、選擇上取決于使用場景。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。19 計算機計算機 圖表圖表43：基礎檢索增強生成（基礎檢索增強生成（RAG）的流程）的流程 資料來源：CSDN、華泰研究 圖表圖表44：人類評判：企業人類評判：企業 RAG 場景下場景下 Command R+優于優于 Claude 3 Sonnet 資料來源：Cohere 官網、華泰研究 62%59%63%51%70%65%53%0%10%20%30%40%50%60%70%80%90%100%平均工作助手（技術）工作助手（更難技術）工作助手（多媒體）ERM和CRP文檔助手消費者支持機器人技術FAQ搜索Comm

63、andR+WinsClaude 3 Sonnet 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。20 計算機計算機 特點特點#4：MoE 是模型從千億到萬億參數的關鍵架構是模型從千億到萬億參數的關鍵架構 MoE 架構有利于預訓練和推理效率的提升，方便模型架構有利于預訓練和推理效率的提升，方便模型 scale up 到更大的參數。到更大的參數。據 Hugging Face 信息，在有限的計算資源預算下，用更少的訓練步數訓練一個更大的模型，往往比用更多的步數訓練一個較小的模型效果更佳。MoE 的一個顯著優勢是它們能夠在遠少于稠密模型所需的計算資源下進行有效的預訓練，當計算資源有限時，

64、MoE 可以顯著擴大模型或數據集的規模，更快地達到稠密模型相同的質量水平。MoE 的引入使得訓練具有數千億甚至萬億參數的模型成為可能。MoE 特點在于：特點在于：1）與稠密模型相比，預訓練速度更快；2）與具有相同參數數量的模型相比，具有更快的推理速度（因為只需要調用部分參數）；3）需要大量顯存，因為所有專家系統都需要加載到內存中，而 MoE 架構的模型參數可達到上萬億；4）MoE 進行指令調優具有很大的潛力，方便做 Chatbot 類應用。MoE 由稀疏由稀疏 MoE 層和門控網絡層和門控網絡/路由組成。路由組成。MoE 模型仍然基于 Transformer 架構，組成部分包括：1）稀疏）稀疏

65、 MoE 層：層：這些層代替了傳統 Transformer 模型中的稠密前饋網絡層，包含若干“專家”(例如 8、16、32 個)，每個專家本身是一個獨立的神經網絡。這些專家甚至可以是 MoE 層本身，形成層級式的 MoE 結構。稀疏性體現在模型推理時，并非所有參稀疏性體現在模型推理時，并非所有參數都會在處理每個輸入時被激活或使用，而是根據數都會在處理每個輸入時被激活或使用，而是根據輸入的特定特征或需求，只有部分參數輸入的特定特征或需求，只有部分參數集合被調用和運行集合被調用和運行。2）門控網絡）門控網絡/路由：路由：決定將用戶輸入的 tokens 發送到哪個具體的專家。例如下圖中，“More”

66、對應的 token 被發送到第二個專家處理，而“Parameters”送到第一個專家。一個 token 也可以被發送到多個專家進行處理。路由器中的參數需要學習，將與網絡的其他部分一同進行預訓練。圖表圖表45：Switch Transformers 論文中的典型論文中的典型 MoE 架構架構 資料來源：Switch Transformers:Scaling to Trillion Parameter Models with Simple and Efficient Sparsity，Google（2021）、華泰研究 專家數量存在邊際遞減效應，專家數量存在邊際遞減效應，MoE 的選擇也要考慮模型

67、的具體應用場景。的選擇也要考慮模型的具體應用場景。據 Hugging Face信息，增加更多專家可以加速模型的運算速度和推理效率，但這一提升隨著專家數量的增加而邊際遞減，尤其是當專家數量達到 256 或 512 之后更為明顯。另外，雖然推理時只需要激活部分參數，但是推理前仍然需要將全量的模型參數加載到顯存中。據 Switch Transformers 的研究結果，以上特性在小規模 MoE 模型下也同樣適用。在架構的選擇上，MoE 適用于擁有多臺機器（分布式）且要求高吞吐量的場景適用于擁有多臺機器（分布式）且要求高吞吐量的場景，在固定的預訓練計算資源下，稀疏模型往往能夠實現更優的效果。在顯存較少

68、且吞吐量要求不高的場景，傳統的稠在顯存較少且吞吐量要求不高的場景，傳統的稠密模密模型則是更合適的選擇型則是更合適的選擇。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。21 計算機計算機 Google 是是 MoE 架構的早期探索者之一，架構的早期探索者之一，OpenAI 實現了實現了 MoE 的商業化落地。的商業化落地。MoE 的理念起源于 1991 年的論文Adaptive Mixture of Local Experts。在 ChatGPT 問世之前，Google 已經有了較深入的 MoE 研究，典型代表是 20 年的 Gshard 和 21 年的開源 1.6 萬億Switc

69、h-Transformer 模型。23 年 3 月 GPT-4 問世，OpenAI 繼續走了閉源路線，沒有公布模型參數。但是據 SemiAnalysis 信息，GPT-4 的參數約 1.8 萬億，采用 MoE 架構，專家數為 16，每次推理調用兩個專家，生成 1 個 token 約激活 2800 億參數（GPT-3 為 1750億參數），消耗 560 TFLOPs 算力。在 GTC 2024 演講上，黃仁勛展示了 GB200 訓練 GPT模型示意圖，給出的參數也是 GPT-MoE-1.8T，交叉印證。圖表圖表46：MoE 的理念起源（專家和門控網絡系統）的理念起源（專家和門控網絡系統）圖表圖表

70、47：GTC 2024 對對 GPT 模型參數的描述模型參數的描述 資料來源：Adaptive Mixture of Local Experts，Jacobs（2021）、華泰研究 資料來源：GTC 2024 Keynote、華泰研究 Mistral 引發引發 MoE 關注，關注，Google 掀起掀起 MoE 浪潮，國內廠商跟隨發布浪潮，國內廠商跟隨發布 MoE 模型模型。23 年 12月，Mistral 開源 Mixtral-8x7B-MoE，以近 47 億的參數在多項測評基準上達到或超過 1750億參數的 GPT-3.5 水平，引發了全球開發者對 MoE 架構的再次關注。英偉達的研究主管

71、Jim Fan 指出 MoE 將成為未來模型發展的重要趨勢。24 年 2 月，Google 將其最先進模型系列 Gemini 更新到 1.5 Pro，并指出架構上從稠密架構切換到 MoE 架構，實現了 1.5 Pro模型性能的大幅提升，核心能力超過 Gemini 1.0 Ultra。國內外模型廠商隨即跟進發布 MoE相關模型，包括 xAI 開源的 Grok-1（23 年 10 月已實現 MoE，24 年開源）、MiniMax abab6、Databricks DBRX、AI21 Jamba、阿里 Qwen-1.5 MoE、昆侖萬維天工 3.0、階躍星辰 STEP 2、商湯日日新 5.0 等。圖

72、表圖表48：Nvidia Jim Fan 看好看好 MoE 對對 AI 發展的重要性發展的重要性 圖表圖表49：Gemini 1.5 Pro 核心能力超過核心能力超過 1.0 Ultra 資料來源：Nvidia Jim Fan、華泰研究 資料來源：Gemini 1.5 Pro 技術報告、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。22 計算機計算機 圖表圖表50：國內外典型國內外典型 MoE 模型比較模型比較 序號序號 公司名稱公司名稱 模型名稱模型名稱 MoE 參數等信息參數等信息 1 OpenAI GPT-4 1.8T，16 個專家，每個 token 激活 2 個

73、專家 2 Mistral AI Mixtral 8x7B 46.7B，8 個專家，每個 token 激活 2 個專家 3 Google Gemini 1.5 Pro 官方未透露 4 xAI Grok-1 314B，8 個專家，每個 token 激活 2 個專家 5 Databricks DBRX 132B，16 個專家，每個 token 激活 4 個專家 6 AI21 Jamba 52B，16 個專家，每個 token 激活 4 個專家 7 MiniMax abab 6.5 萬億參數 8 阿里阿里 Qwen-1.5 MoE 14.3B，64 個專家，每個 token 激活 4 個專家 9 昆侖

74、萬維昆侖萬維 天工天工 3.0 4000 億參數 10 階躍星辰階躍星辰 Step 2 萬億參數 11 商湯商湯 日日新日日新 5.0 6000 億參數 12 騰訊騰訊 混元混元 萬億參數 資料來源：各公司官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。23 計算機計算機 大模型展望：大模型展望：Scaling Law+AI Agent+具身智能具身智能 展望展望 24 年及之后的大模型發展方向，我們認為，年及之后的大模型發展方向，我們認為，1）Scaling Law 雖然理論上有邊界，但雖然理論上有邊界，但是實際上仍遠未達到；是實際上仍遠未達到；2）雖然有）雖然有

75、 Mamba、KAN 等新的架構挑戰等新的架構挑戰 Transformer，但是，但是Transformer 仍是主流，短期內預期不會改變；仍是主流，短期內預期不會改變；3）以）以 Meta Llama 為首的開源模型陣營日為首的開源模型陣營日益強大，占據了整個基礎模型的超半數比重，且與閉源模型差距縮短；益強大，占據了整個基礎模型的超半數比重，且與閉源模型差距縮短；4）AI Agent 是實是實現現 AGI 的重要加速器。的重要加速器。5）具身智能隨著與）具身智能隨著與 LLM 技術的融合，將變得更加可用。技術的融合，將變得更加可用。展望展望#1：Scaling Law 理論上有邊界，但是目前

76、仍未到達理論上有邊界，但是目前仍未到達 Scaling Law 的趨勢終將會趨于平緩，但是目前公開信息看離該邊界尚遠。的趨勢終將會趨于平緩，但是目前公開信息看離該邊界尚遠。OpenAI 在 2020年 1 月的 Scaling Law 論文中明確指出，整個研究過程中 OpenAI 在大算力、大參數和大訓練數據情況下，并沒有發現 Scaling Law 出現邊界遞減的現象。但也提到，這個趨勢終將趨于平緩（level off），因為自然語言具有非零熵。但是實際上，根據斯坦福大學 2023 年的AI Index 報告，2012-2023 年，頭部模型訓練消耗的算力仍然在持續增大。圖表圖表51：Ope

77、nAI Scaling Law 論文中對于邊界的描述論文中對于邊界的描述 在較大的計算、數據或模型參數下，我們沒有觀察到偏離直線冪律趨勢的跡象。然而，我們的趨勢最終將穩定下來，因為自然語言具有非零熵。資料來源：Scaling Laws for Neural Language Models，OpenAI（2020）、華泰研究 圖表圖表52：2012-2023 年頭部典型大模型的訓練算力消耗情況年頭部典型大模型的訓練算力消耗情況 資料來源：2023 AI Index 報告、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。24 計算機計算機 可預期的時間內，可預期的時間內，Sc

78、aling Law 的上限尚未看到，的上限尚未看到，self-play 是趨勢。是趨勢。我們認為，雖然 OpenAI從理論上預測了 Scaling Law 的趨勢會區域平緩，但是目前全球頭部模型廠商依然遵循更大的參數等于更高的智能。Gemini 和 Claude 3 發布的模型產品矩陣即驗證了這一觀點，例如更小的 Claude 3 Haiku 輸出速度快于最大的 Claude 3 Opus，價格更低，智能情況和測評得分也更低，參見圖表 17-圖表 18。清華大學教授、智譜 AI 的技術牽頭人唐杰教授在 24年 2 月北京人工智能產業創新發展大會上發表演講ChatGLM：從大模型到 AGI 的一

79、點思考，也指出了目前很多大模型還在 1000 億參數左右，“我們還遠未到 Scaling law 的盡頭，數據量、計算量、參數量還遠遠不夠。未來的 Scaling law 還有很長遠的路要走?！贝送?，唐杰教授還認為，“今年的階段性成果，是實現 GPT 到 GPT Zero 的進階，即大模型可以自己教自己”，類似于 AlphaGo 到 Alphazero 的轉變，實現模型 self-play。圖表圖表53：GPT-zero 的的 self-play 能力是重要趨勢能力是重要趨勢 資料來源：ChatGLM：從大模型到 AGI 的一點思考，唐杰（2024）、華泰研究 展望展望#2：模型幻覺短期難消除

80、但可抑制，：模型幻覺短期難消除但可抑制，CoT 是典型方法是典型方法 大模型的幻覺來源包括數據、訓練過程、推理過程等。大模型的幻覺來源包括數據、訓練過程、推理過程等。LLM 的幻覺（hallucination），即 LLM輸出內容與現實世界的事實或用戶輸入不一致，通俗說就是“一本正經胡說”?；糜X的來源主要分為 3 類：1）與訓練數據相關的幻覺；2）與訓練過程相關的幻覺；3）與推理過程相關的幻覺。根據幻覺來源的不同，針對性的有各種解決方法。根據幻覺來源的不同，針對性的有各種解決方法。1）數據相關的幻覺：）數據相關的幻覺：可以在準備數據時，減少錯誤信息和偏見，擴展數據知識邊界，減少訓練數據中的虛假

81、相關性，或者增強 LLM知識回憶能力，如使用思維鏈（使用思維鏈（CoT）。2）訓練過程相關的幻覺：）訓練過程相關的幻覺：可以避免有缺陷的模型架構，例如改進模型架構或優化注意力機制；也可以通過改進人類偏好，減輕模型與人類對齊時的奉承性。3）推理過程相關的幻覺：）推理過程相關的幻覺：主要是在解碼過程中，增強解碼的事實性和忠誠性，例如保證上下文和邏輯的一致等。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。25 計算機計算機 圖表圖表54：大模型幻覺的類別和解決方法大模型幻覺的類別和解決方法 資料來源：A Survey on Hallucination in Large Language

82、 Models，Lei（2023）、華泰研究 展望展望#3：開源模型將在未來技術生態中占據一席之地：開源模型將在未來技術生態中占據一席之地 2023 年開源模型在全球基礎模型中所占的比重大幅提高。年開源模型在全球基礎模型中所占的比重大幅提高。根據斯坦福大學 2023 年的 AI Index 報告，2021-2023 年全球發布的基礎模型數量持續增多，且開源模型的占比大幅提高，21-23 年占比分別為 33.3%、44.4%和 65.7%。此外，4 月 OpenAI CEO 和 COO 在接受訪談時，指出“開源模型無疑將在未來的技術生態中占據一席之地。有些人會傾向于使用開源模型，有些人則更偏好于

83、托管服務，當然，也會有許多人選擇同時使用這兩種方式?！眻D表圖表55：2023 年開源模型在基礎模型中的比重大幅提升年開源模型在基礎模型中的比重大幅提升 資料來源：2023 AI Index 報告、華泰研究 3193298181223110282802040608010012014016020192020202120222023(個)開源有限開源閉源 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。26 計算機計算機 Meta 持續開源持續開源 Llama 系列模型，證明了開源模型與閉源模型差距持續縮小。系列模型，證明了開源模型與閉源模型差距持續縮小。4 月 19 日，Llama 3

84、-8B 和 70B 小模型發布，支持文本輸入和輸出，架構和 Llama 2 基本類似（Transformer decoder），上下文長度 8K，15T 訓練 token（Llama 2 是 2T）。評測結果看，Llama-70B 與 Gemini 1.5 Pro 和 Claude 3 Sonnet 相比（這兩個閉源模型參數都預期遠大于 70B），在多語言理解、代碼、小學數學等方面領先。Llama 3 繼續堅持開源，可商用，但在月活超 7 億時需向 Meta 報備。根據 Mata 官方信息，Llama 3 將開源 4000 億參數版本，支持多模態，能力或是 GPT-4 級別。目前訓練的階段性

85、Llama 3-400B 已經在 MMLU測評集（多任務語言理解能力）上得分 85 左右，GPT-4 Turbo 得分是 86.4，差距很小，且Llama 3 400B 仍將在未來幾個月的訓練中持續提升能力?；?Llama 1 和 2 帶來的繁榮開源模型生態，我們認為，正式版 Llama 3 發布后，或將進一步縮小開源模型與閉源模型的差距，甚至在某些方面繼續趕超。圖表圖表56：Llama 3-70B 在多個測評集超越最新閉源模型在多個測評集超越最新閉源模型 圖表圖表57：開源模型社區開源模型社區 Hugging Face 上上 Llama 2 變體超變體超 16000 個個 資料來源：Met

86、a 官網、華泰研究 資料來源：Hugging Face 官網（截至 24 年 4 月）、華泰研究 圖表圖表58：根據根據 UC 伯克利大學伯克利大學 Chatbot Arena 分數統計，開源閉源模型間差距在縮小分數統計，開源閉源模型間差距在縮小 資料來源：LMSYS Chatbot Arena、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。27 計算機計算機 大模型的開源閉源之爭尚未有定論。大模型的開源閉源之爭尚未有定論。開源和閉源在各個領域中誰占主導，并沒有定數。復盤來看，閉源在操作系統、瀏覽器、云基礎設施、數據庫等領域占據了主導地位，開源在內容管理系統、網絡服務器

87、等領域優勢地位明顯。反觀大模型領域，開源閉源誰將最終勝出尚未有定論。當下，閉源模型的優勢在于：閉源模型的優勢在于：1）資源集中：）資源集中：大模型訓練屬于計算資源密集型行業，在當前各大云廠商算力儲備爬坡階段，只有閉源才能實現萬卡級別的大規模分布式集群；2）人才集中：）人才集中：OpenAI、Google、Anthropic、Mata 等大模型頭部廠商，集中了目前全球為數不多的大模型訓練人才，快速形成了頭部效應。那我們的問題是，這種優勢持續性有多長？資源方面，未來隨著算力基礎設施的逐步完善、單位算力成本的下降、推理占比逐步超過訓練，大廠的資源密集優勢是否還會顯著？人才方面，全球已經看準了 LLM

88、的方向，相關人才也在加速培養，OpenAI 的相關人才也在快速流失和迭代，人才壁壘是否也在降低？圖表圖表59：各個領域的開源與閉源之爭各個領域的開源與閉源之爭 資料來源：LinkedIn、華泰研究 圖表圖表60：OpenAI 很多大模型人才開始離職創業很多大模型人才開始離職創業 資料來源：chiefaioffice、華泰研究 展望展望#4：數據將成為模型規模繼續擴大的瓶頸，合成數據或是關鍵：數據將成為模型規模繼續擴大的瓶頸，合成數據或是關鍵 Epoch 預測，未來訓練數據的缺乏將可能減緩機器學習模型的規模擴展。預測，未來訓練數據的缺乏將可能減緩機器學習模型的規模擴展。據 Epoch 預測，20

89、30 年到 2050 年，將耗盡低質量語言數據的庫存；到 2026 年，將耗盡高質量語言數據的庫存；2030 年到 2060 年，將耗盡視覺數據的庫存。由于大參數模型對數據量需求的增長，到 2040 年，由于缺乏訓練數據，機器學習模型的擴展大約有 20%的可能性將顯著減慢。值得注意的是，以上結論的前提假設是，機器學習數據使用和生產的當前趨勢將持續下去，并且數據效率不會有重大創新（這個前提未來可能被新合成技術打破）。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。28 計算機計算機 圖表圖表61：Epoch 預測低質量和高質量數據耗盡的時間圖預測低質量和高質量數據耗盡的時間圖 資料來

90、源：Epoch 官網、華泰研究 合成數據是解決數據缺乏的重要途徑，但目前相關技術仍需要持續改進。合成數據是解決數據缺乏的重要途徑，但目前相關技術仍需要持續改進。理論上，數據缺乏可以通過合成數據來解決，即 AI 模型自己生成訓練數據，例如可以使用一個 LLM 生成的文本來訓練另一個 LLM。在 Anthropic 的 Claude 3 技術報告中，已經明確提出在訓練數據中使用了內部生成的數據。但是目前為止，使用合成數據來訓練生成性人工智能系統的可行性和有效性仍有待研究，有結果表明合成數據上的訓練模型存在局限性。例如Alemohammad 發現在生成式圖像模型中，如果在僅有合成數據或者真實人類數據

91、不足的情況下，將出現輸出圖像質量的顯著下降，即模型自噬障礙（MAD）。我們認為，合成數據是解決高質量訓練數據短缺的重要方向，隨著技術演進，目前面臨的合成數據效果邊際遞減問題或逐步解決。圖表圖表62：Claude 3 在訓練時使用了內部生成的數據在訓練時使用了內部生成的數據 資料來源：2023 AI Index 報告、華泰研究 圖表圖表63：在圖像生成模型中由于合成數據引入而出現的模型輸出效果遞減在圖像生成模型中由于合成數據引入而出現的模型輸出效果遞減 資料來源：Self-Consuming Generative Models Go MAD，Alemohammad（2023）、華泰研究 免責聲明

92、和披露以及分析師聲明是報告的一部分，請務必一起閱讀。29 計算機計算機 展望展望#5：新的模型架構出現，但是：新的模型架構出現，但是 Transformer 仍是主流仍是主流 Transformer 架構主流地位未被撼動。架構主流地位未被撼動。截止 23 年 5 月，LLM 絕大部分仍然以 Transformer為基礎架構，包括當前最先進的 GPT-4 系列、Google Gemini 系列、Meta Llama 系列，均是以 Transformer 的解碼器架構為主。雖然有研究者提出了 Mamba 等基于狀態空間模型（SSM）的新模型架構，實現了：1）推理時的吞吐量為 Transformer

93、 的 5 倍；2）序列長度可以線性擴展到百萬級別；3）支持多模態；4）測試集結果優于同等參數規模的Transformer 模型。但從工程實現來看，暫時未得到大范圍的使用。Google 也探索了循環神經網絡的遞歸機制與局部注意力機制的結合；KAN 的提出也從底層替換了 Transformer的基礎單元 MLP（多層感知機）。但我們認為，以上方法都缺乏大量的工程實踐和成熟的工程工具，短期內替換掉 Transformer 可能性不大。圖表圖表64：Transformer 架構是架構是 LLM 主流架構主流架構 圖表圖表65：Mamba 架構架構 注：灰色以外的分支均為 Transformer 架構，

94、粉色為編碼器架構，綠色為編解碼器架構，藍色為解碼器架構 資料來源：Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyond，Jingfeng Yang（2023.4）、華泰研究 資料來源：Mamba:Linear-Time Sequence Modeling with Selective State Spaces，Albert Gu（2023.12）、華泰研究 全球首個基于全球首個基于 Mamba 架構的生產級模型發布，架構的生產級模型發布，Mamba 開始得到落地驗證。開始得到落地驗證。24 年 3 月，A

95、I21 發布世界首個 Mamba 的生產級模型 Jamba，融合了 Mamba+Transformer+MoE 等不同類型的大模型技術。Jamba 基本信息如下：1）共 52B 參數，其中 12B 在推理時處于激活狀態；2）共 16 位專家，推理過程中僅 4 個專家處于活躍狀態；3）模型基于 Mamba，采用 SSM-Transformer 混合的架構；4）支持 256K 上下文長度；5）單個 A100 80GB 最多可支持 140K 上下文；6）與 Mixtral 8x7B 相比，長上下文的吞吐量提高了 3 倍。從測評結果看，Jamba 在推理能力上優于 Llama 2 70B、Gemma

96、7B 和 Mixtral 8x7B。Mamba 架構開始得到驗證。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。30 計算機計算機 圖表圖表66：Jamba 模型的測評結果模型的測評結果 推理推理 綜合評估綜合評估 HellaSwag Arc Challenge WinoGrande PIQA MMLU BBH TruthfulQA GSM8K(CoT)Lama2 13B 80.7%59.4%72.8%80.5%54.8%39.4%37.4%34.7%Lama2 70B 85.3%67.3%80.2%82.8%69.8%51.2%44.9%55.3%Gemma 7B 81.2%5

97、3.2%72.3%81.2%64.3%55.1%44.8%44.5%Mixtral 8x7B 86.7%66.0%81.2%83.0%70.6%50.3%46.8%60.4%Jamba 87.1%64.4%82.5%83.2%67.4%45.4%46.4%59.9%資料來源：AI21 官網、華泰研究 圖表圖表67：Jamba 架構（左）吸收了架構（左）吸收了 Mamba+Transformer+MoE 多種技術多種技術 資料來源：AI21 官網、華泰研究 Google RecurrentGemma 架構也與架構也與 Transformer 不同，是另一種新的路線探索。不同，是另一種新的路線探索

98、。RecurrentGemma 基于 Google 開源的小模型 Gemma，在此基礎上，引入了循環神經網絡（RNN）和局部注意力機制來提高記憶效率。由于傳統的 Transformer 架構中，需要計算兩兩 token 之間的注意力機制，因此時間和空間復雜度均隨著 token 的增加而平方級增長。由于 RNN 引入的線性遞歸機制避免了平方級復雜度，RecurrentGemma 帶來了以下幾個優勢：1）內存使用減少：在內存有限的設備（例如單個 XPU）上生成更長的樣本。2）更高的吞吐量：由于內存使用量減少，RecurrentGemma 可以以顯著更高的 batch 大小執行推理，從而每秒生成更多

99、的 token（尤其是在生成長序列時）。更重要的是，RecurrentGemma展示了一種實現高性能的非 Transformer 模型，是架構革新的重要探索。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。31 計算機計算機 圖表圖表68：RecurrentGemma 的吞吐量遠高于的吞吐量遠高于 Gemma 資料來源：Google 官網、華泰研究 展望展望#6：AI Agent 智能體是智能體是 AGI 的加速器的加速器 計算機科學中計算機科學中 Agent 指計算機能夠理解用戶的意愿并能自主地代表用戶執行任務。指計算機能夠理解用戶的意愿并能自主地代表用戶執行任務。Agent（中

100、文翻譯智能體、代理等）概念起源于哲學，描述了一種擁有欲望、信念、意圖和采取行動能力的實體。將這個概念遷移到計算機科學中，即意指計算機能夠理解用戶的意愿并能自主地代表用戶執行任務。隨著 AI 的發展，AI Agent 用來描述表現出智能行為并具有自主性、反應性、主動性和社交能力的人工實體，能夠使用傳感器感知周圍環境、做出決策，然后使用執行器采取行動。AI Agent 是實現人工通用智能（是實現人工通用智能（AGI）的關鍵一步，包含了廣泛的智能活動潛力。）的關鍵一步，包含了廣泛的智能活動潛力。2020 年，Yonatan Bisk 在Experience Grounds Language中提出 W

101、orld Scope(WS)，來描述自然語言處理到 AGI 的研究進展，包括 5 個層級：WS1.Corpus(our past)；WS2.Internet(most of current NLP)；WS3.Perception(multimodal NLP)；WS4.Embodiment；WS5.Social。據復旦大學 NLP 團隊，純 LLM 建立在第二個層次上，即具有互聯網規模的文本輸入和輸出。將 LLM 與 Agent 技術架構結合，并配備擴展的感知空間和行動空間，就有可能達到 WS 的第三和第四層。多個 Agent 可以通過合作或競爭來處理更復雜的任務，甚至觀察到涌現的社會現象，潛

102、在地達到第五 WS 級別。圖表圖表69：Agent 能將能將 LLM 抬升到更接近抬升到更接近 AGI 的層級的層級 資料來源：The Rise and Potential of Large Language Model Based Agents:A Survey，Zhiheng Xi（2023.9）、華泰研究 01,0002,0003,0004,0005,0006,0007,00012851220488192最大解碼最大解碼token/s采樣長度采樣長度Gemma-2BRecurrentGemma-2B 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。32 計算機計算機 AI A

103、gent 主要由主要由 LLM 大腦、規劃單元、記憶單元、工具和行動單元組成。大腦、規劃單元、記憶單元、工具和行動單元組成。不同研究中的AI Agent 框架組成略有差別。比較官方的定義是 OpenAI 安全系統負責人 Lilian 提出的，她將 Agent 定義為 LLM、記憶（Memory）、任務規劃（Planning Skills）以及工具使用（Tool Use）的集合，其中 LLM 是核心大腦，Memory、Planning Skills 以及 Tool Use 等則是 Agents系統實現的三個關鍵組件。此外，復旦大學 NLP 團隊也提出了由大腦、感知和動作三部分組成的 AI Age

104、nt 框架。圖表圖表70：OpenAI Lllian 提出的提出的 Agent 框架框架 圖表圖表71：復旦大學復旦大學 NLP 團隊提出的團隊提出的 Agent 框架框架 資料來源：OpenAI 官網、華泰研究 資料來源：The Rise and Potential of Large Language Model Based Agents:A Survey，Zhiheng Xi（2023.9）、華泰研究 吳恩達教授指出，吳恩達教授指出，LLM 加上反思、工具使用、規劃、多智能體等能力后，表現大幅提升。加上反思、工具使用、規劃、多智能體等能力后，表現大幅提升。斯坦福大學教授、Amazon 董事

105、會成員吳恩達在紅杉美國 AI Ascent 2024 提出，如果用戶圍繞 GPT-3.5 使用一個 Agent 工作流程，其實際表現甚至好于 GPT-4。其中，反思指的是讓模型重新思考其生成的答案是否正確，往往會帶來輸出結果的改進；工具使用包括調用外部的聯網搜索、日歷、云存儲、代碼解釋器等工具，補充模型的能力欠缺；多智能體協作指的是多種智能體互相搭配來完成一個復雜任務，每種智能體會負責自己所擅長的一個領域，類似人類社會之間的協作，實現超越單個智能體能達到的效果。圖表圖表72：GPT-3.5 和和 4 在反思在反思+使用工具使用工具+規劃規劃+多智能體時能大幅提高模型模型表現多智能體時能大幅提高

106、模型模型表現 資料來源：吳恩達演講、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。33 計算機計算機 Agent 相關研究處于爆發期。相關研究處于爆發期。伴隨 LLM 的快速迭代發展，基于 LLM 的 AI Agent 涌現，典型的如 Auto-GPT、微軟的 HuggingGPT、斯坦福小鎮 Generative Agent、Nvidia Voyager等。24 年 3 月，AI 初創公司 Cognition 發布第一個 AI 軟件工程師自主智能體 Devin，能夠使用自己的 shell、代碼編輯器和 Web 瀏覽器來解決工程任務，并在 SWE-Bench 基準測試上

107、正確解決了 13.86%的問題，遠超之前方法的正確率。我們認為，2024 年基于 AI Agent的應用和產品仍將會繼續涌現，其效果也將持續受益于大模型能力的提升，AI Agent 將成為實現 AGI 的重要助推器。圖表圖表73：2023 年伴隨年伴隨 LLM 的發展的發展 Agent 項目也處于爆發期項目也處于爆發期 資料來源：A Survey on Large Language Model based Autonomous Agents，Wang Lei（2023.8）、華泰研究 展望展望#7：具身智能與：具身智能與 LLM 結合落地加速結合落地加速 AI 龍頭公司在具身智能領域有模型、框

108、架層面的豐富研究成果。龍頭公司在具身智能領域有模型、框架層面的豐富研究成果。23 年 5 月，Nvidia CEO黃仁勛指出，AI 的下一個浪潮將是具身智能。各個 AI 頭部廠商均有相關的研究成果。23年年初，微軟的 ChatGPT for Robotics 初次探討了 LLM 代替人工編程，來對機器人實現控制。Google延續了2022年的具身智能成果，將RT系列模型升級到視覺動作語言模型RT-2，將 Gato 升級到能自我迭代的 RoboCat，并開源了迄今最大的真實機器人具身智能數據集Open X-Embodiment。Nvidia 也有 VIMA 和 OPTIMUS 等具身智能研究，并

109、在 24 年 2 月成立了專門研究具身智能的小組 GEAR。斯坦福李飛飛教授的 VoxPoser 結合視覺模型和語言模型優勢，建模了空間 Value Map 來對機器人軌跡進行規劃。Meta 也發布 RoboAgent，并在訓練數據集收集上利用了自家的 CV 大模型 SAM。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。34 計算機計算機 圖表圖表74：2023 年年 AI 龍頭公司為具身智能貢獻了眾多成果龍頭公司為具身智能貢獻了眾多成果 資料來源：各公司官網、華泰研究 2024 年，具身智能仍是年，具身智能仍是 LLM 重要的終端落地場景，技術仍在持續迭代。重要的終端落地場景，

110、技術仍在持續迭代。1）24 年 1 月，斯坦福大學發布 Mobile ALOHA 機器人，利用模仿學習，在人類做出 50 個示例后，機器人即能自行執行下游任務。2）同月，Google 一次性發布了三項具身智能成果。Auto-RT 解決機器人數據來源問題，通過 LLM 和 VLM（視覺語言模型）擴展數據收集；SARA-RT 顯著加快了 Robot Transformers 的推理速度；RT-Trajectory 將視頻轉換為機器人軌跡，為機器人泛化引入了以運動為中心的目標。3）AI 機器人公司 Figure 推出了 Figure 01，采用端到端 AI 神經網絡，僅通過觀察人類煮咖啡即可在 10

111、 小時內完成訓練。4）從目前 Tesla Optimus 發布視頻情況看，Optimus 的神經網絡已經能夠指導機器人進行物品分揀等動作，且控制能力進一步提高。圖表圖表75：Google AutoRT 流程圖流程圖 圖表圖表76：Figure 公公司的司的 Figure 01 資料來源：Google 官網、華泰研究 資料來源：Figure 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。35 計算機計算機 OpenAI 與與 Figure AI 率先合作，實現了大模型對具身智能的賦能。率先合作，實現了大模型對具身智能的賦能。24 年 3 月，OpenAI官方宣布與

112、Figure AI 機器人公司合作，將多模態模型擴展到機器人感知、推理和交互。宣布合作 13 天后，Figure 01 已經與 OpenAI 的視覺語言模型結合，并發布了演示視頻。ChatGPT 從頂層負責用戶交互、環境感知（依靠 vision 視覺能力）、復雜問題拆解，而 Figure 01 自身的神經網絡和控制系統負責底層的自主任務執行，實現了強交互的自主任務執行。隨后，國內大模型廠商百度與機器人整機廠商優必選也宣布合作，“復刻”了 OpenAI+Figure的合作路線，由文心大模型負責交互推理、優必選 Walker X 負責底層任務實現。我們認為，多模態大模型和機器人結合的路線已經走通，

113、隨著 24 年模型能力持續迭代（GPT-4o 的出現），以及人形機器人自主和控制能力的加強，LLM+具身智能落地加速，并將更加可用、好用。圖表圖表77：OpenAI 與與 Figure 合作的技術架構合作的技術架構 圖表圖表78：百度百度+優必選復刻優必選復刻 OpenAI+Figure 路線路線 資料來源：Figure AI 官網、華泰研究 資料來源：優必選官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。36 計算機計算機 GPT-5 的幾個預期的幾個預期 OpenAI 從從 GPT-3 開始實行閉源商業化路線，相關的模型技術幾乎不再公布細節。開始實行閉源商業化路

114、線，相關的模型技術幾乎不再公布細節。我們基于對全球大模型發展趨勢的研究和把握，提出幾個 GPT-5 可能的預期和展望，并給出相應的推測邏輯。預期預期#1：MoE 架構將延續，專家參數和數量或變大架構將延續，專家參數和數量或變大 MoE 是現階段實現模型性能、推理成本、模型參數三者優化的最佳架構方案。是現階段實現模型性能、推理成本、模型參數三者優化的最佳架構方案。1）MoE 將各種專家通過路由（router）機制有機整合，在各種下游任務上，能夠充分利用每個專家的專業能力，提高模型表現；2）MoE 天然的稀疏架構，使得 MoE 模型與同參數稠密模型在推理成本上有較大節??；3）同理，在推理成本固定的

115、情況下，MoE 模型相比稠密模型，能夠把模型參數堆到更大，同樣能夠提升模型性能。我們認為，我們認為，OpenAI 在在 GPT-5 模型迭代時仍將采用模型迭代時仍將采用 MoE 架構，或有部分改進。架構，或有部分改進。相比 GPT-4，GPT-5 的 MoE 架構或將有以下改進：1）每個專家的參數更大）每個專家的參數更大，例如每個專家大小與 GPT-4相同，近 2T 參數。即使 OpenAI 無法將單個 2T 參數專家做成稠密架構，也可以使用 MoE嵌套 MoE 的方式實現。2）專家數量變多，）專家數量變多，例如幻方旗下 DeepSeek V2 模型即使用改進的DeepSeekMoE 架構，采

116、取了更細粒度的專家結構，將專家數擴展到 160+，以適應更加豐富和專業的下游任務。3）MoE 架構本身可能有改進，架構本身可能有改進，例如 Google DeepMind 提出了 Mixture of Depth（MoD）架構，向 Transformer 的不同層（layer）引入類似 MoE 的路由機制，對token 進行選擇性處理，以減少推理成本。MoD 可以和 MoE 混合使用，相當于對 MoE 進行了改進。OpenAI 或也會有類似的改進技術。圖表圖表79：DeepSeek v2 采取的細粒度專家采取的細粒度專家 MoE 架構架構 圖表圖表80：Google DeepMind 混合了混

117、合了 MoD 和和 MoE 架構架構 資料來源：DeepSeek-V2:A Strong,Economical,and Efficient Mixture-of-Experts Language Model，DeepSeek AI（2024）、華泰研究 資料來源：Mixture-of-Depths:Dynamically allocating compute in transformer-based language models，Google DeepMind（2024）、華泰研究 我們預計，我們預計，GPT-5 或將達到百萬億參數，即或將達到百萬億參數，即 2T 參數參數/專家專家*64

118、專家（或更多）。專家（或更多）。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。37 計算機計算機 預期預期#2：GPT-5 及之后模型的訓練數據集質量更高、規模更大及之后模型的訓練數據集質量更高、規模更大 OpenAI 不斷加速與私有高質量數據公司的合作進度，為訓練大模型做數據儲備。不斷加速與私有高質量數據公司的合作進度，為訓練大模型做數據儲備。2023 年11 月，OpenAI 即官宣推出數據合作伙伴計劃，將與各類組織合作生成用于訓練 AI 模型的公共和私有數據集，包括冰島政府、非營利法律組織“Free Law Project”等。2024 年，OpenAI 在 4-5 月先后

119、與英國金融時報、程序員交流網站 Stack Overflow、論壇網站 Reddit宣布合作，相關數據覆蓋了新聞、代碼、論壇交流等場景。我們認為，OpenAI 在早期的數據儲備中，已經將網絡公開可獲得的數據進行了充分的開發，根據 OpenAI 的 Scaling Law和 Google Chinchilla 的結論，隨著模型參數的增大，想要充分訓練模型，必須增大訓練數據規模，這也從 OpenAI 的廣泛數據合作關系中得到印證。我們認為，GPT-5 及之后模型的訓練數據集，將有望吸納更多高質量的私域數據，數據規模也將變得更大。圖表圖表81：OpenAI 推出的數據合作伙伴計劃推出的數據合作伙伴計

120、劃 資料來源：OpenAI 官網、華泰研究 圖表圖表82：OpenAI 加快與私有數據公司的合作加快與私有數據公司的合作 圖表圖表83：Chinchilla 給出的最優訓練條件：數據集給出的最優訓練條件：數據集20 倍參數倍參數 資料來源：OpenAI 官網、華泰研究 資料來源：Training Compute-Optimal Large Language Models，Google DeepMind（2022）、華泰研究 預期預期#3：在思維鏈：在思維鏈 CoT 的基礎上，再加一層的基礎上，再加一層 AI 監督監督 思 維鏈能夠 在不改變 模型 的情況下 提高其表 現性 能。思 維鏈能夠 在

121、不改變 模型 的情況下 提高其表 現性 能。2022 年，Jason Wei 在Chain-of-Thought Prompting Elicits Reasoning in Large Language Models中首次提出思維鏈（chain of thought，CoT）概念，使模型能夠將多步驟問題分解為中間步驟。通過思維鏈提示，足夠規模（100B 參數）的語言模型可以解決標準提示方法無法解決的復雜推理問題，提高各種推理任務的表現。以算數推理 MultiArith 和 GSM8K 為例，當使用思維鏈提示時，增加 LaMDA 和 PaLM 模型參數可以顯著提高性能，且性能大大優于標準提示。

122、此外，思維鏈對于模型的常識推理任務（如 CommonsenseQA、StrategyQA 和 Date Understanding 等）同樣有明顯的性能提升作用。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。38 計算機計算機 圖表圖表84：標準提示與思維鏈提示的示例標準提示與思維鏈提示的示例 圖表圖表85：算數推理中思維鏈大大提高模型性能表現算數推理中思維鏈大大提高模型性能表現 資料來源：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models，Jason（2022）、華泰研究 資料來源：Goog

123、le Research 官網、華泰研究 OpenAI 探索了過程監督對模型的性能提升，有望與探索了過程監督對模型的性能提升，有望與 CoT 結合，進一步提高推理能力。結合，進一步提高推理能力。23年 5 月，OpenAI 官方 blog 宣布訓練了一個獎勵模型，通過獎勵推理的每個正確步驟（“過程監督”），而不是簡單地獎勵正確的最終答案（“結果監督”），來更好的解決模型的數學推理能力和問題解決能力。與結果監督相比，過程監督有優勢：1）過程監督相當于直接獎勵了模型遵循對齊的 CoT，流程中的每個步驟都受到精確的監督；2）過程監督更有可能產生可解釋的推理，因為它鼓勵模型遵循人類思考的過程。最終的 M

124、ATH 測試集結果中，過程監督能夠提升相對于結果監督 5pct 以上的正確率。我們認為，這種基于我們認為，這種基于 CoT 的過程監督方的過程監督方法，有可能幫助法，有可能幫助 GPT-5 進一步提高模型推理的正進一步提高模型推理的正確性，壓制模型幻覺。確性，壓制模型幻覺。圖表圖表86：MATH 測評下過程監督結果好于結果監督測評下過程監督結果好于結果監督 資料來源：OpenAI 官網、華泰研究 預期預期#4：支持更多外部工具調用的端到端模型：支持更多外部工具調用的端到端模型 GPT-5 有望在有望在 GPT-4 少量的外部工具基礎上，增加更多的可調用工具，擴展能力邊界。少量的外部工具基礎上，

125、增加更多的可調用工具，擴展能力邊界。目前基于 GPT-4 系列的 ChatGPT，能夠調用 Bing 搜索、高級數據分析（原代碼解釋器）、DALL-E 文生圖等外部工具，并且在 23 年 11 月推出 All Tools 能力，讓 ChatGPT 在與用戶對話時自主選擇以上三種工具。外部工具調用使得模型在性能基本保持不變的情況下，能力邊界得到擴展，其實質與 Agent 調用工具類似。此外，曾在 23 年 3 月推出的 ChatGPT Plugins 功能，本質也是外部工具，但是由于 GPT-4 能力的有限，導致能夠在單個對話中使用的 Plugins 只有三個，因此 Plugins 逐漸被 GP

126、Ts 智能體取代。我們認為，隨著 GPT-5推理能力的進一步提高，將有能力更好的自主分析用戶需求，以更合理的方式，調用更多的外部工具（100-200 個），如計算器、云存儲等，從而進一步擴展 GPT-5 的模型能力邊界。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。39 計算機計算機 圖表圖表87：最早推出的部分最早推出的部分 Plugins 圖表圖表88：All Tools 功能整合了可調用的工具功能整合了可調用的工具 資料來源：OpenAI 官網、華泰研究 資料來源：OpenAI 官網、華泰研究 GPT-4o 已經打下多模態端到端的基礎，已經打下多模態端到端的基礎，GPT-5

127、 將延續。將延續。我們認為，GPT-4o 驗證了頭部廠商大模型原生多模態的發展趨勢，這一趨勢不會輕易改變，因為端到端的原生多模態，很好的解決了模型延時（如 GPT-4 非端到端語音響應平均時間超 5s，而 4o 端到端語音響應時間平均僅 320ms）、模型誤差（由于誤差是不可避免的，級聯的模型越多，誤差累計越大，端到端僅 1 份誤差）等問題，因此 GPT-5 將延續端到端多模態結構，或將有部分改進。如進一步降低端到端的響應延遲，優化用戶使用體驗；加入更多的模態支持，如深度、慣性測量單位（IMU）、熱紅外輻射等信息，以支持更復雜的如具身智能等場景。預期預期#5：多種大小不同的參數，不排除推出端側

128、小模型：多種大小不同的參數，不排除推出端側小模型 Google 和和 Anthropic 均在同代模型中推出參數大小不同的版本，均在同代模型中推出參數大小不同的版本，GPT-5 有望跟進。有望跟進。如圖表 17-18 所示，Google 和 Anthropic 均采取了同代模型、不同大小的產品發布策略，以平衡用戶的成本和性能體驗。據海外開發者 Tibor Blaho 信息，ChatGPT 安卓版安裝包1.2024.122 版本中發現了三個新的模型名稱：gpt-4l，gpt-4l-auto，gpt-4-auto，其中 l 代表“lite”（輕量），或是 OpenAI 開始考慮布局大小不同的模型矩

129、陣。由于 Google 官方已經實現了最小參數的 Gemini Nano 模型在 Pixel 8 Pro 和三星 Galaxy S24 系列實裝，且據Bloomberg 信息，OpenAI 與 Apple 正在探索端側模型上的合作，我們預測，GPT-5 也有可能推出端側的小參數模型版本。預期預期#6：從普通操作系統到：從普通操作系統到 LLM 操作系統操作系統 LLM 操作系統是操作系統是 Agent 在系統層面的具象化。在系統層面的具象化。LLM OS 是前 OpenAI 科學家 Andrej Karpathy 提出的設想，其中 LLM 將替代 CPU 作為操作系統核心，LLM 的上下文窗口

130、是RAM，接受用戶指令并輸出控制指令，在 LLM 核心外部有存儲、工具、網絡等各種“外設”供 LLM 調用。我們認為，從結構上看，LLM OS 和圖表 67 所示的 Agent 架構十分相似，可以看做 Agent 在操作系統領域的具象化。LLM OS 的核心就是模型能力，隨著 GPT-5 推理性能的不斷提升，我們認為 LLM 和 OS 結合的范式將更有可能實現，屆時人類和 OS 的交互方式將不再以鍵鼠操作為主，而會轉向基于 LLM 的自然語言或語音操作，進一步解放人類雙手，實現交互方式的升級。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。40 計算機計算機 圖表圖表89：前前 O

131、penAI 科學家科學家 Andrej Karpathy 提出的提出的 LLM OS 構想構想 資料來源：OpenAI 官網、華泰研究 圖表圖表90：操作系統與操作系統與 LLM 的相似性的相似性 資料來源：各公司官網、華泰研究 預期預期#7：端側：端側 AI Agent 將更加實用和智能將更加實用和智能 OpenAI和和Google已經將模型的重點使用場景定位到端側已經將模型的重點使用場景定位到端側 AI Agent。24年5月13-14日，OpenAI 和 Google 分別召開發布會和開發者大會，其中最值得關注和最亮眼的部分就是端側 AI Agent。OpenAI 基于最新的端到端 GP

132、T-4o 模型打造了新的 Voice Mode，實現了更擬人、更個性化、可打斷、可實時交互的 AI 助手，并能夠使用 4o 的視覺能力，讓助手針對用戶看到的周圍環境和PC場景進行推理；Google的Project Astra也實現了類似的效果，并且能夠根據模型“看到”的場景進行 recall。我們認為，頭部模型廠商遵循了模型邊迭代、應用邊解鎖的發展路徑，目前已經將模型的使用場景聚焦到了端側。結合 OpenAI 與 Apple的合作進展看，端側 AI 或將在 24 年下半年成為重點。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。41 計算機計算機 圖表圖表91：OpenAI 新新

133、Voice Mode 與與 Google Project Astra 對比對比 產品名產品名 定位定位 端側支持端側支持 支持模態支持模態 是否支持實時打斷是否支持實時打斷 系統層面支持系統層面支持 是否支持記憶是否支持記憶 推出時間推出時間 和和 Apple 合作可能性合作可能性 OpenAI New Voice Mode 手機和手機和 PC 文本、語音、文本、語音、圖像和視頻圖像和視頻 是是 OpenAI 本身沒有OS，目前 LLM OS也未成熟，智能依附于 iOS 或 Android，能獲得多少權限，得它們說的算 未展示 幾周或幾個月后推出 目前公開信息看，合目前公開信息看，合作可能性較

134、大作可能性較大 Google Project Astra AI 通用智能體 手機和手機和 PC 文本、語音、文本、語音、圖像和視頻圖像和視頻 未展示，推測不行 深度控制深度控制 Android系統，有系統權限系統，有系統權限 支持，但不清支持，但不清楚 能 夠 保 留楚 能 夠 保 留記憶的時長記憶的時長 其中一些功能將于今年晚些時 候 出 現 在Google 產 品中 雖然 Apple 最先和Google Gemini 談合作，但后續進展不如OpenAI 快 資料來源：各公司官網、華泰研究 更加智能的更加智能的 GPT-5 能夠將能夠將 AI Agent 能力推上新的臺階。能力推上新的臺階。

135、我們認為，OpenAI 在第四代 GPT的大版本下，已經通過端到端的 4o 實現了 AI Agent 更實時、更智能的多模態交互。但是基于目前模型的推理性能，AI Agent 在實現多任務、多步驟的自主任務執行時成功率仍不夠高。以 PC 端基于 GPT-4 的 AI 軟件工程師智能體 Devin 為例，在 SWE-Bench 基準測試（要求 AI 解決 GitHub 上現實世界開源項目問題）上進行評估時，Devin 在沒有人類協助的情況下能正確解決 13.86%的問題，遠遠超過了之前最好方法對應的 1.96%正確率，即使給出了要編輯的確切文件，Claude 2 也只能成功解決 4.80%的問題

136、。但是 13.86%的成功率，仍然距離實用較遠，究其原因還是模型的智能能力“不夠”。我們認為，隨著 GPT-5 核心推理能力進一步提高，或能將“類 Devin”產品正確率提升到 80%以上，AI Agent 將變得更加實用和智能。圖表圖表92：Devin 解決真實工程問題正確率顯著提高但仍離實用較遠解決真實工程問題正確率顯著提高但仍離實用較遠 資料來源：Cognition 官網、華泰研究 13.86%4.80%3.97%3.01%1.74%0.52%0%2%4%6%8%10%12%14%16%DevinClaude 2SWE-Llama 13B SWE-Llama 7BGPT-4ChatGPT

137、 3.5%解決的問題解決的問題真實世界軟件工程表現（真實世界軟件工程表現（SWE-bench）免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。42 計算機計算機 理想理想 vs 現實：從現實：從 AI+到到+AI 據據 Ericsson 白皮書白皮書Defining AI native，AI 與系統可以分為非原生和原生兩類。與系統可以分為非原生和原生兩類。對于非 AI 原生（None AI-native）系統，又可根據 AI 組件的部署方式細分為：1）替換已有部件。即在現有的系統組件中，將其中的一部分用基于 AI 的組件進行替換或增強。2）增加新的部件。即不改變現有系統中組件的情況

138、下，增加一部分基于 AI 的組件。3）增加 AI 控制。同樣不改變現有系統的組件，增加基于 AI 的控制組件部分，來對已有組件進行控制，在傳統功能之上提供自動化、優化和額外功能。對于 AI 原生（AI-native）系統，系統中所有的組件均基于 AI 能力構建，整個 AI 原生系統擁有內在的、值得信賴的 AI 功能，AI 是設計、部署、操作和維護等功能的自然組成部分。圖表圖表93：Devin 解決真實工程問題正確率顯著提高但仍離實用較遠解決真實工程問題正確率顯著提高但仍離實用較遠 資料來源：Ericsson 官網、華泰研究 AI+指的是指的是 AI 原生形式，是理想的原生形式，是理想的 AI

139、應用和硬件構建方法，但是目前的大模型能力還無法應用和硬件構建方法，但是目前的大模型能力還無法很好的支持這一實現。很好的支持這一實現。在在 AI+應用方面，典型的如應用方面，典型的如 AI 原生搜索類應用原生搜索類應用 Perplexity。據 SimilarWeb 數據，2023 年1 月-2024 年 5 月，Perplexity 每月的網站訪問量不斷提升，截至 24 年 5 月，月網站訪問量已經達到了近 9000 萬，較大幅度領先于同樣做 AI 原生搜索的 Y。但是從搜索引擎的全球市占率看，據 Statcounter 數據，Google 的搜索引擎市占率從 23 年 1 月的 92.9%僅

140、微降到24年5月的90.8%，Bing的市占率從23年1月的3.03%微升到24年5月的3.72%。我們認為，目前為止，AI 原生的搜索應用并未對傳統搜索產生本質影響。圖表圖表94：Perplexity 和和 Y 的網站訪問情況的網站訪問情況 圖表圖表95：搜索引擎市占率情況搜索引擎市占率情況 資料來源：SimilarWeb 官網、華泰研究 資料來源：Statcounter 官網、華泰研究 01,0002,0003,0004,0005,0006,0007,0008,0009,00010,0001月4月7月10月2024年1月4月(萬)Perplexity AI0501001-Jan1-Feb1

141、-Mar1-Apr1-May1-Jun1-Jul1-Aug1-Sep1-Oct1-Nov1-Dec1-Jan1-Feb1-Mar1-Apr1-May(%)GooglebingYANDEXYahoo!BaiduDuckDuckGoNaverCocCocSogouHaosouEcosiaSeznam 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。43 計算機計算機 在在 AI+硬件方面，代表產品為硬件方面，代表產品為 Ai Pin 和和 Rabbit R1。23 年 11 月，智能穿戴設備公司 Humane發布基于 AI 的智能硬件 Ai Pin，由 GPT 等 AI 模型驅動，為

142、AI 原生的硬件，支持激光屏、手勢、語音等操作。24 年 4 月，Rabbit 推出 AI 驅動的硬件 R1，大小約為 iPhone 的一半。R1 用戶無需應用程序和登錄，只需簡單提問，就能實現查詢、播音樂、打車、購物、發信息等操作。R1 內部運行 Rabbit OS 操作系統，基于“大型動作模型”（Large Action Model，LAM）打造，而非類似于 ChatGPT 的大型語言模型。LAM 可以在計算機上理解人類的意圖，借助專門的 Teach Mode，用戶可以在計算機上演示操作，R1 將進行模仿學習。但是以上兩款產品發布后，據 BBC 和 Inc 等信息，產品的用戶體驗一般，問題

143、主要包括 AI 模型響應過慢、對網絡通暢性要求過高、無法端側推理、電池發熱嚴重等。圖表圖表96：Ai Pin 的交互輸出方式和交互邏輯的交互輸出方式和交互邏輯 圖表圖表97：Rabbit 基本參數及多模態識別展示基本參數及多模態識別展示 資料來源：Humane 官網、華泰研究 資料來源：Rabbot 官網、華泰研究 +AI 指的是非原生指的是非原生 AI 形式，在成熟的軟硬件系統上疊加一定的形式，在成熟的軟硬件系統上疊加一定的 AI 功能，更符合當前模型功能，更符合當前模型的能力，或成為近期的迭代重點。的能力，或成為近期的迭代重點。在在+AI 應用方面，微軟的應用方面，微軟的 Copilot

144、系列是典型的成熟系列是典型的成熟 SaaS+AI 應用。應用。從功能覆蓋來看，微軟基于成熟的操作系統、企業辦公、客戶關系管理、資源管理、員工管理、低代碼開發等業務環節，上線了 Copilot 相關功能，并初步實現各應用間的 Copilot 聯動。據微軟 24Q1財報數據，Github Copilot 用戶數已超 50000 家，付費用戶人數 180 萬人，Windows 系統層面的 Copilot 裝機量約 2.3 億臺。更具體細節可以參考華泰計算機 3 月 7 日報告全球軟件龍頭，擁抱 AI 時代。圖表圖表98：微軟在財報中公布的微軟在財報中公布的 Copilot 產品矩陣用戶數情況產品矩陣

145、用戶數情況 資料來源：公司公告、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。44 計算機計算機 另一個另一個+AI 的典型應用是的典型應用是 Meta 的推薦算法的推薦算法+AI 大模型賦能。大模型賦能。據 4 月 19 日扎克伯格訪談，Meta 從 22 年即開始購入 H100 GPU，當時 ChatGPT 尚未問世，Meta 主要利用這些算力開發短視頻應用 Reels 以對抗 Tiktok，其中最核心的就是推薦算法的改進。2024 年 4 月，Meta 發布生成式推薦系統論文Actions Speak Louder than Words:Trillion-Para

146、meter Sequential Transducers for Generative Recommendations ，開 創 性 提 出 了 基 于Transformer 的生成式推薦（Generative Recommenders,GRs）架構（更具體細節可以參考華泰計算機 5 月 23 日報告云廠 AI 算力自用需求或超預期）。據 Meta 24Q1 電話會，截至 24Q1，Facebook 上約有 30%的帖子是通過 AI 推薦系統發布的，在 Instagram 上看到的內容中有超過 50%是 AI 推薦的，已經實現了推薦引擎+AI 對推薦和廣告業務的賦能。圖表圖表99：Meta 提

147、出首個生成式推薦系統模型提出首個生成式推薦系統模型 資料來源：Actions Speak Louder than Words:Trillion-Parameter Sequential Transducers for Generative Recommendations（2024）、華泰研究 在在+AI 硬件方面，在成熟的硬件方面，在成熟的 PC 和手機上已經探索出了硬件和手機上已經探索出了硬件+AI 的演進道路。的演進道路。雖然原生的AI 硬件如 Ai Pin 和 Rabbit R1 并未取得巨大成功，但是微軟、聯想的 AI PC 布局，以及 Apple的 AI 手機布局已經清晰。從目前各廠

148、商終端側模型布局看，有以下特點：1）端側模型參數量普遍在）端側模型參數量普遍在 100 億參數以下。億參數以下。端側能夠支持的模型參數大小，重要的取決因素是 NPU（神經處理單元）的算力多少，以及內存 DRAM 的大小。端側最先進的芯片 NPU算力基本在 40TOPS 左右，支持的參數一般在百億級別。圖表圖表100：AI 手機主要芯片的參數情況手機主要芯片的參數情況 注：x TOPS 指的是 NPU 提供的算力。資料來源：高通官網、聯發科官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。45 計算機計算機 圖表圖表101：AI PC 主要芯片的參數情況主要芯片的參數情

149、況 注：x TOPS 指的是 NPU 提供的算力。資料來源：高通官網、Apple 官網、AMD 官網、Intel 官網、華泰研究 2）端云協同模式將長期存在。）端云協同模式將長期存在。由于端側模型參數量有限，導致無法處理較復雜的任務，因此還需要依賴云端或服務器端的模型配合。高通于 23 年 5 月發布白皮書混合 AI 是 Al 的未來，指出 AI 處理能力持續向邊緣轉移，越來越多的 AI 推理工作負載在手機、筆記本電腦、XR 頭顯、汽車和其他邊緣終端上運行。終端側 AI 能力是賦能端云混合 AI 并讓生成式AI 實現全球規?；瘮U展的關鍵。此外，以 Apple Intelligence 的模型布

150、局為例，其中的編排層（Orchestration）會根據任務難易決定推理使用終端模型還是云端模型。我們認為，這種端云協同的方式在端側+AI 的形式下有望長期存在。圖表圖表102：高通提出的混合高通提出的混合 AI 架構架構 資料來源：混合 AI 是 Al 的未來，高通（2023）、華泰研究 3）Arm 架構芯片布局略快于架構芯片布局略快于 x86 架構。架構。微軟的第一批 Copilot+PC 搭載的高通驍龍 X Elite芯片和 Apple 自研的 M 系列芯片，均是基于 Arm 架構打造。AMD 和 Intel 的 x86 架構 AI PC芯片在時間上略有落后。我們認為，Arm 架構有望在

151、終端+AI 領域提高市場份額，但是最終Arm 和 x86 的格局尚需觀察。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。46 計算機計算機 大模型產業鏈相關公司及主要邏輯大模型產業鏈相關公司及主要邏輯 相關產業鏈公司梳理相關產業鏈公司梳理 建議關注：建議關注：海外標的，海外標的，AI 應用：微軟、Adobe 等。國內標的，國內標的，1）AI 服務器：浪潮信息等；2）AI 應用：金山辦公、福昕軟件、泛微網絡等；3）端側：中科創達、網宿科技。其他產業鏈相關公司：其他產業鏈相關公司：算力相關產業鏈公司，海外標的：算力相關產業鏈公司，海外標的：1）芯片：Nvidia，AMD 等；2）AI

152、 服務器：超威電腦、Dell 等；3）定制芯片：博通等；4）云服務：微軟，Google，Amazon，Oracle；5）存儲：美光。國內標的：國內標的：1）光模塊：中際旭創、天孚通信、新易盛等；2）AI 服務器：工業富聯等；3）PCB：滬電股份等；4）國產算力：海光信息、寒武紀、神州數碼等。模型相關產業鏈公司，模型相關產業鏈公司，主要是全球頭部的模型廠商，包括微軟，Google，Meta 和 Amazon。端側端側 AI 相關產業鏈公司，海外標的：相關產業鏈公司，海外標的：1）手機端：Apple 及其產業鏈公司；2）PC 端：微軟、AMD 等；3）手機+PC 端：Arm、Qualcomm 等。

153、4）車+機器人端：Tesla。國內標的：國內標的：1）AI PC：聯想集團等。2）Apple 官方發布的 23 年度供應商名單（Apple Supplier List 2023）中的 AH 股公司。相關產業鏈公司邏輯相關產業鏈公司邏輯 一看海外算力：頭部廠商訓練大參數模型，需要大規模算力集群，將帶動算力芯片、服務一看海外算力：頭部廠商訓練大參數模型，需要大規模算力集群，將帶動算力芯片、服務器、云服務等需求增長。器、云服務等需求增長。頂尖模型參數一般都在萬億級別以上（參考上文論述的 GPT-4 參數為 1.8 萬億），其訓練不僅需要龐大的訓練數據，更需要大規模的分布式數據中心計算集群。目前頭部廠

154、商中，Google 使用自研的 TPU 來訓練和推理 Gemini 模型，Anthropic 在訓練 Claude 3 時同時使用了 Google（可能使用了 TPU）和 Amazon（Nvidia GPU 為主）的 AWS 云服務（因為Google 和 Amazon 分別對其投資了 20 億美元和 40 億美元），微軟（OpenAI）、Meta、xAI等頭部廠商大多采用 Nvidia 的 GPU 進行訓練和推理。因此，Nvidia 成為目前全球 AI 算力重要的提供商，根據其FY25Q1財報，Nvidia數據中心營收為225.63億美元（同比+426.7%，環比+22.6%）。在 24 年的

155、 Computex 大會上，Nvidia 宣布了未來的芯片布局：2025 年發布 Blackwell Ultra GPU，2026-2027 年發布下一代 Rubin 和 Rubin Ultra GPU 芯片，實現一年一迭代。同時，Nvidia 強化了 AI Factory 概念，實現大模型 token 的“量產”。圖表圖表103：Nvidia 在在 Computex 大會上宣布了大會上宣布了 GPU 迭代計劃迭代計劃 圖表圖表104：Nvidia 在在 Computex 大會上強化了大會上強化了 AI Factory 概念概念 資料來源：Nvidia Computex 大會演講、華泰研究 資

156、料來源：Nvidia Computex 大會演講、華泰研究 據 toms HARDWARE 信息，同樣作為數據中的芯片的提供商，AMD 的 MI300 系列也獲得了微軟、Meta 等部分客戶的訂單，同樣受益于頭部廠商大參數模型的訓練和推理。AMD在 Computex 大會上，同樣宣布了未來的芯片迭代計劃，與 Nvidia 一樣實現了一年一迭代，23-24 年分別發布 MI300X、MI325X、MI350 和 MI400。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。47 計算機計算機 圖表圖表105：AMD 在在 Computex 大會上宣布的大會上宣布的 GPU 迭代路徑迭代

157、路徑 資料來源：AMD Computex 大會演講、華泰研究 Google TPU 在大模型訓推的成功應用，以及頭部云廠商加速研發定制芯片，帶動了定制加速芯片的崛起。據 Marvell 在 24 年 4 月的 Al Era Event 數據，23 財年 Marvell 數據中心 TAM為 210 億美元，其中加速定制計算為 66 億美元；到 28 財年，加速定制計算 TAM 將達到429 億美元，5 年 CAGR 為 45%。據 24 年 Computex 大會聯發科的數據，2023 年定制加速計算 TAM 為 61 億美元，到 2028 年將達到 400 億美元，5 年 CAGR 為 43%

158、，加速計算市場成長迅速。據 Business Insider 信息，博通是 Google TPU 最大的代工廠商，Meta 也已成為博通的大客戶，并有望在 2024 年下半年和 2025 年推出 Meta 的第三代 AI ASIC 芯片（3nm 制程的 MTIA 3）。此外，博通還布局了 AI Ethernet 芯片和高速網絡組件。24Q2財報，博通給出指引，2024 年 AI 相關收入比例將達到 35%以上，收入體量將在 110 億美元左右。我們認為，加速定制芯片將隨著大模型推理需求的鋪開而加速滲透。圖表圖表106：Marvell 在在 Al Era Event 上給出的加速定制計算上給出的

159、加速定制計算 TAM 預測預測 圖表圖表107：頭部廠商開始研發定制加速芯片頭部廠商開始研發定制加速芯片 資料來源：Marvell 官網、華泰研究 資料來源：各公司官網、華泰研究 若以 GPU 芯片為上游，那么產業鏈下一環節則是服務器。超威電腦（SMCI）是 Nvidia 的重要合作伙伴，為 Nvidia H 系列芯片適配了十余款服務器，其產品成為下游客戶的重要選擇之一。在 FY24Q3 財報中，超威電腦上調 FY24Q4 收入指引到 51-55 億美元，24 年全年指引為 147-151 億美元，并指出今年年底馬來西亞工廠有望投產，進一步擴大產能。除超威電腦，在服務器領域，Dell 憑借著在

160、 B 端客戶的資源積累，以及對 Nvidia 的產品適配，相關服務器產品（PowerEdge XE9680/XE9680L 等）也在放量。據 Dell FY25Q1 財報，Dell AI 服務器收入 17 億美元，環比增長 112.5%；積壓訂單 38 億美元，環比增長 31%；新增訂單 26 億美元。據 SemiAnalysis 信息，Dell 相比超威電腦的一個優勢在于，Dell 利用旗下 Dell Financial Services（DFS，戴爾金融服務），以比正常市場更低的利率向較小的第三方新型云廠商（NeoCloud，如 Coreweave 等）提供融資，來購買其服務器產品。雖然

161、Dell 的服務器毛利率略高于超威電腦，但是由于低廉的融資利率，導致第三方廠商最終部署 Dell 服務器產品的成本低于超威電腦。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。48 計算機計算機 圖表圖表108：Dell AI 服務器積壓訂單、收入、新增訂單情況服務器積壓訂單、收入、新增訂單情況 財年財年 財報或公告時間財報或公告時間 AI 服務器服務器積壓訂單（積壓訂單（億美元億美元）AI 服務器服務器收入收入（億美元）（億美元）AI 服務器新增訂單（服務器新增訂單（億美元億美元）24Q2 2023.7.31 8 2023.8.31 20 12 24Q3 2023.10.31 1

162、6 5 1 24Q4 2024.1.31 29 8 21 25Q1 2024.5.3 38 17 26 注：當前積壓訂單=上期積壓訂單-當期收入+當期新增訂單 資料來源：公司公告、華泰研究 頭部云廠商在購買 AI 算力、構建大規模集群、訓練大參數模型的同時，也提供：1）閉源模型和開源模型的云托管服務。按照模型調用 token 數、或企業的模型定制套餐用量，實現對大模型 API 調用的收費，并為開發者提供 AI 一站式開發工具（參照前文各家模型的定價）。2）針對傳統業務的改造。根據華泰計算機 5 月 23 日的報告云廠 AI 算力自用需求或超預期，Meta 基于 Transformer 大模型技

163、術的第三代推薦系統，構建了具備泛化能力的統一推薦模型，同時提升用戶意圖理解與項目推薦效果。據 Meta 24Q1 財報，AI 已經賦能了廣告業務，截至 24Q1，Facebook 上約有 30%的帖子是通過 AI 推薦系統發布的，在過去幾年里增長了 2 倍，用戶在 Instagram 上看到的內容中有超過 50%由 AI 推薦。Google也在搜索引擎中逐步擴展 SGE（搜索生成式體驗）和 AI Overviews 服務，讓大模型賦能搜索業務。從效果來看，Microsoft、Google、Amazon 云收入增速自 23Q3 逐步企穩上升，24Q1 三家公司云收入同比增速分別為 31%、28%

164、、17%，分別環比提升 1、2、4pct。圖表圖表109：2005-2026 年云廠商年云廠商+Meta 的的 CapEx 情況情況 圖表圖表110：2020Q1-2024Q1 云業務收入同比增速變化云業務收入同比增速變化 注：各家公司均為自然年口徑 資料來源：各公司官網、Visible Alpha 預測、華泰研究 注：各家公司均為自然年口徑 資料來源：各公司官網、華泰研究 二看國內算力：國內相關廠商能夠參與到全球算力產業鏈。此外，美國商務部工業和安全二看國內算力：國內相關廠商能夠參與到全球算力產業鏈。此外，美國商務部工業和安全局（局（BIS）對先進計算芯片的出口限制，加速了國產替代需求。）對

165、先進計算芯片的出口限制，加速了國產替代需求。Nvidia 作為目前全球 AI 算力龍頭，能參與到 Nvidia 產業鏈的國內相關標的包括：1）光模）光模塊相關公司塊相關公司，包括中際旭創、天孚通信、新易盛（均為華泰通信覆蓋）。據 Marvell AI Era Event，GPT-3 在 1000 張卡的 GPU 集群上訓練，使用約 2000 個光互連（比例 1:2），未來對于 100萬張卡的 GPU 集群，需求的光互聯可能達到 1000 萬，比例為 1:10。2）PCB 相關公司，相關公司，包括滬電股份（華泰電子覆蓋）等。類似的，國內 AI 服務器需求也受國產大模型訓練和推理的提振，相關公司包

166、括工業富聯和浪潮信息。此外，23 年 10 月，美國商務部工業和安全局（BIS）修改和強化了 2022 年 10月發布的“先進計算芯片和半導體制造設備出口管制規則”，改用總處理性能（TPP）和性能密度（PD）兩個參數，進一步限制國內能購買到的高端算力芯片，A800、H800 在列。因此，國產算力替代需求緊迫。在三期國家大基金等國家政策的支持下，國產算力芯片有望迎來快速迭代，相關標的包括海光信息、寒武紀、神州數碼等。20 41 51 63 35 75 81 112 179 230 236 305 387 647 649 900 1,218 1,460 1,429 1,993 2,211 2,39

167、9 05001,0001,5002,0002,50020052006200720082009201020112012201320142015201620172018201920202021202220232024E2025E2026E（億美元）MicrosoftgoogleAmazonMeta 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。49 計算機計算機 圖表圖表111：Marvell 在在 Al Era Event 上給出的光互聯增長預測上給出的光互聯增長預測 圖表圖表112：美國商務部工業和安全局美國商務部工業和安全局 2023 年更新的芯片限制法案圖解年更新的芯片限制法

168、案圖解 資料來源：Marvell 官網、華泰研究 資料來源：SemiAnalysis、華泰研究 三看大模型進展：大模型是三看大模型進展：大模型是 AI 的軟件“基礎設施”，是當前的軟件“基礎設施”，是當前 AI 能力的主要來源，頭部模型能力的主要來源，頭部模型的進展和迭代情況，或對整個的進展和迭代情況，或對整個 AI 產業鏈產生重要影響。產業鏈產生重要影響。微軟作為 OpenAI 最大的投資人和關系密切的合作伙伴，較早享受到了 OpenAI GPT 系列模型的最新迭代成果。同時前文也提到，微軟正在自研 Phi 系列小模型，進一步降低推理成本，并適配終端 Copilot+PC 的使用場景。Goo

169、gle 是 Transformer 的提出者（2017 年），也是 AI 領域的重要理論創新者，雖然 23 年早期的 PaLM 1/2 模型性能不及同時期的 GPT系列，但是 23 年底 Gemini 系列正式問世，達到了 GPT-4 同級別的水平，并且在后續更新的 Gemini Pro 1.5 版本中，充分發揮了長文本的優勢，最長支持到 2M 上下文長度（參見前文分析）。隨著 Gemini 系列模型的持續迭代，或將繼續縮小與 GPT 系列模型的差距。Meta 是大模型開源領域的倡導者和踐行者，23-24 年先后開源了 Llama 1-3 系列，打造了良好的開源生態，并且 Llama性能與閉源

170、頭部廠商模型的差距也呈縮小態勢（參見圖表 58）?；?Llama 模型的 Meta AI 助手，幫助 Meta 推進大模型技術在 App（Facebook、Instagram等）/智能可穿戴設備（雷朋眼鏡）上的落地，以更好的實現用戶數據驅動的模型迭代，Meta后續模型的迭代值得關注。Amazon 自身的大模型關注度一般，但是 Amazon 于 24 年 5 月底完成了對 Anthropic 的 40 億美元投資，而據之前的分析，Anthropic Claude 模型屬于全球 Top 3 性能的閉源模型，或為 Amazon 的云業務帶來增量。四看端側四看端側 AI 進展：小模型性能的提升為其在

171、終端部署提供了條件?；诔墒斓倪M展：小模型性能的提升為其在終端部署提供了條件?；诔墒斓?PC 和手機和手機硬件，端側硬件，端側 AI 的進展值得關注。的進展值得關注。端側可以從三個部分拆解，即芯片、AI PC 和 AI 手機。從芯片底層看，1）Qualcomm 在 AI PC+手機兩個端側均有布局。Qualcomm 在移動平臺上的驍龍系列芯片為安卓陣營的高端芯片。據 Statcounter 數據，截至 24 年 5 月，安卓 OS的市占率在移動 OS 中為 71.8%，在全部（包含桌面 OS）市占率為 43.9%，大幅領先于其他 OS。此外，Qualcomm 在 23 年 10 月發布了 P

172、C 端的芯片 X Elite 系列，早于競爭對手AMD 和 Intel。X Elite 搭載的 NPU 算力超 45 TOPs，并率先在微軟發布的 Copilot+PC 上搭載，6 月 18 日開售。2）ARM 架構搶先布局 AI 端側。安卓系統、Qualcomm X Elite 芯片均是基于 Arm 架構搭建。與采用復雜指令集（CISC）的 x86 架構相比，采用精簡指令集（RISC）的 Arm 架構能夠更好的控制功耗，非常適合終端場景。在 24 年 Computex 大會上，Arm 宣布 Arm 架構已經成為歷史上最受歡迎的計算平臺，基于 Arm 的芯片數量達到3000 億，覆蓋移動+PC

173、+車+云，Arm 認為其在 Windows 中的市場份額 5 年內將達到 50%。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。50 計算機計算機 圖表圖表113：Qualcomm X Elite 芯片重要參數芯片重要參數 圖表圖表114：Arm 架構已經成為最受歡迎的計算平臺架構已經成為最受歡迎的計算平臺 資料來源：Qualcomm 官網、華泰研究 資料來源：Arm Computex 大會演講、華泰研究 從AI PC看，微軟和聯想較早定義并發布了AI PC產品。4月18日，2024 Lenovo Tech World發布了內置個人智能體“聯想小天”的 AI PC 系列產品，其中

174、內嵌了個人大模型，能與用戶自然交互，在工作、學習和生活等諸多場景中為用戶帶來全新的 AI 體驗。24 年 5 月微軟Build 大會上，微軟正式發布 Copilot+PC，首批選用 Qualcomm 的 X Elite 芯片，并在 PC上部署了微軟自研的模型 Phi-Silica，能夠實現 Recall（回憶用戶曾經使用過的界面內容）、圖像生成、文本處理等功能，6 月 18 日正式開售。在 24 年 Computex 大會上，AMD 也發布了 Ryzen AI 300 系列芯片，并預告將與多個 OEM（acer、ASUS、HP、Lenovo、msi等）合作 100+款 AI PC，最早 7 月

175、上市。圖表圖表115：首批微軟首批微軟 Copilot+PC 圖表圖表116：AMD 將在將在 7 月發布月發布 Ryzen AI 芯片驅動的芯片驅動的 AI PC 資料來源：Qualcomm 官網、華泰研究 資料來源：AMD Computex 演講、華泰研究 從 AI 手機看，雖然 Google 在 23 年 12 月已經將 Gemini Nano 模型部署到了 Google Pixel 8 Pro 上，但是 Pixel 用戶量較少，并未對 AI 手機產生較大影響。24 年 6 月 Apple WWDC上，發布了 Apple 自研全套的 AI 系統Apple Intellgence，基本“復

176、現”了已有的端側能力，包括文本處理、圖像生成、Siri 智能語音交互等。同時 Apple 在端側和云端均部署了自研的大模型（端側參數大小 3B，云端未知參數），并能夠以第三方模型的形式接入 OpenAI的 GPT-4o 及其他模型。據 Statista 數據，截至 2023 年，全球 iPhone 手機用戶高達 13.8億。大量用戶疊加 Apple 完善的軟件（iOS 和 App Store）和硬件（A 系列芯片）生態，或對 AI 手機的演進產生重大影響。相關標的包括 Apple 的產業鏈公司，涉及檢測、面板、電池、光學、聲學、結構件等環節。免責聲明和披露以及分析師聲明是報告的一部分，請務必一

177、起閱讀。51 計算機計算機 圖表圖表117：Apple Intelligence 的模型布局的模型布局 資料來源：Apple 官網、華泰研究 端側 AI 還有望帶動存儲的需求增長。從 Apple Intelligence 支持的設備看，僅支持 A17 Pro及以上規格芯片的手機，以及 M1 及以上規格芯片的 PC。然而根據 Apple 官方數據，M1系列芯片的神經引擎（Neural Engine）算力表現可以達到 11 TOPS，而 A16 芯片可以達到17 TOPS，即僅從算力上看舊款的 A16 是有能力支持 Apple Intelligence 的。然而從內存的角度看，M1 的 DRAM

178、最低為 8GB，高于 A16 配備的 6GB。我們認為，這缺少的 2G DRAM可能就是舊款 Apple 手機端側設備不支持 Apple Intelligence 的重要原因。該推論可以交叉驗證，據華泰計算機 6 月 10 日研報國產大模型“憑”什么降價？，以A100 80G 推理 34B 參數模型為例，34B 模型的參數數據加載到 A100 的 HBM（高性能DRAM）中需要占用 68GB 的內存空間（相當于全部空間的 85%），類比 Apple 端側 3B 模型常駐 iPhone DRAM 中，也需要消耗一定量的內存。這種模型常駐內存的形式，消耗了有限 DRAM 的部分空間，因此導致 A1

179、6 配置的 6GB 無法在滿足日常 App 運行的情況下，常駐 3B 大模型進行推理。我們預測，未來為了保證 Apple Intelligence 的正常推理，Apple或將加大手機的內存起始配置，DRAM 存儲等相關標的包括美光等。圖表圖表118：支持支持 Apple Intelligence 的芯片類型的芯片類型 資料來源：Apple 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。52 計算機計算機 圖表圖表119：大模型參數常駐大模型參數常駐 DRAM 內存，將占據相當的一部分存儲空間內存，將占據相當的一部分存儲空間 注：大模型參數占據的空間為灰色塊表示部分

180、 資料來源：Challenges in Deploying Long-Context Transformers:A Theoretical Peak Performance Analysis，Yao（2024）、華泰研究 五看五看 AI 應用進展：應用進展：AI 大模型最終要落地到應用上，實現商業化，值得持續關注。截止大模型最終要落地到應用上，實現商業化，值得持續關注。截止 24年年 6 月，仍然沒有出現所謂的月，仍然沒有出現所謂的 Super App（超級應用），但是海外面向（超級應用），但是海外面向 B 端客戶的商業化端客戶的商業化產品在不斷成熟。產品在不斷成熟。微軟的 Microsoft

181、 365 Copilot 是較早結合大模型技術的應用，于 23 年 3 月發布，基于 GPT-4的能力，實現了在 Word、Excel、PowerPoint、Outlook、Teams 等應用中使用自然語言進行創作、編輯、摘要、生成 PPT 等功能。隨后，微軟持續拓展 Copilot 品類，推出了 GitHub Copilot、Copilot for Sales、Copilot for Service 等產品，并先后實現了定價。在FY23Q4-FY24Q3 連續 4 個季度，微軟宣布 AI 相關收入分別占 Azure 云收入的 1%、3%、6%和 7%，體現了 AI 對于云業務的持續拉動。（參

182、見華泰計算機 3 月 7 日報告：微軟：全球軟件龍頭，擁抱 AI 時代）。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。53 計算機計算機 圖表圖表120：Microsoft Copilot 產品發布時間線梳理（產品發布時間線梳理（標星代表具備該項能力標星代表具備該項能力）資料來源：Microsoft Blog 官網、華泰研究 另一個 AI 應用領域較為領先的廠商是 Adobe。Adobe 將 AI 與自身產品結合同樣很早，在2023 年 3 月發布生成式 AI 核心產品 Firefly 以來，Adobe 陸續將生成式 AI 技術與 Pr、PS、Express 等多個產品結合。2

183、3 年 9 月，Adobe 宣布近半年的測試完成，正式將 AI 能力集成于 Creative Cloud 產品線中，并于 23 年 11 月 1 日提高訂閱價格，根據產品線的不同，提價幅度大約為 6%-10%，實現了 AI 對 ARPU 的抬升。24 年 4 月 15 日，Adobe 一方面宣布正在開發新的 Firefly 視頻模型，另一方面表示第三方生成式 AI 工具和模型將能夠與Premiere Pro 產品相結合，包括 OpenAI 的 Sora、Runway Gen 系列和 Pika。Adobe 意在打造創意式平臺，吸引更多的多模態模型接入。根據 Adobe 24Q2 財報，Adobe

184、 宣布 Firefly自問世以來，已經完成了超過 90 億次請求，在 iOS 和 Android 上推出的全新 Express 應用程序月活躍用戶比上季度翻了一番。在 AI 的賦能下，Adobe 提高了 24 年度數字媒體業務的 ARR、數字體驗訂閱的收入，實現了 AI 對業務增長的促進作用。（參見華泰計算機 1 月17 日報告：奧多比：創意+營銷 SaaS 龍頭擁抱 AI 時代）圖表圖表121：Adobe 系列產品矩陣提價情況系列產品矩陣提價情況 訂閱方案訂閱方案 付費方式付費方式 2023.11 價格變化（美元）價格變化（美元）提價幅度提價幅度 每月附贈的每月附贈的 fast credit

185、s 2023.11 更新變化更新變化 Creative Cloud for individual Single App Plans annual billed monthly option 20.9922.99（+2）9.5%500 或 250 或 100 或 25，由訂閱的 App 決定 新增 Generative Credits、Adobe Express 和 Adobe Firefly 在 2023 年 11 月 1 日之前，Creative Cloud、Adobe Firefly、Adobe Express和Adobe Stock 付費訂閱者將不受生成式 credit 額度限制。從20

186、23 年 11 月 1 日起，將適用 credit額度 Credit 消費標準：Generative Fill,Generative Expand,Text to Image,Generative Recolor 為 1credit/次；Text Effects 11 月 1 日前免費，之后1credit/次 免費用戶每月送 25credits 目前生成圖片為 2000 x 2000 像素，未來提供更高分辨率的圖像、動畫、視頻和 3D 生成式 AI 功能，消耗點數將更多 month-to-month option 31.4934.49（+3）9.5%annual prepaid option

187、239.88263.88（+24）10%Creative Cloud for Individual All Apps Plan annual billed monthly option 54.9959.99（+5）9%1000 month-to-month option 82.4989.99（+7.5）9%1000 annual prepaid option 599.88659.88（+60）10%1000 Creative Cloud for Teams Teams single app plans/month/license 35.9937.99（+2）5.6%500 Teams All

188、Apps plan/month/license 84.9989.99（+5）5.9%1000 Creative Cloud for Enterprise and Reseller Plans 需聯系 Adobe 帳戶代表或經銷商 單獨定價 需要根據企業實際情況定制 資料來源：Adobe 官網、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。54 計算機計算機 國產大模型初創公司投融資情況國產大模型初創公司投融資情況 國內大模型初創公司得到國內大模型初創公司得到 VC 青睞，頭部公司均是估值在青睞，頭部公司均是估值在 10 億美元以上的獨角獸。億美元以上的獨角獸。國內最主要

189、的大模型初創公司有 5 個，智譜、月之暗面、MiniMax（稀宇科技）、百川智能和零一萬物。從投資方來看，主要資金來自互聯網公司和美元基金。其中，阿里在投資上最為積極，已經向全部 5 家初創公司投資。從估值上看，據已公開的信息，智譜、月之暗面估值最高，為 30 億美元左右；MiniMax 其次，估值 25 億美元左右；百川智能和零一萬物估值在 10 億-20 億美元之間。圖表圖表122：國產大模型初創公司估值及主要投資方國產大模型初創公司估值及主要投資方（截至（截至 24 年年 6 月）月）估值估值 互聯網公司互聯網公司 美元基金美元基金 阿里 騰訊 百度 小米 美團 米哈游 小紅書 紅杉 真

190、格 高瓴 IDG 智譜智譜 30 億美元億美元 百川百川 130 億元億元 月之暗面月之暗面 30 億美元億美元 MiniMax 25 億美元億美元 零一萬物零一萬物 10 億美元億美元 資料來源：企查查、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。55 計算機計算機 圖表圖表123：提及公司列表提及公司列表 公司代碼公司代碼 公司簡稱公司簡稱 MSFT US 微軟 未上市 OpenAI GOOG US 谷歌 ADBE US 奧多比 NVDA US Nvidia AMD US AMD SMCI US 超威電腦 DELL US Dell META US Meta AAP

191、L US Apple ARM US Arm QCOM US Qualcomm TSLA US Tesla AMZN US Amazon ORCL US Oracle 3396 HK 聯想 未上市 Anthropic 未上市 xAI 未上市 Mistral AI 未上市 Inflection 未上市 Cohere 未上市 Character.ai 未上市 Databricks 未上市 AI21 BIDU US 百度 BABA US 阿里 0700 HK 騰訊 601360 CH 360 002230 CH 科大訊飛 300418 CH 昆侖萬維 0020 HK 商湯 未上市 智譜 未上市 Min

192、iMax 未上市 月之暗面 未上市 百川智能 未上市 零一萬物 未上市 階躍星辰 300308 CH 中際旭創 300394 CH 天孚通信 300502 CH 新易盛 000977 CH 浪潮信息 601138 CH 工業富聯 688041 CH 海光信息 000034 CH 神州數碼 688256 CH 寒武紀-U 688111 CH 金山辦公 688095 CH 福昕軟件 603039 CH 泛微網絡 300496 CH 中科創達 300017 CH 網宿科技 002463 CH 滬電股份 資料來源：Bloomberg、華泰研究 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀

193、。56 計算機計算機 風險提示風險提示 宏觀經濟波動。宏觀經濟波動。若宏觀經濟波動，可能對 AI 產業資本投入產生負面影響，導致 AI 產業變革、新技術落地節奏、整體行業增長不及預期。技術進步不及預期。技術進步不及預期。若 AI 技術、大模型技術、AI 應用進展不及預期，或對行業落地情況產生不利影響。中美競爭加劇。中美競爭加劇。中美競爭加劇，或影響國內算力基礎設施布局，導致國內 AI 大模型技術迭代速度放緩。研報中涉及到未上市公司或未覆蓋個股內容，均系對其客觀公開信息的整理，并不代表本研究團隊對該公司、該股票的推薦或覆蓋。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。57 計算機

194、計算機 圖表圖表124124：重點重點推薦推薦公司一覽表公司一覽表 最新收盤價最新收盤價 目標價目標價 市值市值(百萬百萬)EPS(元元)PE(倍倍)股票名稱股票名稱 股票代碼股票代碼 投資評級投資評級(當地幣種當地幣種)(當地幣種當地幣種)(當地幣種當地幣種)2023 2024E 2025E 2026E 2023 2024E 2025E 2026E 微軟(Microsoft)MSFT US 買入 446.95 477.33 3,321,869 9.70 12.24 14.14 16.51 46.08 36.52 31.61 27.07 奧多比(Adobe)ADBE US 買入 555.54

195、613.45 246,326 11.50 13.05 15.07 17.55 48.31 42.57 36.86 31.65 浪潮信息 000977 CH 買入 37.28 50.67 54,881 1.21 1.45 1.72 1.99 30.81 25.71 21.67 18.73 金山辦公 688111 CH 買入 205.00 354.50 94,722 2.85 3.63 4.85 6.44 71.93 56.47 42.27 31.83 福昕軟件 688095 CH 買入 43.75 73.96 4,003-0.99-0.03 0.29 0.72-44.19-1,458.33 15

196、0.86 60.76 泛微網絡 603039 CH 買入 31.71 41.97 8,264 0.69 0.97 1.11 1.29 45.96 32.69 28.57 24.58 中科創達 300496 CH 買入 46.56 62.65 21,380 1.01 1.33 1.75 2.26 46.10 35.01 26.61 20.60 網宿科技 300017 CH 買入 8.01 12.08 19,551 0.25 0.25 0.31 0.35 32.04 32.04 25.84 22.89 資料來源：Bloomberg，華泰研究預測 圖表圖表125：重點推薦公司最新重點推薦公司最新觀點

197、觀點 股票名稱股票名稱 最新觀點最新觀點 微軟微軟(Microsoft)(MSFT US)智能云業務為重要增長動力，維持“買入”評級智能云業務為重要增長動力，維持“買入”評級 微軟發布 FY24Q3 季報，FY24Q3 總收入 619 億美元(yoy+17%)，營業利潤 276 億美元(yoy+23%)；凈利潤 219 億美元(yoy+20%)。生產力業務收入196億美元(yoy+12%)，智能云收入 267億美元(yoy+21%)，個人計算收入156億美元(yoy+18%)。公司指引FY24Q4 生產力業務收入同增 9%-10%；智能云業務收入同增 18%-20%；個人計算業務收入同 9%-

198、12%，智能云仍為重要增長動力。預計 FY24-26 公司 EPS 為 12.24/14.14/16.51 美元，可比公司 FY24 31.8xPE，考慮公司優勢卡位與 AI 領先布局，給予 FY24E 39xPE，目標價 477.33 美元，“買入”。風險提示：宏觀經濟波動；技術落地不及預期。報告發布日期：2024 年 04 月 26 日 點擊下載全文：微軟點擊下載全文：微軟(Microsoft)(MSFT US,買入買入):智能云受益智能云受益 AI，Copilot 順利推進順利推進 奧多比奧多比(Adobe)(ADBE US)FY24Q2：收入：收入/ARR/利潤超指引，關注利潤超指引，

199、關注 AI 商業化進展商業化進展 公司 FY24Q2 單季度收入 53.1 億美元，同增 10.2%（此前指引 52.5-53.0 億美元）；RPO 178.6 億美元，同增 17.3%。盈利（Non-GAAP）：經營利潤 24.4 億美元，OPM 46.0%；凈利潤 20.2 億美元，NPM 38.1%，攤薄 EPS 4.48 美元（此前指引$4.35-4.40 美元）；公司上調全年業績指引。我們看好公司 AI 商業化前景，預測 FY24-26 公司總收入 214.8/239.2/268.7 億美元，2024 年可比公司平均估值 10.4xPS，考慮公司在創意領域較強的市場地位，給予 FY2

200、4 12.8xPS，目標價 613.45 美元/股，維持“買入”評級。風險提示：宏觀經濟波動；技術落地不及預期；市場競爭加劇。報告發布日期：2024 年 06 月 15 日 點擊下載全文：奧多比點擊下載全文：奧多比(Adobe)(ADBE US,買入買入):業績超指引，業績超指引，AI 商業化或加速商業化或加速 浪潮信息浪潮信息(000977 CH)24Q1 收入同增收入同增 85%，受益算力產業高景氣度，受益算力產業高景氣度 浪潮信息發布一季報，2024 年 Q1 實現營收 176.07 億元（重述 yoy+85.32%），歸母凈利 3.06 億元（重述 yoy+64.39%），扣非凈利 2

201、.40 億元（重述 yoy+40.15%）。我們認為公司收入高速增長，反映了算力產業較高的景氣度，在 AI 驅動下，大廠或將保持較高的資本開支水平，從而拉動算力產業高增，公司作為 AI 服務器龍頭有望持續受益。我們預計公司 2024-2026 年 EPS 分別為 1.45、1.72、1.99 元?？杀裙?2024 年 Wind 一致預期PE 均值為 23.4 倍，考慮公司是全球 AI 服務器龍頭，具備深厚技術、渠道積累，給予 2024 年 35 倍 PE，目標價 50.67 元，“買入”。風險提示：宏觀經濟波動風險；市場競爭加??；供應鏈風險。報告發布日期：2024 年 04 月 30 日 點

202、擊下載全文：浪潮信息點擊下載全文：浪潮信息(000977 CH,買入買入):24Q1 收入同增收入同增 85%，AI 或帶動收入起量或帶動收入起量 金山辦公金山辦公(688111 CH)AI 商業化有望加快，維持商業化有望加快，維持“買入買入”評級評級 金山辦公發布一季報，24Q1 營收 12.25 億元（yoy+16.54%），歸母凈利 3.67 億元（yoy+37.31%），扣非凈利 3.52 億元（yoy+40.56%）。銷售/管理/研發費用率為 17.62%/9.22%/33.03%，同比-6.11pct/-0.72pct/-0.75pct，收入穩健增長+費用管控推動利潤快速增長。我們

203、認為隨著 C 端定價推進，B 端產品落地，AI 商業化有望加快。我們預計 24-26 年公司 EPS 為 3.63/4.85/6.44 元，收入 58.47/77.36/102.64 億元，可比公司平均 24E 17.2xPS(Wind)，考慮公司 AI 產品快速迭代，給予 24 年 28xPS，目標價 354.50 元，維持“買入”。風險提示：付費用戶增長不及預期、AI 商業化不及預期。報告發布日期：2024 年 04 月 23 日 點擊下載全文：金山辦公點擊下載全文：金山辦公(688111 CH,買入買入):AI 商業化有望加快商業化有望加快 福昕軟件福昕軟件(688095 CH)24Q1

204、 收入加速增長收入加速增長+虧損同比收窄，維持虧損同比收窄，維持“買入買入”評級評級 福昕軟件發布年報及一季報，2023 年實現營收 6.11 億元（yoy+5.33%），歸母凈利-9094 萬元（22 年為-174 萬元），扣非凈利-1.79 億元（22 年為-0.78 億元）。24Q1 營收 1.69 億元（yoy+16.87%、qoq+0.33%），歸母凈利-1060.90 萬元（同比收窄 6.47%），扣非凈利-2065.62 萬元（同比收窄 21.55%）。虧損主因訂閱轉型影響收入增速+費用投入力度加大。隨著轉型逐步深入，收入有望逐步加速增長。我們預計公司 2024-2026 年 E

205、PS分別為-0.03、0.29、0.72 元?？杀裙?24 年 ifind 一致預期 PS 均值為 9.1 倍，給予 2024 年 9.1 倍 PS，目標價 73.96 元，維持“買入”評級。風險提示：新應用拓展不及預期；市場競爭風險；聯營企業業績波動風險。報告發布日期：2024 年 04 月 29 日 點擊下載全文：福昕軟件點擊下載全文：福昕軟件(688095 CH,買入買入):24Q1 收入加速增長，關注收入加速增長，關注 AI 商業商業化化 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。58 計算機計算機 股票名稱股票名稱 最新觀點最新觀點 泛微網絡泛微網絡(603039

206、 CH)關注下游需求恢復情況，維持“買入”評級關注下游需求恢復情況，維持“買入”評級 泛微網絡發布一季報，2024 年 Q1 實現營收 3.43 億元（yoy+3.13%、qoq-65.51%），歸母凈利 2799.47 萬元（yoy+4764.41%、qoq-83.27%），扣非凈利 1737.72 萬元（yoy+343.16%）。公司收入邊際改善，同比增速較 23Q4 提升 2.27pct，降本增效推動利潤恢復。關注下游需求恢復情況與AI 商業化推進情況。我們預計公司 2024-2026 年 EPS 分別為 0.97、1.11、1.29 元，可比公司 24 年 Wind 一致預期 PE 均

207、值 43.4x，給予公司 24 年43.4 倍 PE，目標價 41.97 元，維持“買入”評級。風險提示：產品拓展不及預期，下游需求不及預期，市場競爭加劇。報告發布日期：2024 年 04 月 26 日 點擊下載全文：泛微網絡點擊下載全文：泛微網絡(603039 CH,買入買入):關注下游需求修復情況關注下游需求修復情況 中科創達中科創達(300496 CH)研發投入加大利潤承壓，維持“買入”評級研發投入加大利潤承壓，維持“買入”評級 中科創達發布一季報，2024 年 Q1 實現營收 11.78 億元（yoy+1.01%、qoq-13.75%），歸母凈利 9075.91 萬元（yoy-46.1

208、0%、qoq+164.92%），扣非凈利 8540.87 萬元（yoy-46.23%）。經營性凈現金流為 1.64 億元，同比-50.21%。利潤下滑主因研發投入力度加大，經營凈現金流下滑主因銷售回款減少、職工相關支出及其他經營支付的現金增加。我們預計公司 2024-2026 年 EPS 分別為 1.33、1.75、2.26 元，可比公司 2024E 平均估值47.2xPE（Wind 一致預期），給予公司 2024 年 47.2xPE，對應目標價 62.65 元，維持“買入”評級。風險提示：下游需求波動；技術落地不及預期。報告發布日期：2024 年 04 月 24 日 點擊下載全文：中科創達點

209、擊下載全文：中科創達(300496 CH,買入買入):研發投入加大利潤承壓，關注端側智能機遇研發投入加大利潤承壓，關注端側智能機遇 網宿科技網宿科技(300017 CH)24Q1 利潤高增，卡位利潤高增，卡位 AI 算力基礎設施增長可期算力基礎設施增長可期 網宿科技發布一季報，2024 年 Q1 實現營收 11.20 億元（yoy-4.13%），歸母凈利 1.38 億元（yoy+45.96%），扣非凈利 9834.84 萬元（yoy+183.45%），經營性凈現金流為 2.44 億元，同比+354.97%。我們認為短期看公司受益于海外市場流量增長推動收入結構優化，長期看卡位 AI 算力基礎設施

210、環節，有望持續受益于 AI 產業趨勢演進。我們預計公司 2024-2026 年 EPS 分別為 0.25、0.31、0.35 元?？杀裙?24E 平均 PE 47.7x（Wind），給予 24年 47.7xPE，目標價 12.08 元，維持“買入”評級。風險提示：海外流量增長不及預期、CDN 行業競爭格局惡化。報告發布日期：2024 年 04 月 25 日 點擊下載全文：網宿科技點擊下載全文：網宿科技(300017 CH,買入買入):24Q1 利潤高增，受益利潤高增，受益 AI 產業趨勢產業趨勢 資料來源：Bloomberg，華泰研究預測 免責聲明和披露以及分析師聲明是報告的一部分，請務必一

211、起閱讀。59 計算機計算機 免責免責聲明聲明 分析師聲明分析師聲明 本人，謝春生，茲證明本報告所表達的觀點準確地反映了分析師對標的證券或發行人的個人意見；彼以往、現在或未來并無就其研究報告所提供的具體建議或所表迖的意見直接或間接收取任何報酬。一般聲明及披露一般聲明及披露 本報告由華泰證券股份有限公司（已具備中國證監會批準的證券投資咨詢業務資格，以下簡稱“本公司”）制作。本報告所載資料是僅供接收人的嚴格保密資料。本報告僅供本公司及其客戶和其關聯機構使用。本公司不因接收人收到本報告而視其為客戶。本報告基于本公司認為可靠的、已公開的信息編制，但本公司及其關聯機構(以下統稱為“華泰”)對該等信息的準確

212、性及完整性不作任何保證。本報告所載的意見、評估及預測僅反映報告發布當日的觀點和判斷。在不同時期，華泰可能會發出與本報告所載意見、評估及預測不一致的研究報告。同時，本報告所指的證券或投資標的的價格、價值及投資收入可能會波動。以往表現并不能指引未來，未來回報并不能得到保證，并存在損失本金的可能。華泰不保證本報告所含信息保持在最新狀態。華泰對本報告所含信息可在不發出通知的情形下做出修改，投資者應當自行關注相應的更新或修改。本公司不是 FINRA 的注冊會員，其研究分析師亦沒有注冊為 FINRA 的研究分析師/不具有 FINRA 分析師的注冊資格。華泰力求報告內容客觀、公正，但本報告所載的觀點、結論和

213、建議僅供參考，不構成購買或出售所述證券的要約或招攬。該等觀點、建議并未考慮到個別投資者的具體投資目的、財務狀況以及特定需求，在任何時候均不構成對客戶私人投資建議。投資者應當充分考慮自身特定狀況，并完整理解和使用本報告內容，不應視本報告為做出投資決策的唯一因素。對依據或者使用本報告所造成的一切后果，華泰及作者均不承擔任何法律責任。任何形式的分享證券投資收益或者分擔證券投資損失的書面或口頭承諾均為無效。除非另行說明，本報告中所引用的關于業績的數據代表過往表現，過往的業績表現不應作為日后回報的預示。華泰不承諾也不保證任何預示的回報會得以實現，分析中所做的預測可能是基于相應的假設，任何假設的變化可能會

214、顯著影響所預測的回報。華泰及作者在自身所知情的范圍內，與本報告所指的證券或投資標的不存在法律禁止的利害關系。在法律許可的情況下，華泰可能會持有報告中提到的公司所發行的證券頭寸并進行交易，為該公司提供投資銀行、財務顧問或者金融產品等相關服務或向該公司招攬業務。華泰的銷售人員、交易人員或其他專業人士可能會依據不同假設和標準、采用不同的分析方法而口頭或書面發表與本報告意見及建議不一致的市場評論和/或交易觀點。華泰沒有將此意見及建議向報告所有接收者進行更新的義務。華泰的資產管理部門、自營部門以及其他投資業務部門可能獨立做出與本報告中的意見或建議不一致的投資決策。投資者應當考慮到華泰及/或其相關人員可能

215、存在影響本報告觀點客觀性的潛在利益沖突。投資者請勿將本報告視為投資或其他決定的唯一信賴依據。有關該方面的具體披露請參照本報告尾部。本報告并非意圖發送、發布給在當地法律或監管規則下不允許向其發送、發布的機構或人員，也并非意圖發送、發布給因可得到、使用本報告的行為而使華泰違反或受制于當地法律或監管規則的機構或人員。本報告版權僅為本公司所有。未經本公司書面許可，任何機構或個人不得以翻版、復制、發表、引用或再次分發他人(無論整份或部分)等任何形式侵犯本公司版權。如征得本公司同意進行引用、刊發的，需在允許的范圍內使用，并需在使用前獲取獨立的法律意見，以確定該引用、刊發符合當地適用法規的要求，同時注明出處

216、為“華泰證券研究所”，且不得對本報告進行任何有悖原意的引用、刪節和修改。本公司保留追究相關責任的權利。所有本報告中使用的商標、服務標記及標記均為本公司的商標、服務標記及標記。中國香港中國香港 本報告由華泰證券股份有限公司制作,在香港由華泰金融控股（香港）有限公司向符合證券及期貨條例及其附屬法律規定的機構投資者和專業投資者的客戶進行分發。華泰金融控股（香港）有限公司受香港證券及期貨事務監察委員會監管，是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。在香港獲得本報告的人員若有任何有關本報告的問題,請與華泰金融控股（香港）有限公司聯系。免責聲明和披露以及分析師聲明是報

217、告的一部分，請務必一起閱讀。60 計算機計算機 香港香港-重要監管披露重要監管披露 華泰金融控股（香港）有限公司的雇員或其關聯人士沒有擔任本報告中提及的公司或發行人的高級人員。天孚通信（300394 CH）、新易盛（300502 CH）、中際旭創（300308 CH）：華泰金融控股（香港）有限公司、其子公司和/或其關聯公司實益持有標的公司的市場資本值的 1%或以上。騰訊控股（700 HK）、寒武紀（688256 CH）、海光信息（688041 CH）、金山辦公（688111 CH）：華泰金融控股（香港）有限公司、其子公司和/或其關聯公司在本報告發布日擔任標的公司證券做市商或者證券流動性提供者。

218、有關重要的披露信息，請參華泰金融控股（香港）有限公司的網頁 https:/.hk/stock_disclosure 其他信息請參見下方“美國“美國-重要監管披露”重要監管披露”。美國美國 在美國本報告由華泰證券（美國）有限公司向符合美國監管規定的機構投資者進行發表與分發。華泰證券（美國）有限公司是美國注冊經紀商和美國金融業監管局（FINRA）的注冊會員。對于其在美國分發的研究報告，華泰證券（美國）有限公司根據1934 年證券交易法（修訂版）第 15a-6 條規定以及美國證券交易委員會人員解釋，對本研究報告內容負責。華泰證券（美國）有限公司聯營公司的分析師不具有美國金融監管（FINRA）分析師的

219、注冊資格，可能不屬于華泰證券（美國）有限公司的關聯人員，因此可能不受 FINRA 關于分析師與標的公司溝通、公開露面和所持交易證券的限制。華泰證券（美國）有限公司是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。任何直接從華泰證券（美國）有限公司收到此報告并希望就本報告所述任何證券進行交易的人士，應通過華泰證券（美國）有限公司進行交易。美國美國-重要監管披露重要監管披露 分析師謝春生本人及相關人士并不擔任本報告所提及的標的證券或發行人的高級人員、董事或顧問。分析師及相關人士與本報告所提及的標的證券或發行人并無任何相關財務利益。本披露中所提及的“相關人士”包括 FI

220、NRA 定義下分析師的家庭成員。分析師根據華泰證券的整體收入和盈利能力獲得薪酬，包括源自公司投資銀行業務的收入。神州數碼（000034 CH）：華泰證券股份有限公司、其子公司和/或其聯營公司在本報告發布日之前的 12 個月內擔任了標的證券公開發行或 144A 條款發行的經辦人或聯席經辦人。神州數碼（000034 CH）：華泰證券股份有限公司、其子公司和/或其聯營公司在本報告發布日之前 12 個月內曾向標的公司提供投資銀行服務并收取報酬。天孚通信（300394 CH）、新易盛（300502 CH）、中際旭創（300308 CH）：華泰證券股份有限公司、其子公司和/或其聯營公司實益持有標的公司某一

221、類普通股證券的比例達 1%或以上。騰訊控股（700 HK）、寒武紀（688256 CH）、海光信息（688041 CH）、金山辦公（688111 CH）：華泰證券股份有限公司、其子公司和/或其聯營公司在本報告發布日擔任標的公司證券做市商或者證券流動性提供者。華泰證券股份有限公司、其子公司和/或其聯營公司,及/或不時會以自身或代理形式向客戶出售及購買華泰證券研究所覆蓋公司的證券/衍生工具，包括股票及債券（包括衍生品）華泰證券研究所覆蓋公司的證券/衍生工具，包括股票及債券（包括衍生品）。華泰證券股份有限公司、其子公司和/或其聯營公司,及/或其高級管理層、董事和雇員可能會持有本報告中所提到的任何證券

222、（或任何相關投資）頭寸，并可能不時進行增持或減持該證券（或投資）。因此，投資者應該意識到可能存在利益沖突。新加坡新加坡 華泰證券（新加坡）有限公司持有新加坡金融管理局頒發的資本市場服務許可證，可從事資本市場產品交易，包括證券、集體投資計劃中的單位、交易所交易的衍生品合約和場外衍生品合約，并且是財務顧問法規定的豁免財務顧問，就投資產品向他人提供建議，包括發布或公布研究分析或研究報告。華泰證券（新加坡）有限公司可能會根據財務顧問條例第 32C 條的規定分發其在華泰內的外國附屬公司各自制作的信息/研究。本報告僅供認可投資者、專家投資者或機構投資者使用，華泰證券（新加坡）有限公司不對本報告內容承擔法律

223、責任。如果您是非預期接收者，請您立即通知并直接將本報告返回給華泰證券（新加坡）有限公司。本報告的新加坡接收者應聯系您的華泰證券（新加坡）有限公司關系經理或客戶主管，了解來自或與所分發的信息相關的事宜。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。61 計算機計算機 評級說明評級說明 投資評級基于分析師對報告發布日后 6 至 12 個月內行業或公司回報潛力（含此期間的股息回報）相對基準表現的預期（A 股市場基準為滬深 300 指數，香港市場基準為恒生指數，美國市場基準為標普 500 指數，臺灣市場基準為臺灣加權指數，日本市場基準為日經 225 指數），具體如下：行業評級行業評級 增

224、持：增持：預計行業股票指數超越基準 中性：中性：預計行業股票指數基本與基準持平 減持：減持：預計行業股票指數明顯弱于基準 公司評級公司評級 買入：買入：預計股價超越基準 15%以上 增持：增持：預計股價超越基準 5%15%持有：持有：預計股價相對基準波動在-15%5%之間 賣出：賣出：預計股價弱于基準 15%以上 暫停評級：暫停評級：已暫停評級、目標價及預測，以遵守適用法規及/或公司政策 無評級：無評級：股票不在常規研究覆蓋范圍內。投資者不應期待華泰提供該等證券及/或公司相關的持續或補充信息 法律實體法律實體披露披露 中國中國：華泰證券股份有限公司具有中國證監會核準的“證券投資咨詢”業務資格，

225、經營許可證編號為：91320000704041011J 香港香港：華泰金融控股（香港）有限公司具有香港證監會核準的“就證券提供意見”業務資格，經營許可證編號為：AOK809 美國美國：華泰證券（美國）有限公司為美國金融業監管局（FINRA）成員，具有在美國開展經紀交易商業務的資格，經營業務許可編號為：CRD#:298809/SEC#:8-70231 新加坡：新加坡：華泰證券（新加坡）有限公司具有新加坡金融管理局頒發的資本市場服務許可證，并且是豁免財務顧問。公司注冊號：202233398E 華泰證券股份有限公司華泰證券股份有限公司 南京南京 北京北京 南京市建鄴區江東中路228號華泰證券廣場1號

226、樓/郵政編碼：210019 北京市西城區太平橋大街豐盛胡同28號太平洋保險大廈A座18層/郵政編碼：100032 電話：86 25 83389999/傳真：86 25 83387521 電話：86 10 63211166/傳真：86 10 63211275 電子郵件：ht- 電子郵件：ht- 深圳深圳 上海上海 深圳市福田區益田路5999號基金大廈10樓/郵政編碼：518017 上海市浦東新區東方路18號保利廣場E棟23樓/郵政編碼：200120 電話：86 755 82493932/傳真：86 755 82492062 電話：86 21 28972098/傳真：86 21 28972068

227、電子郵件：ht- 電子郵件：ht- 華泰金融控股（香港）有限公司華泰金融控股（香港）有限公司 香港中環皇后大道中 99 號中環中心 53 樓 電話：+852-3658-6000/傳真：+852-2567-6123 電子郵件： http:/.hk 華泰證券華泰證券（美國美國）有限公司有限公司 美國紐約公園大道 280 號 21 樓東（紐約 10017）電話：+212-763-8160/傳真：+917-725-9702 電子郵件:Huataihtsc- http:/www.htsc- 華泰證券（新加坡）有限公司華泰證券（新加坡）有限公司 濱海灣金融中心 1 號大廈,#08-02,新加坡 018981 電話：+65 68603600 傳真：+65 65091183 版權所有2024年華泰證券股份有限公司