計算機行業專題研究：GPT系列經典深度學習算法拆解-230312（22頁）.pdf

《計算機行業專題研究：GPT系列經典深度學習算法拆解-230312（22頁）.pdf》由會員分享，可在線閱讀，更多相關《計算機行業專題研究：GPT系列經典深度學習算法拆解-230312（22頁）.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。1 證券研究報告 計算機計算機 GPT 系列：系列：經典深度學習算法拆解經典深度學習算法拆解 華泰研究華泰研究 計算機計算機 增持增持 (維持維持)研究員 謝春生謝春生 SAC No.S0570519080006 SFC No.BQZ938 +(86)21 2987 2036 聯系人 袁澤世，袁澤世，PhD SAC No.S0570122080053 +(86)21 2897 2228 行業行業走勢圖走勢圖 資料來源：Wind，華泰研究 2023 年 3 月 12 日中國內地 專題研究專題研究 深度學習是基于神經網絡的機器學習深度學

2、習是基于神經網絡的機器學習 深度學習可以概括為特征的抽象和結果的預測。深度學習與神經網絡密不可分，主要原因是神經網絡模型可以使用誤差反向傳播算法，較好地解決了深度學習中的貢獻度分配問題。從歷史發展看，神經網絡誕生于 1943 年提出的 MP 模型，深度學習概念由 Hinton 于 2006 年正式提出。經過多年的發展，問世了如卷積神經網絡（CNN）、循環神經網絡（RNN）、長短時記憶網絡（LSTM）、生成對抗網絡（GAN）等經典的深度學習算法。2017 年，Transformer 架構的出現，再次開啟了大語言模型快速發展時期。本報告聚焦 2017 年之前出現的經典深度學習算法，并進行深度拆解和

3、剖析。卷積神經網絡卷積神經網絡（CNN）：卷積：卷積+匯聚匯聚+全連接全連接 典型的卷積神經網絡是由卷積層、匯聚層、全連接層交叉堆疊而成。其中，卷積層利用卷積核實現特征提取，并在每個卷積層后引入非線性激活函數，確保整個網絡的非線性；匯聚層通過最大匯聚或平均匯聚的方法，進一步壓縮數據和參數量；全連接層采用神經網絡中的前饋網絡結構，經計算后得到最終輸出結果。參數訓練方面，卷積神經網絡采用誤差反向傳播算法。應用方面，卷積神經網絡應用已從圖像識別逐漸向其他領域拓展。循環循環神經網絡神經網絡（RNN）：具有短期記憶的神經網絡：具有短期記憶的神經網絡 循環神經網絡是一類具有短期記憶能力的神經網絡，其記憶來

4、自于神經元以環路的方式接受自身的歷史信息，為整個網絡提供了一定的記憶能力，增強了其計算性能。但是，循環神經網絡難以建模長時間間隔狀態之間的依賴關系。為了解決這一問題，長短時記憶網絡（LSTM）在循環神經網絡的基礎上引入了新的內部控制狀態和門控機制。前者能夠記錄到當前時刻為止的歷史信息，延長了網絡記憶；后者包括遺忘門、輸入門和輸出門，分別控制“記憶”的遺忘、保存和輸出細節。生成對抗網絡生成對抗網絡（GAN）：生成器和判別器的對抗與學習：生成器和判別器的對抗與學習 生成對抗網絡突破了以往的概率模型必須通過最大似然估計來學習參數的限制，通過對抗訓練的方式使得生成網絡產生的樣本服從真實數據分布。GAN

5、 主要由生成網絡和判別網絡組成。其中，判別網絡目標是盡量準確地判斷一個樣本是來自于真實數據還是由生成網絡產生；生成網絡目標是盡量生成判別網絡無法區分來源的樣本。這兩個目標相反的網絡不斷地進行交替對抗訓練。最終訓練出生成結果真假難辨的生成器。深度強化學習深度強化學習（DRL）：深度學習與強化學習的結合：深度學習與強化學習的結合 強化學習（RL）指的是從（與環境）交互中不斷學習的問題以及解決這類問題的方法。強化學習通過智能體不斷與環境進行交互，并根據經驗調整其策略來最大化其長遠的所有獎勵的累積值。強化學習可分為基于值函數的方法、基于策略函數的方法，以及兩者的結合。深度強化學習是深度學習與強化學習的

6、結合，其中強化學習用來定義問題和優化目標，深度學習用來解決策略和值函數的建模問題。最早的深度強化學習模型是 2013 年提出的深度Q 網絡。風險提示：宏觀經濟波動，技術進步不及預期。本報告內容均基于客觀信息整理，不構成投資建議。(24)(14)(3)818Mar-22Jul-22Nov-22Mar-23(%)計算機滬深300 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。2 計算機計算機 正文目錄正文目錄 深度學習是基于神經網絡的機器學習深度學習是基于神經網絡的機器學習.3 關系梳理：人工智能機器學習深度學習.3 從生物神經網絡到人工神經網絡.4 深度學習與神經網絡發展歷史（19

7、43-2017）.5 前饋神經網絡：最早發明的簡單人工神經網絡前饋神經網絡：最早發明的簡單人工神經網絡.6 反向傳播算法：神經網絡參數學習的重要算法.7 自動梯度計算：變手動計算為自動計算.7 CNN：卷積：卷積+匯聚匯聚+全連接全連接.9 典型的 CNN：LeNet-5 和 AlexNet.12 RNN：具有短期記憶的神經網絡：具有短期記憶的神經網絡.13 LSTM：將短期記憶進一步延長.14 GAN：生成器和判別器的對抗與學習：生成器和判別器的對抗與學習.15 深度強化學習：深度學習與強化學習的結合深度強化學習：深度學習與強化學習的結合.16 深度學習框架：深度學習的工具庫深度學習框架：深

8、度學習的工具庫.17 Transformer：基于自注意力機制的新興架構：基于自注意力機制的新興架構.18 風險提示.19 9WbUaYeU8XeZaYdX8OaO8OoMoOoMnOjMmMmPjMqRpM7NqQxOxNrQoQuOnMqM 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。3 計算機計算機 深度學習是基于神經網絡的機器學習深度學習是基于神經網絡的機器學習 深度學習深度學習可以概括為特征的抽象和結果的預測可以概括為特征的抽象和結果的預測。深度學習是將原始的數據特征通過多步的特征轉換得到一種更高層次、更抽象的特征表示，并進一步輸入到預測函數得到最終結果。深度學習需要

9、解決的關鍵問題是貢獻度分配問題（Credit Assignment Problem，CAP），即一個系統中不同的組件（component）或其參數對最終系統輸出結果的貢獻或影響。深度學習的目標是讓模型自動學習出好的特征表示，從而最終提升預測模型的準確率。深度學習采用的模型主要是神經網絡模型深度學習采用的模型主要是神經網絡模型。主要原因是神經網絡模型可以使用誤差反向傳播算法（Backpropagation），能夠比較好地解決貢獻度分配問題。只要是超過一層的神經網絡都會存在貢獻度分配問題，因此可以將超過一層的神經網絡都看作深度學習模型。圖表圖表1：深度學習的數據處理流程深度學習的數據處理流程 資料

10、來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 深度學習逐漸超過表示學習范疇，用于處理更加復雜的推理、決策等問題。深度學習逐漸超過表示學習范疇，用于處理更加復雜的推理、決策等問題。表示學習（Representation Learning）可以自動地學習出有效的特征（即表示），并提高最終機器學習模型的性能。早期，深度學習主要用來進行表示學習，但目前更多地用來處理更加復雜的推理、決策等問題。概括來說，深度學習是將“表示學習+預測模型的學習”進行端到端的學習，中間不需要人工干預。其中，端到端學習（End-to-End Learning），也稱端到端訓練，是指在學習

11、過程中不進行分模塊或分階段訓練，直接優化任務的總體目標。關關系梳理：人工智能系梳理：人工智能機器學習機器學習深度學習深度學習 人工智能包括機器學習，機器學習包含深度學習。人工智能包括機器學習，機器學習包含深度學習。人工智能（AI）的重要組成部分是機器學習（ML），而神經網絡（NN）是 ML 的一個子領域。深度學習可以看做是神經網絡的分支，使用了更復雜和更深層次的網絡結構，如卷積神經網絡（CNN），來處理更高維度和更抽象的數據，如圖像、聲音和文本。此外，逐漸興起的強化學習也是機器學習的一個分支。深度學習與強化學習可以相互結合，稱為深度強化學習（DRL）。圖表圖表2：人工智能人工智能、機器學習機器

12、學習、深度學習深度學習關系梳理關系梳理 資料來源：The History Began from AlexNet:A Comprehensive Survey on Deep Learning Approaches，Zahangir（2018）、Deep Reinforcement Learning，Yuxi Li（2017）、華泰研究 底層底層特征特征中層特征中層特征高層特征高層特征預測預測原始數據原始數據結果結果表示學習深度學習人工智能人工智能機器學習機器學習神經網絡神經網絡深度學習深度學習強化學習強化學習深度深度強化強化學習學習AIMLDLRLDRL 免責聲明和披露以及分析師聲明是報告的一

13、部分，請務必一起閱讀。4 計算機計算機 從生物神經網絡到人工神經網絡從生物神經網絡到人工神經網絡 神經網絡是一種模仿生物神經系統的人工智能算法。神經網絡是一種模仿生物神經系統的人工智能算法。通常，機器學習中的神經網絡指的是人工神經網絡，人工神經網絡是為模擬人腦神經網絡而設計的一種計算模型，它從結構、實現機理和功能上模擬人腦神經網絡。人工神經網絡與生物神經元類似，由多個節點（人工神經元）互相連接而成，可以用來對數據之間的復雜關系進行建模。不同節點之間的連接被賦予了不同的權重，每個權重代表了一個節點對另一個節點的影響大小。在對神經網絡進行訓練時，不斷優化神經元之間的權重，使得輸出的結果逐漸接近預期

14、的結果，最終確認整個網絡的參數，并用于執行下游任務。圖表圖表3：生物生物神經元神經元與人工“神經元”與人工“神經元”對比對比 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 常用的神經網絡常用的神經網絡結構結構包括前饋網絡、記憶網絡和圖網絡。包括前饋網絡、記憶網絡和圖網絡。1）前饋網絡前饋網絡：各個神經元按接收信息的先后分為不同的神經層，整個網絡中的信息朝一個方向傳播，沒有反向的信息傳播。2）記憶網絡）記憶網絡：也稱為反饋網絡，網絡中的神經元不但可以接收其他神經元的信息，也可以接收自己的歷史信息，具有記憶功能記憶神經網絡中的信息傳播可以是單向或雙向。3）

15、圖）圖網絡網絡：是定義在圖結構數據上的神經網絡。每個節點都由一個或一組神經元構成，節點之間的連接可以是有向的，也可以是無向的。每個節點可以收到來自相鄰節點或自身的信息。圖網絡是前饋網絡和記憶網絡的泛化。圖網絡是前饋網絡和記憶網絡的泛化。圖表圖表4：常用的神經網絡常用的神經網絡結構結構 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 b b生物神經元生物神經元人工人工神經元神經元相似性相似性前饋前饋網絡網絡記憶網絡記憶網絡圖網絡圖網絡 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。5 計算機計算機 深度學習與神經網絡發展歷史（深度學習與神經網

16、絡發展歷史（1943-2017）神經網絡誕生于神經網絡誕生于 1943 年，深度學習崛起于年，深度學習崛起于 2006 年。年。1943 年，心理學家 McCulloch 和數學家 Pitts 最早提出了一種基于簡單邏輯運算的人工神經網絡MP 模型，開啟了人工神經網絡研究的序幕。1986 年，Hinton 提出第二代神經網絡，并利用誤差的反向傳播算法來訓練模型，該算法對神經網絡的訓練具有重要意義。1989 年，Yann LeCun 等提出卷積神經網絡（CNN）用來識別手寫體。1997 年，循環神經網絡（RNN）的改進型長短時記憶網絡（LSTM）被提出。2006 年，Hinton 首次提出了深度

17、置信網絡（Deep Belief Network，DBN）和深度學習的概念。2014 年，生成對抗網絡（GAN）的提出是深度學習的又一突破性進展。2016 年，AlphaGo 擊敗圍棋世界冠軍李世石，將深度學習推向高潮。圖表圖表5：深度學習發展歷史深度學習發展歷史 注：最大圓圈表示深度學習熱度上升與下降的關鍵轉折點，實心小圈圈的大小表示深度學習的突破大小，斜向上的直線表示深度學習熱度正處于上升期，斜向下的直線表示下降期。資料來源：深度學習研究綜述，張榮（2018）、華泰研究 本報告以本報告以 2016 年之前年之前幾種幾種典型典型的的深度學習算法為研究對象，對其進行深度拆解深度學習算法為研究對

18、象，對其進行深度拆解和分析和分析。主要算法包括：卷積神經網絡（CNN）、循環神經網絡（RNN）、生成對抗網絡（GAN）、深度強化學習（Deep Reinforcement Learning，DRL）。此外，深度學習還包括很多其他算法和模型，例如深度信念網絡、概率圖模型、序列生成模型等。第一代神經網絡第一代神經網絡第二代神經網絡第二代神經網絡第三代神經網絡第三代神經網絡1943196919861998200619581989199720102011201220132014201520162017MP神經元數學模型單層感知器Minsky專著感知器出版，支出單層感知器不能解決“異或回路”問題，且當時

19、計算能力無法滿足神經網絡計算需求LSTMLeNetXavierReLUClarifaiDropoutAlexNetGoogleNetVGGNetR-CNNGANBNFaster R-CNNResNetWGANAlphaGoZeroCapsNetAlphaGoInfoGANJMTDCNGNMT淺層學習浪潮反向傳播算法萬能逼近定理卷積神經網絡深度信念網快速發展潮爆發期 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。6 計算機計算機 前饋神經網絡：最早前饋神經網絡：最早發明發明的簡單人工神經網絡的簡單人工神經網絡 前饋神經網絡是最早發明的簡單人工神經網絡。前饋神經網絡是最早發明的簡單人

20、工神經網絡。神經網絡是一種典型的分布式并行處理模分布式并行處理模型型，通過大量神經元之間的交互來處理信息，每一個神經元都發送“興奮和抑制”的信息到其他神經元。前饋神經網絡（FNN）也經常稱為全連接神經網絡（Fully Connected Neural Network，FCNN）或多層感知器（Multi-Layer Perceptron，MLP）。在前饋神經網絡中，各神經元分別屬于不同的層，每一層的神經元可以接收前一層神經元的信號，并產生信號輸出到下一層。其中，第 0 層稱為輸入層，最后一層稱為輸出層，其他中間層稱為隱藏層。整個網絡中無反饋，信號從輸入層向輸出層單向傳播。整個網絡中無反饋，信號從

21、輸入層向輸出層單向傳播。圖表圖表6：多層前饋神經網絡多層前饋神經網絡 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 通用近似定理保證了前饋神經網絡的強擬合能力。通用近似定理保證了前饋神經網絡的強擬合能力。前饋神經網絡具有很強的擬合能力，常見的連續非線性函數都可以用前饋神經網絡來近似。該能力由通用近似定理來保證，即對于具有線性輸出層和至少一個使用激活函數的隱藏層組成的前饋神經網絡，只要其隱藏層隱藏層神經元的數量足夠神經元的數量足夠，它可以以任意的精度來近似任何一個定義在實數空間中的有界閉集函數。前饋神經網絡標志人工智能從高度符號化的知識期向低符號化的學習

22、期開始轉變。前饋神經網絡標志人工智能從高度符號化的知識期向低符號化的學習期開始轉變。前饋神經網絡在 20 世紀 80 年代后期就已被廣泛使用，大部分都采用兩層網絡結構（即一個隱藏層和一個輸出層），神經元的激活函數基本上都是 Sigmoid 函數，使用的損失函數大多數是平方損失。前饋神經網絡是一種連接主義的典型模型，標志這人工智能從高度符號化的知識期向低符號化的學習期開始轉變。圖表圖表7：神經網絡神經網絡常用的激活函數常用的激活函數 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 輸入層輸入層隱藏層隱藏層輸輸出出層層 免責聲明和披露以及分析師聲明是報告的一

23、部分，請務必一起閱讀。7 計算機計算機 反向傳播算法：反向傳播算法：神經網絡參數學習神經網絡參數學習的重要算法的重要算法 反向傳播算法是神經網絡訓練中經常使用的高效計算梯度方法。反向傳播算法是神經網絡訓練中經常使用的高效計算梯度方法。神經網絡參數可以通過梯度下降法來進行學習，反向傳播算法（BackPropagation，BP）是經常使用的高效計算梯度方法?！胺聪騻鞑ァ斌w現在，第 l 層的誤差項可以通過第 l+1 層的誤差項計算得到。通俗的解釋是：將輸出的結果與真實結果對比，計算誤差（損失函數），并以誤差降到最低為目標，不斷調整卷積核參數和全連接網絡權重，直到達到預期效果。由于這種調整方向是從輸

24、出到輸入逐級返回，因此叫做反向傳播。圖表圖表8：第第 l 層的誤差項可以通過第層的誤差項可以通過第 l+1 層的誤差項計算得到層的誤差項計算得到 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 自動梯度計算：變手動計算為自動計算自動梯度計算：變手動計算為自動計算 深度學習框架包含的自動梯度計算功能大大提高了模型開發效率。深度學習框架包含的自動梯度計算功能大大提高了模型開發效率。神經網絡的參數主要通過梯度下降來進行優化。通常，當確定了風險函數以及網絡結構后，可以手動計算梯度并用代碼進行實現。但是手動的方式一方面較為低效，另一方面容易出現錯誤，影響開發效率。

25、目前，主流的深度學習框架都包含了自動梯度計算的功能，開發者只需考慮網絡結構并用代碼實現，梯度計算即可由深度學習框架來自動完成，大大提高準確度和開發效率。自動微分自動微分是大多數深度學習框架首選是大多數深度學習框架首選的的自動計算梯度方法自動計算梯度方法。自動計算梯度方法包括數值微分、符號微分和自動微分。1）數值微分數值微分：指的是用數值方法來計算函數的導數。2）符號微分符號微分：是一種基于符號計算（也叫代數計算）的自動求導方法，是指用計算機來處理帶有變量的數學表達式，其輸入和輸出都是數學表達式，不需要代入具體的值。3）自動微分）自動微分：是一種可以對程序或函數進行導數計算的方法，其基本原理是，

26、所有的數值計算可以分解為一些基本操作，然后利用鏈式法則來自動計算一個復合函數的梯度。按照計算導數的順序，自動微分可以分為兩種模式：前向模式和反向模式。自動微分可以直接在原始程序代碼進行微分，因此成為目前大多數深度學習框架的首選。第第l層的誤差項，由第層的誤差項，由第l+1層決定，相當于誤差層決定，相當于誤差從后往前反向傳播從后往前反向傳播根據鏈式法則，第根據鏈式法則，第l層的誤差項為層的誤差項為：免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。8 計算機計算機 圖表圖表9：自動梯度計算方法對比自動梯度計算方法對比 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:978711164

27、9687、華泰研究 數數值值微微分分符符號號微微分分自自動動微微分分基本原理基本原理優點優點缺點缺點最直接的計算方法，便于理解找到合適的擾動 x 較為困難。x過大或過小都會使得導數計算不準確。因此，數值微分的實用因此，數值微分的實用性比較差。性比較差。符號計算和平臺無關，可以在 CPU 或GPU 上運行。1）編譯時間較長；2）一般需要設計一種專門的語言來表示數學表達式，并且要對符號進行預先聲明；3）很難對程序進行調試。分解為基本操作，分解為基本操作，形成計算圖形成計算圖無須事先編譯無須事先編譯，在程序運行階段邊計算邊記錄計算邊計算邊記錄計算圖圖，計算圖上的局部梯度可直接代入數值進行計算直接代入

28、數值進行計算無明顯缺點，是目前大多數深度無明顯缺點，是目前大多數深度學習框架的首選學習框架的首選。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。9 計算機計算機 CNN：卷積：卷積+匯聚匯聚+全連接全連接 典型的卷積典型的卷積神經神經網絡是由卷積層、匯聚層、全連接層交叉堆疊而成網絡是由卷積層、匯聚層、全連接層交叉堆疊而成。其中，一個卷積塊包括連續 M 個卷積層和 b 個匯聚層（M 通常設置為 25，b 為 0 或 1）。一個卷積網絡中可以堆疊 N 個連續的卷積塊，然后在后面接著 K 個全連接層（N 的取值區間比較大，比如 1100或者更大；K 一般為 02）。CNN 能夠有效的將

29、大數據量的圖片降維成小數據量，并有效的保留圖片特征。圖表圖表10：常用的卷積網絡整體結構常用的卷積網絡整體結構 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 卷積卷積層層利用卷積核實現利用卷積核實現特征提取特征提取。卷積層的作用是提取局部區域的特征，不同的卷積核相當于不同的特征提取器，反之，提取不同的特征需要不同的卷積核。輸入原圖經過卷積核提取后，即得到特征映射（Feature Map），每個特征映射可以作為一類抽取的圖像特征。目前，卷積網絡的整體結構趨向于使用更小的卷積核（比如 11 和 33），以及更深的結構（比如層數大于 50）。卷積卷積ReLU

30、匯聚層匯聚層全連接層全連接層輸入輸入MbNb形象形象解釋解釋 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。10 計算機計算機 圖表圖表11：卷積核用于特征提取卷積核用于特征提取 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 每個卷積層后引入非線性每個卷積層后引入非線性激活函數激活函數，確保整個網絡的非線性，確保整個網絡的非線性。常用的激活函數為線性整流單元（Rectified Linear Unit，ReLU），其實質是將特征圖上所有負數變成 0，而正數保持不變。其他常用的激活函數還有 Sigmoid 函數、雙曲正切函數（tanh）。激

31、活函數使得神經網絡模型具有非線性，從而可以表示非線性的函數，處理更加復雜的任務。圖表圖表12：常用的激活函數常用的激活函數圖圖 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、easyAI、華泰研究 匯聚層進一步壓縮數據和參數量。匯聚層進一步壓縮數據和參數量。匯聚層（Pooling Layer）也叫子采樣層（Subsampling Layer）或池化層，其作用是進行特征選擇，降低特征數量，減少參數數量。典型的匯聚層是將每個特征映射劃分為 22 大小的不重疊區域，然后使用最大匯聚的方式進行下采樣，即用 22 區域的最大值代替整個區域的值。此外，還可以采用 22 區域

32、的平均值來代替整個區域值。以圖像為例，匯聚層的使用依據包括，一方面圖像中相鄰的像素傾向于具有相似的值，另一方面對圖片降維通常不會影響識別結果。值得注意的是，由于卷積的操作性越來越靈活（比如不同的步長），匯聚層的作用也變得越來越小，因此目前比較流行的卷積網絡中匯聚層的比例有所降低。形形象象解解釋釋數數學學解解釋釋 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。11 計算機計算機 圖表圖表13：最大匯聚與平均匯聚示意圖最大匯聚與平均匯聚示意圖 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 全連接層全連接層采用神經網絡中的前饋網絡結構采用神經網

33、絡中的前饋網絡結構。將池化后的結果按順序排成一列，輸入全連接層。全連接層把相鄰兩層的神經元全部交叉相聯結，兩層之間所有神經元都有相應的權重，經計算后得到最終輸出結果。通常全連接層在卷積神經網絡尾部。圖表圖表14：全連接層示意圖全連接層示意圖 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 卷積神經網絡參數卷積神經網絡參數可利用可利用誤差反向傳播誤差反向傳播算算法法來確定來確定。卷積神經網絡可以通過誤差反向傳播（Backpropagation）和梯度下降等算法進行參數學習，包括確定卷積核參數和全連接網絡權重等。卷積神經網絡卷積神經網絡應用應用從圖像識別逐漸

34、向其他領域從圖像識別逐漸向其他領域拓展。拓展。卷積神經網絡的前身是層級化人工神經網絡神經認知模型，該模型由日本學者福島邦彥受生物視覺系統研究啟發而提出，用來處理手寫字符識別等問題。隨著各類基于 CNN 理念的新模型不斷被提出，CNN 在語音識別、自然語言處理、人臉識別、運動分析、醫學診斷等多個方面均有突破。最大匯聚最大匯聚（選取最大值）（選取最大值）平均平均匯聚匯聚（計算平均值）（計算平均值）4,3,0,1中中4最大，選取最大，選取4代表這個區域代表這個區域6,5,2,1平均值為平均值為3.5，選取，選取3.5代表這個區域代表這個區域 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀

35、。12 計算機計算機 典型的典型的 CNN：LeNet-5 和和 AlexNet LeNet-5 是是法國學者法國學者 Yann LeCun 提出提出的的基于梯度學習的卷積神經網絡算法?；谔荻葘W習的卷積神經網絡算法。LeNet-5 共有 7 層，包括 3 個卷積層、2 個匯聚層、1 和全連接層和 1 個輸出層，接受的輸入圖像大小為 3232=1024，輸出對應 10 個類別的得分?；?LeNet-5 的手寫數字識別系統在 20 世紀 90 年代被美國很多銀行使用，用來識別支票上面的手寫數字。圖表圖表15：LeNet-5 網絡結構網絡結構 資料來源：Gradient-based learni

36、ng applied to document recognition，Y.Lecun（1998）、華泰研究 AlexNet 是第一個現代深度卷積網絡模型。是第一個現代深度卷積網絡模型。AlexNet 首次使用了現代深度卷積網絡的技術方法，比如使用 GPU 進行并行訓練，采用 ReLU 作為非線性激活函數，使用數據增強來提高模型準確率等。AlexNet 贏得了 2012 年 ImageNet 圖像分類競賽的冠軍。AlexNet 模型包括 5 個卷積層、3 個匯聚層和 3 個全連接層。由于網絡規模超出了當時的單個 GPU 的內存限制，AlexNet 將網絡拆為兩半，分別放在兩個 GPU 上，GPU

37、 間只在某些層進行通信。圖表圖表16：AlexNet 網絡結構網絡結構 資料來源：ImageNet classification with deep convolutional neural networks，Alex Krizhevsk（2017）、華泰研究 除 LeNet-5 和 AlexNet，其他的 CNN 模型還包括 VGGNet、ZFNet、GoogLeNet、ResNet、DenseNet 等。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。13 計算機計算機 RNN：具有短期記憶的神經網絡具有短期記憶的神經網絡 循環神經網絡（循環神經網絡（RNN）是一類具有短期記憶

38、能力的神經網絡）是一類具有短期記憶能力的神經網絡。在循環神經網絡中，神經元不但可以接受其他神經元的信息，也可以接受自身的歷史信息，形成具有環路的網絡結構。和前饋神經網絡相比，循環神經網絡更加符合生物神經網絡的結構。循環神經網絡的短期記憶能力提供了一定的存儲功能，因此其計算能力更為強大。理論上，循環神經網絡可以近似任意的非線性動力系統。圖表圖表17：循環神經網絡引入了短期記憶功能循環神經網絡引入了短期記憶功能 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 RNN 不同的輸入輸出關系不同的輸入輸出關系組合組合，能夠解決不同的下游任務。，能夠解決不同的下游任

39、務。時序上的層級結構，賦予了RNN 更靈活的輸入輸出關系，用于解決不同問題。例如，一對多的結構可用于文本生成，多對一的結構可用于文本分類，多對多的結構可用于問答和機器翻譯等。圖表圖表18：RNN 不同的輸入輸出關系組合不同的輸入輸出關系組合和應用和應用 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 循環神經網絡的參數可以通過梯度下降方法來進行學習循環神經網絡的參數可以通過梯度下降方法來進行學習。在循環神經網絡中主要有兩種計算梯度的方式：隨時間反向傳播（BPTT）算法和實時循環學習（RTRL）算法。隨時間反向傳播算法的主要思想是通過類似前饋神經網絡的誤差

40、反向傳播算法來計算梯度；實時循環學習則是通過前向傳播的方式來計算梯度。雖然 2017 年 Transformer 模型和注意力機制的出現帶來了一波新算法的崛起，但 RNN 在小數據集、低算力情況下依然較為有效。原理圖原理圖形象展示形象展示神經網絡在時間層神經網絡在時間層面建立起了聯系面建立起了聯系St-1StSt+1One to one一對一一對一One to many一對多一對多文本生成Many to one多對一多對一文本分類Many to many多對多多對多問答、機器翻譯Many to many多對多多對多Tag生成例如對每一個詞輸出名詞或動詞等詞性 免責聲明和披露以及分析師聲明是報告

41、的一部分，請務必一起閱讀。14 計算機計算機 LSTM：將短期記憶進一步延長將短期記憶進一步延長 LSTM 引入門控機制，解決引入門控機制，解決 RNN 的長程依賴問題。的長程依賴問題。循環神經網絡在學習過程中的主要問題是由于梯度消失或爆炸問題（也稱為長程依賴問題），可以簡單理解為參數無法正常更新（梯度變得很大或變為 0），很難建模長時間間隔狀態之間的依賴關系。長短時記憶網絡（Long Short-term Memory，LSTM）引入門控機制，很好了解決了 RNN 的上述問題。LSTM 網絡網絡特點在于新內部狀態和門控機制的引入。特點在于新內部狀態和門控機制的引入。1）新的內部狀態新的內部狀

42、態：與 RNN 相比，LSTM網絡引入一個新的內部狀態（internal state）ct，專門進行線性的循環信息傳遞。在每個時刻 t，LSTM 網絡的內部狀態 ct記錄了到當前時刻為止的歷史信息，相當于延長了網絡的記憶特性。2）門控機制：）門控機制：引入遺忘門、輸入門和輸出門。其中，遺忘門控制上一個時刻的內部狀態需要遺忘多少信息；輸入門控制當前時刻的候選狀態有多少信息需要保存；輸出門控制當前時刻的內部狀態有多少信息需要輸出給外部狀態。參數訓練方面，雖然相比 RNN，LSTM 引入了更多參數矩陣，但依然可以使用梯度下降算法進行參數更新。圖表圖表19：LSTM 引入了新的內部狀態引入了新的內部狀

43、態和門控機制和門控機制 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 循環神經網絡的隱狀態循環神經網絡的隱狀態 s 為短期記憶，新內部狀態為短期記憶，新內部狀態 c 具有更長的具有更長的記憶記憶。循環神經網絡中的隱狀態 s 存儲了歷史信息，可以看作一種記憶。在簡單循環網絡中，隱狀態每個時刻都會被重寫，因此是一種短期記憶。在神經網絡中，長期記憶可以看作網絡參數，隱含了從訓練數據中學到的經驗，其更新周期要遠遠慢于短期記憶。在 LSTM 網絡中，記憶單元 c 可以在某個時刻捕捉到某個關鍵信息，并有能力將此關鍵信息保存一定的時間間隔，其保存信息的生命周期要長于

44、短期記憶 s，但又遠遠短于長期記憶，因此稱為長（的）短期記憶。原原理理圖圖st-1stRNNLSTM形形象象展展示示在在RNN基礎上，增加了新的內部狀態變量基礎上，增加了新的內部狀態變量c，用來實現更長的短時記憶，用來實現更長的短時記憶 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。15 計算機計算機 GAN：生成器和判別器的對抗與學習：生成器和判別器的對抗與學習 生成對抗網絡通過對抗訓練的方式使得生成網絡產生的樣本服從真實數據分布。生成對抗網絡通過對抗訓練的方式使得生成網絡產生的樣本服從真實數據分布。生成對抗網絡（GAN）突破了以往的概率模型必須通過最大似然估計來學習參數的限制

45、。通俗的解釋是，許多深度生成模型其目的在于從底層構造分布函數，并通過設定訓練目標來訓練模型參數。但對于更復雜的情況，構造函數并不容易，且計算困難。而 GAN 采用了另一種思維，即放棄構造精確地分布函數，轉而通過對抗訓練出另一個模型來不斷逼近想要的分布，直到生成真假難辨的結果。GAN 主要由生成網絡和判別網絡組成主要由生成網絡和判別網絡組成。在生成對抗網絡中，有兩個網絡進行對抗訓練。1）判別網絡判別網絡：目標是盡量準確地判斷一個樣本是來自于真實數據還是由生成網絡產生；2）生生成網絡成網絡：目標是盡量生成判別網絡無法區分來源的樣本。這兩個目標相反的網絡不斷地進行交替對抗訓練。最終，如果判別網絡再也

46、無法判斷出一個樣本是真實存在還是生成的，那么也就等價于生成網絡可以生成符合真實數據分布的樣本，該生成網絡就是可以執行下游任務的模型。圖表圖表20：GAN 網絡結構圖網絡結構圖 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 訓練過程需要平衡生成網絡與判別網絡的能力。訓練過程需要平衡生成網絡與判別網絡的能力。和單目標的優化任務相比，生成對抗網絡的兩個網絡的優化目標相反，訓練過程往往不太穩定，需要平衡兩個網絡的能力。通俗的說，對于判別網絡，其初始判別能力不能太強，否則難以提升生成網絡的能力；同時，判別網絡的判別能力也不能太弱，否則訓練出的生成網絡效果也會受限

47、。理想狀態下，每次迭代中判別網絡比生成網絡的能力強一些，通過不斷地迭代來逐漸“拔高”生成網絡的能力。GAN 有很多有很多變種變種，廣泛應用于眾多領域。，廣泛應用于眾多領域。據 Github 數據，截至 2018 年 9 月，GAN 的變種模型已超 500 種。GAN 模型在眾多領域得到廣泛應用，例如圖像數據集自動生成、文字轉照片、照片修復、生成 3D 模型等。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。16 計算機計算機 深度強化學習：深度學習與強化學習深度強化學習：深度學習與強化學習的結合的結合 深度強化學習是深度學習與強化學習的結合。深度強化學習是深度學習與強化學習的結合。

48、其中，強化學習用來定義問題和優化目標，深度學習用來解決策略和值函數的建模問題，然后使用誤差反向傳播算法來優化目標函數。深度強化學習在一定程度上具備解決復雜問題的通用智能。強化學習指的是從（與環境）交互中不斷學習的問題以及解決這類問題的方法。強化學習指的是從（與環境）交互中不斷學習的問題以及解決這類問題的方法。強化學習（Reinforcement Learning，RL），也叫增強學習。強化學習通過智能體不斷與環境進行交互，并根據經驗調整其策略來最大化其長遠的所有獎勵的累積值。相比其他機器學習方法，強化學習更接近生物學習的本質，可以應對多種復雜的場景，從而更接近通用人工智能系統的目標。和深度學習

49、類似，強化學習中的關鍵問題也是貢獻度分配問題，每一個動作并不能直接得到監督信息，需要通過整個模型的最終監督信息（獎勵）得到，且有一定的延時性。強化學習可分為基于值函數的方法、基于策略函數的方法，以及兩者的結合。強化學習可分為基于值函數的方法、基于策略函數的方法，以及兩者的結合。其中，基于值函數的方法包括動態規劃、時序差分學習等，基于策略函數的方法包括策略梯度、無梯度法等，兩者結合的方法包括演員-評論員算法。一般而言，基于值函數的方法在策略更新時可能會導致值函數的改變比較大，對收斂性有一定影響；基于策略函數的方法在策略更新時更加更平穩，但因為策略函數的解空間比較大，難以進行充分的采樣，導致方差較

50、大，并容易收斂到局部最優解；演員-評論員算法通過融合兩種方法，取長補短，有著更好的收斂性。圖表圖表21：不同強化學習算法不同強化學習算法樹樹及其及其之間的關系之間的關系 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 第一個強化學習和深度學習結合的模型是深度第一個強化學習和深度學習結合的模型是深度 Q 網絡。網絡。2013 年，DeepMind 的 Mnih 等人提出了深度 Q 網絡（DQN）。DQN 模型相對簡單，僅面向有限的動作空間，但依然在一款名為 Atari 游戲上取得了超越了人類水平。隨著深度強化學習的快速發展，更多基于 DQN的改進模型開始出

51、現，例如雙 Q 網絡、優先級經驗回放、決斗網絡等。目前，深度強化學習更多是同時使用策略網絡和值網絡來近似策略函數和值函數。強化學習強化學習策略搜索策略搜索值函數估計值函數估計無梯度方法策略梯度方法REINFORCE算法蒙特卡洛方法動態規劃算法時序差分學習法策略迭代算法值迭代算法SARSA算法Q學習算法演員演員-評論員算法評論員算法 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。17 計算機計算機 深度學習框架深度學習框架：深度學習的工具庫：深度學習的工具庫 深度學習框架幫助構建、訓練和部署深度學習模型。深度學習框架幫助構建、訓練和部署深度學習模型。在深度學習中，一般通過誤差反向傳

52、播算法來進行參數學習，采用手工方式來計算梯度和編寫代碼的方式較為低效；此外，深度學習模型需要較多的計算機資源，且存在 CPU 和 GPU 之間不斷進行切換的需求，開發難度較大。因此，一些支持自動梯度計算、無縫 CPU 和 GPU 切換等功能的深度學習框架應運而生。比較有代表性的框架包括：Theano、Caffe、TensorFlow、Pytorch、飛槳（PaddlePaddle）、Chainer 和 MXNet 等。圖表圖表22：代表性的深度學習框架及其特點代表性的深度學習框架及其特點 深度學習框架名稱深度學習框架名稱 描述描述 特點特點 備注備注 Theano 由蒙特利爾大學的 Pytho

53、n 工具包，用來高效地定義、優化和計算張量數據的數學表達式 Theano 可 以 透 明 地 使 用GPU 和高效的符號微分 Theano 項目目前已停止維護 Caffe 由加州大學伯克利分校開發的針對卷積神經網絡的計算框架，主要用于計算機視覺 Caffe用C+和Python實現，但可以通過配置文件來實現所要的網絡結構，不需要編碼 Caffe2 已經被并入 PyTorch 中 TensorFlow 由 Google 公司開發的深度學習框架，可以在任意具備 CPU 或者 GPU 的設備上運行。TensorFlow 的名字來源于其計算過程中 的 操 作 對 象 為 多 維 數 組，即 張 量（Te

54、nsor）TensorFlow 的計算過程使用數據流圖來表示。TensorFlow1.0 版本采用靜態計算圖，2.0 版本之后也支持動態計算圖 PyTorch 由 Facebook、NVIDIA、Twitter 等公司開發維護的深度學習框架，其前身為 Lua 語言的 Torch 基于動態計算圖的框架，在需要動態改變神經網絡結構的任務中有著明顯的優勢 飛槳（Paddle Paddle）由百度百度開發的一個高效和可擴展的深度學習框架，同時支持動態圖和靜態圖 飛槳提供強大的深度學習并行技術，可以同時支持稠密參數和稀疏參數場景的超大規模深度學習并行訓練，支持千億規模參數和數百個節點的高效并行訓練 國產

55、深度學習框架 MindSpore 由華為華為開發的一種適用于端邊云場景的新型深度學習訓練/推理框架 MindSpore 為 Ascend AI 處理器提供原生支持，以及軟硬件協同優化 國產深度學習框架 Chainer 最早采用動態計算圖的深度學習框架，其核心開發團隊為來自日本的一家機器學習創業公司 Preferred Networks 和 Tensorflow、Theano、Caffe 等框架使用的靜態計算圖相比，動態計算圖可以在運行時動態地構建計算圖，因此非常適合進行一些復雜的決策或推理任務 MXNet 由亞馬遜、華盛頓大學和卡內基梅隆大學等開發維護的深度學習框架 MXNet 支持混合使用符

56、號和命令式編程來最大化效率和生產率，并可以有效地擴展到多個 GPU 和多臺機器 資料來源：神經網絡與深度學習（邱錫鵬），ISBN:9787111649687、華泰研究 基于以上基礎框架，人們開發了建立在框架之上的高度模塊化神經網絡庫，進一步簡化構建神經網絡模型的過程。比較著名的模塊化神經網絡框架有：1）基于 TensorFlow 和 Theano的 Keras（Keras 已被集成到 TensorFlow2.0 版本中）；2）基于 Theano 的 Lasagne；3）面向圖結構數據的 DGL。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。18 計算機計算機 Transforme

57、r：基于自注意力機制的新興架構：基于自注意力機制的新興架構 Transformer 是一種基于是一種基于自自注意力機制的編碼器注意力機制的編碼器-解碼器解碼器深度學習深度學習模型模型。2017 年 6 月，Google Brain 在神經信息處理系統大會（NeurIPS）發表論文“Attention is all you need”，首次提出了基于自我注意力機制（self-attention）來提高訓練速度的 Transformer 模型，將其用于自然語言處理。Transformer 架構由編碼器和解碼器（Encoder-Decoder）兩個部分組成，每個部分包含多個子層，如多頭自注意力、前饋

58、神經網絡、和歸一化等。Transformer架構的優點是：1）可以并行處理輸入序列的所有元素，大大提高訓練速度；2）不需要依賴循環或卷積結構，能夠捕捉長距離的依賴關系，3）可以通過預訓練和微調的方式適應不同的任務。因此，Transformer 一經問世便大有取代傳統 CNN、RNN 的趨勢。圖表圖表23：Transformer 模型中模型中的的 encoer-decoder 架構架構 圖表圖表24：Transformer 模型架構模型架構 資料來源：Attention is all you need，Ashish Vaswani（2017）、華泰研究 資料來源：Attention is all

59、 you need，Ashish Vaswani（2017）、華泰研究 Transformer 成為現代深度學習大模型的基礎架構，其衍生版本約成為現代深度學習大模型的基礎架構，其衍生版本約 60 個。個。圖表圖表25：Transformer 家族樹（相同顏色代表近似家族）家族樹（相同顏色代表近似家族）資料來源：Transformer Models:An Introduction and Catalog，Xavier Amatriain（2023）、華泰研究 編碼器編碼器編碼器編碼器編碼器編碼器編碼器編碼器編碼器編碼器編碼器編碼器解碼器解碼器解碼器解碼器解碼器解碼器解碼器解碼器解碼器解碼器解碼器

60、解碼器輸出輸出輸入輸入位置編碼位置編碼多頭自注意力多頭自注意力向量相加向量相加&歸一化歸一化前饋神經網絡前饋神經網絡向量相加向量相加&歸一化歸一化帶掩模的多頭自注意力層帶掩模的多頭自注意力層向量相加向量相加&歸一化歸一化多頭自注意力多頭自注意力向量相加向量相加&歸一化歸一化前饋神經網絡前饋神經網絡向量相加向量相加&歸一化歸一化線性化線性化歸一化指數函數歸一化指數函數位置編碼位置編碼輸入向量輸入向量輸出向量輸出向量輸出概率輸出概率 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。19 計算機計算機 圖表圖表26：Transformer 系列時間線和參數情況（相同顏色代表近似系列時間線

61、和參數情況（相同顏色代表近似 family）資料來源：Transformer Models:An Introduction and Catalog，Xavier Amatriain（2023）、華泰研究 圖表圖表27：提及公司列表提及公司列表 公司代碼公司代碼 公司簡稱公司簡稱 GOOGL US 谷歌 MSFT US 微軟 META US Meta（Facebook）NVD US NVIDIA 未上市 OpenAI AMZN US 亞馬遜 BIDU US 百度 未上市 華為 資料來源：Bloomberg、華泰研究 風險提示風險提示 宏觀經濟波動。宏觀經濟波動。若宏觀經濟波動，產業變革及新技術的

62、落地節奏或將受到影響，宏觀經濟波動還可能對 AI 投入產生負面影響，從而導致整體行業增長不及預期。技術進步技術進步不及預期。不及預期。若 AI 技術和大模型技術進步不及預期，或將對相關的行業落地情況產生不利影響。本報告內容均基于客觀信息整理，不構成投資建議。本報告內容均基于客觀信息整理，不構成投資建議。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。20 計算機計算機 免責免責聲明聲明 分析師聲明分析師聲明 本人，謝春生，茲證明本報告所表達的觀點準確地反映了分析師對標的證券或發行人的個人意見；彼以往、現在或未來并無就其研究報告所提供的具體建議或所表迖的意見直接或間接收取任何報酬。一

63、般聲明及披露一般聲明及披露 本報告由華泰證券股份有限公司（已具備中國證監會批準的證券投資咨詢業務資格，以下簡稱“本公司”）制作。本報告所載資料是僅供接收人的嚴格保密資料。本報告僅供本公司及其客戶和其關聯機構使用。本公司不因接收人收到本報告而視其為客戶。本報告基于本公司認為可靠的、已公開的信息編制，但本公司及其關聯機構(以下統稱為“華泰”)對該等信息的準確性及完整性不作任何保證。本報告所載的意見、評估及預測僅反映報告發布當日的觀點和判斷。在不同時期，華泰可能會發出與本報告所載意見、評估及預測不一致的研究報告。同時，本報告所指的證券或投資標的的價格、價值及投資收入可能會波動。以往表現并不能指引未來

64、，未來回報并不能得到保證，并存在損失本金的可能。華泰不保證本報告所含信息保持在最新狀態。華泰對本報告所含信息可在不發出通知的情形下做出修改，投資者應當自行關注相應的更新或修改。本公司不是 FINRA 的注冊會員，其研究分析師亦沒有注冊為 FINRA 的研究分析師/不具有 FINRA 分析師的注冊資格。華泰力求報告內容客觀、公正，但本報告所載的觀點、結論和建議僅供參考，不構成購買或出售所述證券的要約或招攬。該等觀點、建議并未考慮到個別投資者的具體投資目的、財務狀況以及特定需求，在任何時候均不構成對客戶私人投資建議。投資者應當充分考慮自身特定狀況，并完整理解和使用本報告內容，不應視本報告為做出投資

65、決策的唯一因素。對依據或者使用本報告所造成的一切后果，華泰及作者均不承擔任何法律責任。任何形式的分享證券投資收益或者分擔證券投資損失的書面或口頭承諾均為無效。除非另行說明，本報告中所引用的關于業績的數據代表過往表現，過往的業績表現不應作為日后回報的預示。華泰不承諾也不保證任何預示的回報會得以實現，分析中所做的預測可能是基于相應的假設，任何假設的變化可能會顯著影響所預測的回報。華泰及作者在自身所知情的范圍內，與本報告所指的證券或投資標的不存在法律禁止的利害關系。在法律許可的情況下，華泰可能會持有報告中提到的公司所發行的證券頭寸并進行交易，為該公司提供投資銀行、財務顧問或者金融產品等相關服務或向該

66、公司招攬業務。華泰的銷售人員、交易人員或其他專業人士可能會依據不同假設和標準、采用不同的分析方法而口頭或書面發表與本報告意見及建議不一致的市場評論和/或交易觀點。華泰沒有將此意見及建議向報告所有接收者進行更新的義務。華泰的資產管理部門、自營部門以及其他投資業務部門可能獨立做出與本報告中的意見或建議不一致的投資決策。投資者應當考慮到華泰及/或其相關人員可能存在影響本報告觀點客觀性的潛在利益沖突。投資者請勿將本報告視為投資或其他決定的唯一信賴依據。有關該方面的具體披露請參照本報告尾部。本報告并非意圖發送、發布給在當地法律或監管規則下不允許向其發送、發布的機構或人員，也并非意圖發送、發布給因可得到、

67、使用本報告的行為而使華泰違反或受制于當地法律或監管規則的機構或人員。本報告版權僅為本公司所有。未經本公司書面許可，任何機構或個人不得以翻版、復制、發表、引用或再次分發他人(無論整份或部分)等任何形式侵犯本公司版權。如征得本公司同意進行引用、刊發的，需在允許的范圍內使用，并需在使用前獲取獨立的法律意見，以確定該引用、刊發符合當地適用法規的要求，同時注明出處為“華泰證券研究所”，且不得對本報告進行任何有悖原意的引用、刪節和修改。本公司保留追究相關責任的權利。所有本報告中使用的商標、服務標記及標記均為本公司的商標、服務標記及標記。中國香港中國香港 本報告由華泰證券股份有限公司制作,在香港由華泰金融控

68、股（香港）有限公司向符合證券及期貨條例及其附屬法律規定的機構投資者和專業投資者的客戶進行分發。華泰金融控股（香港）有限公司受香港證券及期貨事務監察委員會監管，是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。在香港獲得本報告的人員若有任何有關本報告的問題,請與華泰金融控股（香港）有限公司聯系。免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。21 計算機計算機 香港香港-重要監管披露重要監管披露 華泰金融控股（香港）有限公司的雇員或其關聯人士沒有擔任本報告中提及的公司或發行人的高級人員。有關重要的披露信息，請參華泰金融控股（香港）有限公司的網頁 http

69、s:/.hk/stock_disclosure 其他信息請參見下方“美國“美國-重要監管披露”重要監管披露”。美國美國 在美國本報告由華泰證券（美國）有限公司向符合美國監管規定的機構投資者進行發表與分發。華泰證券（美國）有限公司是美國注冊經紀商和美國金融業監管局（FINRA）的注冊會員。對于其在美國分發的研究報告，華泰證券（美國）有限公司根據1934 年證券交易法（修訂版）第 15a-6 條規定以及美國證券交易委員會人員解釋，對本研究報告內容負責。華泰證券（美國）有限公司聯營公司的分析師不具有美國金融監管（FINRA）分析師的注冊資格，可能不屬于華泰證券（美國）有限公司的關聯人員，因此可能不受

70、 FINRA 關于分析師與標的公司溝通、公開露面和所持交易證券的限制。華泰證券（美國）有限公司是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。任何直接從華泰證券（美國）有限公司收到此報告并希望就本報告所述任何證券進行交易的人士，應通過華泰證券（美國）有限公司進行交易。美國美國-重要監管披露重要監管披露 分析師謝春生本人及相關人士并不擔任本報告所提及的標的證券或發行人的高級人員、董事或顧問。分析師及相關人士與本報告所提及的標的證券或發行人并無任何相關財務利益。本披露中所提及的“相關人士”包括 FINRA 定義下分析師的家庭成員。分析師根據華泰證券的整體收入和盈利能

71、力獲得薪酬，包括源自公司投資銀行業務的收入。華泰證券股份有限公司、其子公司和/或其聯營公司,及/或不時會以自身或代理形式向客戶出售及購買華泰證券研究所覆蓋公司的證券/衍生工具，包括股票及債券（包括衍生品）華泰證券研究所覆蓋公司的證券/衍生工具，包括股票及債券（包括衍生品）。華泰證券股份有限公司、其子公司和/或其聯營公司,及/或其高級管理層、董事和雇員可能會持有本報告中所提到的任何證券（或任何相關投資）頭寸，并可能不時進行增持或減持該證券（或投資）。因此，投資者應該意識到可能存在利益沖突。評級說明評級說明 投資評級基于分析師對報告發布日后 6 至 12 個月內行業或公司回報潛力（含此期間的股息回

72、報）相對基準表現的預期（A 股市場基準為滬深 300 指數，香港市場基準為恒生指數，美國市場基準為標普 500 指數），具體如下：行業評級行業評級 增持：增持：預計行業股票指數超越基準 中性：中性：預計行業股票指數基本與基準持平 減持：減持：預計行業股票指數明顯弱于基準 公司評級公司評級 買入：買入：預計股價超越基準 15%以上 增持：增持：預計股價超越基準 5%15%持有：持有：預計股價相對基準波動在-15%5%之間 賣出：賣出：預計股價弱于基準 15%以上 暫停評級：暫停評級：已暫停評級、目標價及預測，以遵守適用法規及/或公司政策 無評級：無評級：股票不在常規研究覆蓋范圍內。投資者不應期待

73、華泰提供該等證券及/或公司相關的持續或補充信息 免責聲明和披露以及分析師聲明是報告的一部分，請務必一起閱讀。22 計算機計算機 法律實體法律實體披露披露 中國中國：華泰證券股份有限公司具有中國證監會核準的“證券投資咨詢”業務資格，經營許可證編號為：91320000704041011J 香港香港：華泰金融控股（香港）有限公司具有香港證監會核準的“就證券提供意見”業務資格，經營許可證編號為：AOK809 美國美國：華泰證券（美國）有限公司為美國金融業監管局（FINRA）成員，具有在美國開展經紀交易商業務的資格，經營業務許可編號為：CRD#:298809/SEC#:8-70231 華泰證券股份有限公

74、司華泰證券股份有限公司 南京南京 北京北京 南京市建鄴區江東中路228號華泰證券廣場1號樓/郵政編碼：210019 北京市西城區太平橋大街豐盛胡同28號太平洋保險大廈A座18層/郵政編碼：100032 電話：86 25 83389999/傳真：86 25 83387521 電話：86 10 63211166/傳真：86 10 63211275 電子郵件：ht- 電子郵件：ht- 深圳深圳 上海上海 深圳市福田區益田路5999號基金大廈10樓/郵政編碼：518017 上海市浦東新區東方路18號保利廣場E棟23樓/郵政編碼：200120 電話：86 755 82493932/傳真：86 755 8

75、2492062 電話：86 21 28972098/傳真：86 21 28972068 電子郵件：ht- 電子郵件：ht- 華泰金融控股（香港）有限公司華泰金融控股（香港）有限公司 香港中環皇后大道中 99 號中環中心 58 樓 5808-12 室 電話：+852-3658-6000/傳真：+852-2169-0770 電子郵件： http:/.hk 華泰證券華泰證券（美國美國）有限公司有限公司 美國紐約公園大道 280 號 21 樓東（紐約 10017）電話：+212-763-8160/傳真：+917-725-9702 電子郵件:Huataihtsc- http:/www.htsc- 版權所有2023年華泰證券股份有限公司