電子行業電子AI+系列專題報告（一）：AI大語言模型的原理、演進及算力測算-230424（36頁）.pdf

1、請務必閱讀正文之后的免責聲明及其項下所有內容20232023年年0404月月2424日日電子電子AI+AI+系列專題報告（一）系列專題報告（一）AIAI大語言模型的原理、演進及算力測算大語言模型的原理、演進及算力測算行業研究行業研究 行業專題行業專題 電子電子投資評級：超配（維持評級）投資評級：超配（維持評級）證券分析師：胡劍證券分析師：胡慧證券分析師：周靖翔證券分析師：李梓澎聯系人：詹瀏洋021-60893306021-60871321021-603754020755-81981181010-S0980521080001S0980521080002S0980522100001S0980522

2、090001證券研究報告證券研究報告|請務必閱讀正文之后的免責聲明及其項下所有內容AIAI大語言模型的原理、演進及算力測算大語言模型的原理、演進及算力測算l 機器學習中模型及數據規模增加有利于提高深度神經網絡性能。機器學習中模型及數據規模增加有利于提高深度神經網絡性能。人工智能致力于研究能夠模擬、延伸和擴展人類智能的理論方法及技術，并開發相關應用系統；其最終目標是使計算機能夠模擬人的思維方式和行為。機器學習是一門專門研究計算機如何模擬或實現人類的學習行為、以獲取新的知識或技能、重新組織已有的知識結構使之不斷改善自身性能的學科，廣泛應用于數據挖掘、計算機視覺、自然語言處理等領域。深度學習是機器學

3、習的子集，主要由人工神經網絡組成。與傳統算法及中小型神經網絡相比，大規模的神經網絡及海量的數據支撐將有效提高深度神經網絡的表現性能。l TransformerTransformer模型架構是現代大語言模型所采用的基礎架構。模型架構是現代大語言模型所采用的基礎架構。Transformer模型是一種非串行的神經網絡架構，最初被用于執行基于上下文的機器翻譯任務。Transformer模型以Encoder-Decoder架構為基礎，能夠并行處理整個文本序列，同時引入“注意機制”（Attention），使其能夠在文本序列中正向和反向地跟蹤單詞之間的關系，適合在大規模分布式集群中進行訓練，因此具有能夠并行

4、運算、關注上下文信息、表達能力強等優勢。Transformer模型以詞嵌入向量疊加位置編碼作為輸入，使得輸入序列具有位置上的關聯信息。編碼器（Encoder）由Self-Attention（自注意力層）和 Feed Forward Network（前饋網絡）兩個子層組成，Attention使得模型不僅關注當前位置的詞語，同時能夠關注上下文的詞語。解碼器（Decoder）通過Encoder-Decoder Attention層，用于解碼時對于輸入端編碼信息的關注；利用掩碼（Mask）機制，對序列中每一位置根據之前位置的輸出結果循環解碼得到當前位置的輸出結果。5X9UlYnV8WnUvUsXvU7

5、NaO6MsQqQmOmPeRrRqMkPmOtO8OnMnNMYoOrPwMnPtR請務必閱讀正文之后的免責聲明及其項下所有內容AIAI大語言模型的原理、演進及算力測算大語言模型的原理、演進及算力測算l GPTGPT是基于是基于TransformerTransformer架構的大語言模型，近年迭代演進迅速。架構的大語言模型，近年迭代演進迅速。構建語言模型是自然語言處理中最基本和最重要的任務之一。GPT是基于Transformer架構衍生出的生成式預訓練的單向語言模型，通過對大量語料數據進行無監督學習，從而實現文本生成的目的；在結構上僅采用Transformer架構的Decoder部分。自20

6、18年6月OpenAI發布GPT-1模型以來，GPT模型迭代演進迅速。GPT-1核心思想是采用“預訓練+微調”的半監督學習方法，服務于單序列文本的生成式任務；GPT-2在預訓練階段引入多任務學習機制，將多樣化的自然語言處理任務全部轉化為語言模型問題；GPT-3大幅增加了模型參數，更能有效利用上下文信息，性能得到跨越式提高；GPT-3.5引入人類反饋強化學習機制，通過使用人類反饋的數據集進行監督學習，能夠使得模型輸出與人類意圖一致。l 大語言模型的訓練及推理應用對算力需求帶來急劇提升。大語言模型的訓練及推理應用對算力需求帶來急劇提升。以GPT-3為例，GPT-3參數量達1750億個，訓練樣本to

7、ken數達3000億個?？紤]采用精度為32位的單精度浮點數數據來訓練模型及進行谷歌級訪問量推理，假設GPT-3模型每次訓練時間要求在30天完成，對應GPT-3所需運算次數為3.15*1023FLOPs，所需算力為121.528PFLOPS，以A100 PCle芯片為例，訓練階段需要新增A100 GPU芯片1558顆，價值量約2337萬美元；對應DGX A100服務器195臺，價值量約3880.5萬美元。假設推理階段按谷歌每日搜索量35億次進行估計，則每日GPT-3需推理token數達7.9萬億個，所需運算次數為4.76*1024FLOPs，所需算力為55EFLOPs，則推理階段需要新增A100

8、 GPU芯片70.6萬顆，價值量約105.95億美元；對應DGX A100服務器8.8萬臺，價值量約175.12億美元。l 產業鏈相關公司：產業鏈相關公司：工業富聯、滬電股份、寒武紀、海光信息、國芯科技、全志科技。l 風險提示：風險提示：宏觀AI推廣不及預期，AI投資規模低于預期，AI服務器滲透率提升低于預期，AI監管政策收緊等。請務必閱讀正文之后的免責聲明及其項下所有內容人工智能、機器學習與神經網絡簡介0101Transformer模型結構分析0202大規模語言模型算力需求測算（以GPT-3為例）0303產業鏈相關公司0404目錄目錄風險提示0505請務必閱讀正文之后的免責聲明及其項下所有內

9、容一、人工智能、機器學習與神經網絡簡介一、人工智能、機器學習與神經網絡簡介請務必閱讀正文之后的免責聲明及其項下所有內容l 人工智能（人工智能（Artificial IntelligenceArtificial Intelligence，AIAI）是研究、開發用于模擬、延伸和擴展人類智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能的最終目標是使計算機能夠模擬人的思維方式和行為。l 機器學習（機器學習（Machine LearningMachine Learning，MLML）是實現人工智能的一種途徑，是一門專門研究計算機如何模擬或實現人類的學習行為、以獲取新的知識或技能、重新組織已有

10、的知識結構使之不斷改善自身性能的學科。l 機器學習包括數據、模型、算法三要素。機器學習包括數據、模型、算法三要素。從實踐上來看，機器學習是在大數據的支撐下，通過各種算法讓機器對數據進行深層次的統計分析以進行“自學”（訓練模型），使人工智能系統獲得了歸納推理和決策能力。機器學習作為一套數據驅動方法，已廣泛應用于數據挖掘、自然語言處理、機器視覺、搜索引擎、醫學診斷、生物特征識別、DNA序列測序、證券市場分析等領域。機器學習是實現人工智能的途徑之一機器學習是實現人工智能的途徑之一圖：機器學習訓練與推理示意圖圖：機器學習訓練與推理示意圖資料來源：woshipm，國信證券經濟研究所整理圖：機器學習三要素

11、圖：機器學習三要素資料來源：gitbook，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 深度學習（深度學習（Deep LearningDeep Learning，DLDL）是機器學習的子集，）是機器學習的子集，由人工神經網絡（ANN）組成。深度學習模仿人腦中存在的相似結構，其學習是通過相互關聯的“神經元”的深層的、多層的“網絡”來進行的。l 典型的神經網絡從結構上可以分為三層：輸入層、隱藏層、輸出層。典型的神經網絡從結構上可以分為三層：輸入層、隱藏層、輸出層。其中，輸入層（input layer）是指輸入特征向量；隱藏層（hidden layer）是指抽象的非線性中間

12、層；輸出層（output layer）是指輸出預測值。深層神經網絡即包含更多隱藏層的神經網絡。l 相比于傳統機器學習模型，深度學習神經網絡更能在海量數據上發揮作用。相比于傳統機器學習模型，深度學習神經網絡更能在海量數據上發揮作用。若希望獲得更好的性能，不僅需要訓練一個規模足夠大的神經網絡（即帶有許多隱藏層的神經網絡，及許多參數及相關性），同時也需要海量的數據支撐。數據的規模及神經網絡的計算性能，需要有強大的算力作為支撐。模型及數據規模增加有利于提高深度神經網絡性能模型及數據規模增加有利于提高深度神經網絡性能圖：不同深度的神經網絡模型結構圖：不同深度的神經網絡模型結構示意圖示意圖圖：不同神經網絡

13、模型在不同數據量下性能曲線圖：不同神經網絡模型在不同數據量下性能曲線資料來源：Coursera，吳恩達深度學習，國信證券經濟研究所整理資料來源：ShowMeAI，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 傳統常見的神經網絡模型包括卷積神經網絡（傳統常見的神經網絡模型包括卷積神經網絡（CNNCNN）和循環神經網絡（）和循環神經網絡（RNNRNN）等。）等。其中，卷積神經網絡（Convolutional Neural Network，CNN）多用于計算機視覺、自動駕駛、人臉識別、虛擬現實、醫學領域、人機交互、智能安防等圖像應用；相比于標準神經網絡，CNN能夠更好地適應高

14、緯度的輸入數據，卷積設計有效減少了模型的參數數量。l 循環神經網絡（循環神經網絡（Recurrent Neural NetworkRecurrent Neural Network，RNNRNN）常用于處理序列數據（）常用于處理序列數據（例如含有時間成分的音頻和文本），獲取數據中的時間依賴性。由于語言（無論是英語字母還是漢語漢字）都是逐個出現的，同時語言是時序前后相互關聯的數據，因此語言作為最自然表達出來的序列數據，適合應用RNN進行語音識別、情感分類、機器翻譯、語言生成、命名實體識別等應用。l 循環神經網絡（循環神經網絡（RNNRNN）曾是自然語言處理的首選解決方案。）曾是自然語言處理的首選解

15、決方案。RNN能夠在處理單詞序列時，將處理第一個詞的結果反饋到處理下一個詞的層，使得模型能夠跟蹤整個句子而非單個單詞。但RNN存在缺點：由于這種串行結構，RNN無法對于長序列文本進行有效處理，甚至可能當初始單詞過遠時“遺忘”相關信息。CNNCNN和和RNNRNN是常見的神經網絡模型是常見的神經網絡模型圖：卷積神經網絡示意圖圖：卷積神經網絡示意圖資料來源：深度卷積神經網絡的發展及其在計算機視覺領域的應用，國信證券經濟研究所整理資料來源：深度學習（中文版），國信證券經濟研究所整理圖：循環神經網絡示意圖圖：循環神經網絡示意圖請務必閱讀正文之后的免責聲明及其項下所有內容二、二、TransformerT

16、ransformer模型結構分析模型結構分析請務必閱讀正文之后的免責聲明及其項下所有內容l Attention is all your need by OpenAIl 作為與傳統的CNN、RNN不同的深度學習模型架構，TransformerTransformer模型最初是被用于基于模型最初是被用于基于上下文的機器翻譯模型。上下文的機器翻譯模型。由于Transformer模型非串行結構，能夠并行處理整個序列；同時引入“注意機制”（attention），能夠在文本序列中正向和反向地跟蹤單詞之間的關系，適合在大規模分布式集群中進行訓練。l TransformerTransformer以以Encode

17、r-DecoderEncoder-Decoder架構為基礎。架構為基礎。其中，編碼組件由多層編碼器（Encoder）組成。解碼組件也是由相同層數的解碼器（Decoder）組成。Encoder用于提取源端語言的語義特征，而用Decoder提取目標端語言的語義特征，并生成相對應的譯文。l TransformerTransformer模型具有能夠并行運算、關注上下文信息、表達能力強等優勢。模型具有能夠并行運算、關注上下文信息、表達能力強等優勢。TransformerTransformer模型以模型以Encoder-DecoderEncoder-Decoder架構為基礎架構為基礎圖：圖：Transfo

18、rmerTransformer最初用于機器翻譯最初用于機器翻譯圖：圖：TransformerTransformer模型介紹模型介紹資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：Attention Is All You Need，國信證券經濟研究所整理圖：圖：Transformer Transformer以以Encoder-DecoderEncoder-Decoder架構為基礎架構為基礎資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容

19、l 詞嵌入是詞嵌入是NLPNLP最基礎的概念之一，表示來自詞匯表的單詞或者短語被映射成實數向量。最基礎的概念之一，表示來自詞匯表的單詞或者短語被映射成實數向量。最早的詞嵌入模型是word2vec等神經網絡模型，屬于靜態詞嵌入（不關注上下文）。例如大模型誕生前常用的RNN模型所用的輸入便是預訓練好的詞嵌入。詞向量能夠將語義信息與空間向量關聯起來（例如經典的詞類比例子：king、queen、man、woman對應詞向量的關系）。l 詞嵌入詞嵌入產生要素及步驟：Vocabulary：所有的token組成集合。詞向量表：token與詞向量的一一對應關系。詞向量可以由預訓練產生，也可以是模型參數。查表：

20、輸入的token都對應一個固定維度的浮點數向量（詞嵌入向量）。l 位置編碼：位置編碼：表示序列中詞的順序，具體方法為為每個輸入的詞添加一個位置向量。根據位置編碼對應計算公式，pos表示位置，i表示維度。位置編碼能夠讓模型學習到token之間的相對位置關系。TransformerTransformer模型結構分析模型結構分析詞嵌入（詞嵌入（EmbeddingEmbedding）圖：帶有位置編碼的詞嵌入向量生成方法圖：帶有位置編碼的詞嵌入向量生成方法圖：位置編碼對應計算公式圖：位置編碼對應計算公式圖：經典的詞類比例子圖：經典的詞類比例子資料來源：Towards Understanding Line

21、ar Word Analogies，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：Attention Is All You Need，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 編碼組件可由多層編碼器（編碼組件可由多層編碼器（EncoderEncoder）組成）組成，同樣解碼組件也由相同層數的解碼器（Decoder）組成。一般來講，對于中間層的輸出向量，底層Encoder輸出的表示淺層含義，頂層Encoder輸出的表示深層含義。l 每個每個EncoderEncoder由兩個子層組成

22、：由兩個子層組成：Self-Attention層（自注意力層）和 Feed Forward Network（FFN，前饋網絡）組成。l 對于每一層Encoder，詞嵌入向量輸入會首先進入Self-AttentionSelf-Attention層層，Encoder對詞向量進行編碼時，會對整句輸入的上下文均進行Attention操作，從而關注并使用到輸入句子的上下文的信息。Decoder端存在Cross-Attention層（Encoder-Decoder Attention層），用于解碼時對輸入部分的信息進行Attention關注。l 經過Self-Attention層的輸入進入前饋網絡前饋網絡

23、，前饋網絡一般是全連接層網絡（并經過非線性的激活函數，如ReLU函數）。全連接層是最基本的神經網絡，每一個結點都與上一層的所有結點相連。ReLU函數：即修正線性單元（Rectified linear unit），又稱線性整流函數，通常指以斜坡函數及其變種為代表的非線性函數。激活函數：為使神經網絡具有擬合函數的能力而引入非線性；如不引入非線性，則無論多少層神經網絡都相當于一個線性映射。l 下一個Encoder的輸入是上一個Encoder的輸出，以此類推。TransformerTransformer模型結構分析模型結構分析EncoderEncoder圖：編碼組件和解碼組件均可由多層圖：編碼組件和解

24、碼組件均可由多層Encode/DecoderEncode/Decoder組成組成圖：數據在圖：數據在EncoderEncoder中流動示意圖中流動示意圖圖：圖：EncoderEncoder由由Self-AttentionSelf-Attention和和FFNFFN兩個子層組成兩個子層組成資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理請務必

25、閱讀正文之后的免責聲明及其項下所有內容l AttentionAttention機制：機制：編碼時，模型不僅能夠關注當前位置的詞語，同時能夠關注上下文的詞語。l Attention由Q Q（QueryQuery）、）、K K（KeyKey）、）、V V（ValueValue）三個矩陣實現（分別對應q、k、v三組向量；其中產生Q、K、V的三個權重矩陣W、W、W為模型參數，通過訓練獲得）。l 對于計算某一詞向量x1與其他詞向量（包括自身）的注意力分數時，用該詞向量的q1分別與其他詞向量（包括自身）的k向量點積，得到注意力分數；以該注意力分數經過Softmax函數進行歸一化處理后，得到對應權重，表示為

26、該詞向量x1與所有位置詞向量的注意力權重。以該權重對對應詞向量的v向量進行加權求和，得到Self-Attention層在該位置的輸出。TransformerTransformer模型結構分析模型結構分析AttentionAttention圖：詞向量進入圖：詞向量進入Self-AttentionSelf-Attention層后層后q q、k k、v v向量計算步驟圖向量計算步驟圖圖：以圖：以Q Q、K K、V V矩陣計算縮放點積矩陣計算縮放點積AttentionAttention流程圖流程圖圖：以矩陣表示的圖：以矩陣表示的AttentionAttention計算示意圖計算示意圖資料來源：The

27、Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：Attention Is All You Need，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容TransformerTransformer模型結構分析模型結構分析Multi-head AttentionMulti-head Attention圖：不同子空間輸出進行整合運算的方法圖：不同子空間輸出進行整合運算的方法圖：圖：Multi-head AttentionMulti-hea

28、d Attention計算方法與流程總結計算方法與流程總結l Multi-head AttentionMulti-head Attention即多頭注意力機制，即多頭注意力機制，采用多組不同的線性變換對Q、K、V矩陣進行映射并分別計算Attention，再將不同的Attention結果拼接起來進行線性變換。l Multi-head AttentionMulti-head Attention本質本質是在參數總量保持不變的情況下，將Q、K、V映射到高維空間的不同子空間進行Attention計算，防止過擬合。圖：圖：Multi-head AttentionMulti-head Attention原理

29、示意圖原理示意圖圖：詞嵌入矩陣與不同權重圖：詞嵌入矩陣與不同權重、矩陣運算矩陣運算得到不同得到不同Q Q、K K、V V矩陣矩陣圖：圖：不同子空間不同子空間AttentionAttention運算后得到對應輸出結果運算后得到對應輸出結果資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：Attention Is All You Need，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHu

30、b，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 訓練時：訓練時：輸入樣本句子（即翻譯后的正確結果）；推理時：推理時：輸入待定詞（即mask）組成的句子。l MaskMask（掩碼）（掩碼）分為Padding Mask和Sequence Mask。其中，Padding Mask用于填充輸入序列長度，保持輸入序列對齊；Sequence Mask用于Masked Multi-Head Attention層中，使得Decoder不能獲取未來的信息，從而在每個位置上僅能根據之前

31、位置的輸出結果及Encoder-Decoder Attention得到當前位置的輸出。l 當Decoder某一序列位置產生輸出結果后，首先通過線性層將該輸出向量映射成為維度數與vocabulary內的詞數一致的向量，并通過Softmax層將每一維數字歸一化為概率（即歸一化后每一維數字代表對應token的概率）。訓練時，構造損失函數，訓練模型參數使得衡量輸出概率與樣本概率分布之差的損失函數值最小。推理時，根據概率采樣（例如最大概率所對應）的輸出詞即為該位置的輸出結果。TransformerTransformer模型結構分析模型結構分析DecoderDecoder圖：圖：D Decoderecod

32、er數據輸入與輸出流程示意圖數據輸入與輸出流程示意圖圖：圖：DecoderDecoder通過計算概率預測下一個通過計算概率預測下一個tokentoken資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理資料來源：The Illustrated Transformer，GitHub，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容三、大規模語言模型算力需求測算（以三、大規模語言模型算力需求測算（以GPT-3GPT-3為例）為例）請務必閱讀正文之后的免責聲明及其項下所有內容l 構建語言模型（構建語言模型（Language Mod

33、elLanguage Model，LMLM）是自然語言處理（）是自然語言處理（Natural Language ProcessingNatural Language Processing，NLPNLP）中最基本和最）中最基本和最重要的任務之一，重要的任務之一，自然語言處理基于Transformer架構衍生出了兩種主流大語言模型（Large Language Model，LLM）BERT和GPT。二者都是無監督預訓練的大語言模型。l BERTBERT（Bidirectional Encoder Representations from TransformerBidirectional Encod

34、er Representations from Transformer）能夠生成深度雙向語言表征，是采用帶有掩碼（mask）的大語言模型，類似于完形填空，根據上下文預測空缺處的詞語。結構上，BERT僅采用Transformer架構的Encoder部分。l GPTGPT（Generative Pre-training TransformerGenerative Pre-training Transformer）是生成式預訓練的單向語言模型。通過對大量語料數據進行無監督學習，從而實現文本生成的目的。結構上，GPT僅采用Transformer架構的Decoder部分。l 自自20182018年年6

35、6月起月起OpenAIOpenAI發布發布GPT-1GPT-1模型以來，模型以來，GPTGPT更新換代持續提升模型及參數規模。更新換代持續提升模型及參數規模。隨著OpenAI于2022年11月30日發布ChatGPT引爆AI領域，海內外科技公司紛紛宣布發布大語言模型。用戶爆發式增長對大語言模型的算力需求帶來挑戰。BERTBERT和和GPTGPT是基于是基于TransformerTransformer架構的兩種大規模語言模型架構的兩種大規模語言模型圖：圖：20182018年年6 6月以來發布的模型月以來發布的模型BERTBERT和和GPTGPT以以TransformerTransformer架構

36、架構為主為主圖：基于圖：基于TransformerTransformer架構的架構的BERTBERT和和GPTGPT模型示意圖模型示意圖資料來源：Attention Is All You Need，國信證券經濟研究所整理資料來源：ShowMeAI，國信證券經濟研究所整理BERTGPT公司公司產品產品(擬擬)發布日期發布日期階段階段鏈接鏈接OpenAlChatGPT2022年11月30日 開放注冊https:/ Moss2月21日公開測試(目前升級中）https:/moss.fastnlp.top/瀾舟科技 孟子3月14日已發布https:/ 曹植3月21日可申請使用http:/ ChatGLB

37、-6B3月28日已開源https:/ 通義千問4月7日企業用戶內測https:/ 日日新4月10日即將邀請內測https:/ 天工3.54月17日即將邀請內測http:/ 1+N認知智能大模型 5月6日即將發布-網易有道 子曰近期即將發布-華為盤古NLP模型近期即將發布-騰訊混元助手近期未開放-京東言犀今年未開放-圖：國內外科技企業發語言模型發布情況圖：國內外科技企業發語言模型發布情況資料來源：金十數據，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l Improving Language Understanding by Generative Pre-Training b

38、y OpenAIl GPT-1GPT-1是生成式預訓練模型，核心思想是是生成式預訓練模型，核心思想是“預訓練預訓練+微調微調”的半監督學習方法，的半監督學習方法，目標是服務于單序列文本的生成式任務。生成式：表示模型建模的是一段句子出現的概率，可以分解為基于語言序列前序已出現單詞條件下后一單詞出現的條件概率之乘積。例如：P(一顆蘋果)=P(一)P(顆|一)P(蘋|一顆)P(果|一顆蘋)；P(一蘋顆果)=P(一)P(蘋|一)P(顆|一蘋)P(果|一蘋顆)。預訓練（無監督學習）：在無標注語料上進行無監督的預訓練，通過最大化似然函數從而得到標準的GPT模型。微調（有監督學習）：針對特定下游任務，采用特

39、定的有標簽數據進行微調，得到專用于情感分析、機器翻譯等特定功能的模型。GPT-1GPT-1：預訓練：預訓練+微調的半監督學習模型微調的半監督學習模型圖：圖：GPT-1GPT-1“預訓練預訓練+微調微調”模型示意圖模型示意圖資料來源：Improving Language Understanding by Generative Pre-Training，國信證券經濟研究所整理l 四大常見應用：分類、蘊含、相似、選擇四大常見應用：分類、蘊含、相似、選擇分類：每段文本具有對應標號，將文本按標號進行分類蘊含：給出一段文本和假設，判斷該段文本中是否蘊含該假設相似：判斷兩段文本是否相似（用于搜索、查詢、去重

40、等）選擇：對有多個選項的問題進行回答請務必閱讀正文之后的免責聲明及其項下所有內容l Language Models are Unsupervised Multitask Learners by OpenAIl 預訓練+微調的范式只能對于特定自然語言處理任務（例如問答、機器翻譯、閱讀理解、提取摘要等）使用特定的數據集進行有監督學習，單一領域數據集缺乏對多種任務訓練的普適性。GPT-2GPT-2：強調多任務的預訓練模型：強調多任務的預訓練模型圖：圖：GPT-2GPT-2在部分自然問題集上生成的答案及對應正誤、概率情況在部分自然問題集上生成的答案及對應正誤、概率情況資料來源：Bloomberg，國信

41、證券經濟研究所整理l GPT-2GPT-2在預訓練階段便引入多任務學習機制，在預訓練階段便引入多任務學習機制，通過加入各種NLP任務所需要的數據集，在盡可能多的領域和上下文中收集屬于對應任務的自然語言。由此得到的GPT-2模型可以以zero-shot的方式被直接應用于下游任務，而無需進行有監督的精調。l GPT-2GPT-2將多樣化的的將多樣化的的NLPNLP任務全部轉化為語言模型問題。任務全部轉化為語言模型問題。語言提供了一種靈活的方式來將任務，輸入和輸出全部指定為一段文本。對文本的生成式建模就是對特定任務進行有監督學習。即，所有NLP任務中的樣本都能歸結為一句自然語言文本。例如，翻譯訓練樣

42、本可以寫成序列“翻譯為法語，英語文本，法語文本”。同樣，閱讀理解訓練的例子可以寫成序列“回答問題，文檔，問題，答案”。請務必閱讀正文之后的免責聲明及其項下所有內容lLanguage Models are Few-Shot Learners by OpenAIl相比GPT-2，GPT-3大幅增加了模型參數。GPT-3GPT-3是具有是具有17501750億個參數的自回歸語言模型，億個參數的自回歸語言模型，更能有效利用上下文信息。對于特定的下游任務，GPT-3無需進行任何梯度更新或微調，僅需通過與模型交互并提供少量范例即可。l特點：1、模型規模急劇增加（使得模型性能提升迅猛）；2、實現few-sh

43、ot learning。lin-context learningin-context learning：對模型進行引導，使其明白應輸出什么內容。Q：你喜歡吃蘋果嗎？A1：我喜歡吃。A2：蘋果是什么？A3：今天天氣真好。A4：Do you like eating apples?采用prompt提示語：漢譯英：你喜歡吃蘋果嗎？請回答：你喜歡吃蘋果嗎？lin-context learningin-context learning三種方式：三種方式：不需要進行參數更新，僅需把少量標注樣本作為輸入文本的上下文僅提示zero-shot(0S)：僅需給出任務描述一個范例one-shot(1S)：僅需給出任務

44、描述和一個示例多個范例few-shot(FS)：僅需給出任務描述和少量示例GPT-3GPT-3：能夠舉一反三的大語言模型：能夠舉一反三的大語言模型圖：圖：zero-shotzero-shot、one-shotone-shot和和few-shotfew-shot與傳統微調形成對比與傳統微調形成對比資料來源：騰訊云開發者，國信證券經濟研究所整理圖：一個簡單任務中不同參數模型上下文學習性能圖：一個簡單任務中不同參數模型上下文學習性能版本版本GPT-1GPT-2GPT-3時間2018年6月2019年2月2020年5月參數量1.17億15.4億1750億預訓練數據量5GB40GB45TB訓練方式Pre-

45、training+Fine-tuningPre-trainingPre-training序列長度51210242048#of Decoder Layers124896Size of Hidden Layers768160012288圖：語言模型的元學習圖：語言模型的元學習資料來源：Language Models are Few-Shot Learners，國信證券經濟研究所整理圖：圖：GPT-1GPT-1至至GPT-3GPT-3模型參數模型參數資料來源：Language Models are Few-Shot Learners，國信證券經濟研究所整理資料來源：Language Models a

46、re Few-Shot Learners，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l Training language models to follow instructions with human feedbackTraining language models to follow instructions with human feedback by by OpenAIOpenAIl 過往GPT模型存在的問題：語料庫偏差，繼續使用無監督學習擴大模型無法達到使用目的（編造事實、有偏見文本等）。l GPT-3.5GPT-3.5通過使用人類反饋的數據集進行監督學習通

47、過使用人類反饋的數據集進行監督學習（RLHF，即reinforcement learning from human feedback），對GPT模型進行微調。主要分為以下三步：GPT-3.5GPT-3.5（ChatGPTChatGPT）:引入人類反饋強化學習機制引入人類反饋強化學習機制圖：圖：GPT-3.5GPT-3.5模型架構示意圖模型架構示意圖資料來源：Training language models to follow instructions with human feedback，國信證券經濟研究所整理1、根據人工標注的數據集構造示范樣本，進行有監督的微調，訓練出有監督的微調模型。2

48、、構造Reward模型，通過人工對輸出結果標注并進行比較排序打分，訓練Reward模型，學習對輸出進行排序打分。3、采用PPO（Proximal policy optimization，近端策略優化，一種強化學習算法），通過不斷與環境交互（如ChatGPT不斷從訓練集中抽取問題并生成解答）以訓練GPT模型，使Reward模型打分最大化。l 結果顯示：結果顯示：通過構建人類反饋的數據集，使用有監督學習微調模型，能夠使得模型輸出與人類意圖一致。請務必閱讀正文之后的免責聲明及其項下所有內容l 算力有效性：算力有效性：在4月GTIC 2023中國AIGC創新峰會上，NVIDIA消費互聯網行業解決方案架

49、構師負責人徐添豪提出，NVIDIA的NeMo Framework在訓練GPT-3過程中能使得硬件算力有效性能達到50%以上。l GPT-3GPT-3模型參數量與樣模型參數量與樣tokentoken數：數：GPT-3參數量達1750億個，訓練樣本token數達3000億個。l 訓練時間要求：訓練時間要求：假設GPT-3模型每次訓練時間要求在30天完成。l 推理訪問次數：推理訪問次數：按谷歌每日搜索量35億次進行估計；假設每次訪問提問4次，每次提問+回答需處理字數425字，平均每個字轉換為token比例為4/3，則每日GPT-3需推理token數為79330億個。大語言模型帶來的算力需求測算大語言

50、模型帶來的算力需求測算以以GPT-3GPT-3為例（假設部分為例（假設部分)階段階段參數參數值值訓練階段訓練階段算力有效性50%GPT-3訓練樣本token數300BGPT-3模型參數量175B每個token訓練所需運算次數 6*參數量FLOPs訓練時間要求30天推理階段推理階段每位用戶提問次數4每次提問字數25每次回答字數400平均每個字數對應token數4/3谷歌每日搜索量35億次每個token推理所需運算次數 2*參數量FLOPs訓練所需CPU數=訓練樣本token數 單token訓練所需運算次數訓練時間要求單顆芯片最大算力 算力有效性推理所需CPU數=推理訪問次數 單次訪問處理字數 字

51、數與token轉換倍數 單token推理所需運算次數規定推理時間單顆芯片最大算力 算力有效性圖：圖：所需所需CPUCPU數量計算公式數量計算公式資料來源：國信證券經濟研究所整理圖：算力測算參數假設圖：算力測算參數假設資料來源：OpenAI官網，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 訓練階段：訓練階段：考慮采用精度為32位的單精度浮點數數據進行訓練和推理。以A100 PCle芯片為例（H100 PCle芯片同理），根據前述公式，GPT-3訓練所需運算次數為：樣本token數3000億個*6*參數量1750億個=315*1021FLOPs；考慮訓練時間要求在30天完

52、成（訓練時間為2592000秒），則對應GPT-3訓練所需算力為121528TFLOPS；結合A100有效算力78TFLOPS，得到所需得到所需GPUGPU數量數量為為15581558個，對應個，對應AIAI服務器為服務器為195195臺。臺。l 推理階段：推理階段：根據前述公式，GPT-3每日需推理token數為79330億個，則推理所需運算次數為4760*1021FLOPs；考慮推理時間以每日為單位（推理時間為86400秒），則對應GPT-3推理所需算力為55*106TFLOPS；結合A100有效算力78TFLOPS，得到所需得到所需GPUGPU數數量為量為706315706315個，對應

53、個，對應AIAI服務器為服務器為8.88.8萬臺。萬臺。大語言模型帶來的算力需求測算大語言模型帶來的算力需求測算以以GPT-3GPT-3為例（結論部分為例（結論部分)GPU相關相關A100 PCleH100 PCleTensor Float 32(TF32)156TFLOPS756TFLOPS有效算力78TFLOPS378TFLOPSGPT-3訓練所需運算次數315*1021FLOPs315*1021FLOPsGPT-3訓練所需算力121528TFLOPS121528TFLOPS所需GPU數量1558322GPU單價1.5萬美元3.65萬美元對應GPU價值2337萬美元1175.3萬美元AI服

54、務器相關服務器相關DGX A100DGX H100單個服務器對應GPU數量88所需服務器數量195臺40臺GPU相關相關A100 PCleH100 PCleTensor Float 32(TF32)156TFLOPS756TFLOPS有效算力78TFLOPS378TFLOPSGPT-3推理所需運算次數4760*1021FLOPs 4760*1021FLOPsGPT-3推理所需算力55*106TFLOPS55*106TFLOPS所需GPU數量706315145748GPU單價1.5萬美元3.65萬美元對應GPU價值105.95億美元53.2億美元AI服務器相關服務器相關DGX A100H100單

55、個服務器對應GPU數量88所需服務器數量8.8萬臺1.8萬臺圖：訓練階段算力需求測算過程及結論圖：訓練階段算力需求測算過程及結論資料來源：英偉達官網，國信證券經濟研究所整理及預測圖：推理圖：推理階段算力需求測算過程及結論階段算力需求測算過程及結論資料來源：英偉達官網，國信證券經濟研究所整理及預測請務必閱讀正文之后的免責聲明及其項下所有內容l 訓練：訓練：指利用大數據訓練神經網絡，通過大量數據確定網絡中的權重和偏置的值，使其能夠適應特定功能。l 推理：推理：指利用訓練好的模型，使用新的數據推理和判斷出各種結論。l tokentoken：語言模型的最基本單位，將長文本分解為基本數據結構，再根據映射

56、規則進行計算。l 浮點數：浮點數：一種計算機系統數字表示標準，指一個數的小數點的位置不是固定的，可以浮動，利用科學計數法來表示實數。常見浮點數根據精度不同分為雙精度浮點數FP64、單精度浮點數FP32、半精度浮點數FP16等。l FLOPSFLOPS（loating-point operations per second）：每秒浮點運算次數，用于大量浮點運算的科學計算領域中。l TFLOPSTFLOPS（teraFLOPS）：每秒1萬億（=1012）次浮點運算。注：部分名詞解釋注：部分名詞解釋圖：英偉達圖：英偉達A100A100 GPUGPU參數參數資料來源：英偉達官網，國信證券經濟研究所整理

57、圖：圖：英偉達英偉達H H100100 GPUGPU參數參數圖：圖：英偉達英偉達GPUGPU芯片售價芯片售價資料來源：財經十一人，國信證券經濟研究所整理資料來源：英偉達官網，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 根據結論，1個參數量為1750億個的GPT-3模型在訓練階段需要新增1558顆A100 GPU芯片，對應價值為2337萬美元，需要需要195195臺臺DGX A100DGX A100服務器；服務器；在推理階段需要新增70.6萬顆A100 GPU芯片，對應價值為105.95億美元，需要需要8.88.8萬臺萬臺DGX A100DGX A100服務器。服務器。

58、考慮一臺DGX A100服務器售價19.9萬美元，則在訓練階段在訓練階段DGX A100DGX A100服務器價值量為服務器價值量為3880.53880.5萬美元，推理階段萬美元，推理階段DGX A100DGX A100服務器價值量服務器價值量為為175.12175.12億美元。億美元。l 英偉達（NVIDIA）是一家人工智能計算公司，其GPU產品和架構為科學計算、人工智能（AI）、數據科學、自動駕駛汽車（AV）、機器人、元宇宙和3D互聯網應用創建平臺。FY23英偉達收入為269.74億美元。若按上述結論，GPT-3GPT-3新增新增GPUGPU價值達到英價值達到英偉達公司偉達公司FY23FY

59、23收入的收入的39.4%39.4%。l 據IDC數據，受益于全球經濟的快速復蘇，2021年用戶對數據中心基礎設施的投資持續上漲，全球服務器市場出貨量為1353.9萬臺。據TrendForce數據，截至2022年底預計搭載GPGPU（General Purpose GPU）的AI服務器年出貨量占整體服務器比例近1%。若采用上述數據大致估算，GPT-3GPT-3新增新增AIAI服務器數量達到服務器數量達到20212021年全球年全球AIAI服務器數量的服務器數量的65.35%65.35%。GPT-3GPT-3模型對模型對GPUGPU與與AIAI服務器需求展望服務器需求展望產品型號產品型號發布時間

60、發布時間制程制程雙精度浮點運雙精度浮點運算性能算性能（TFLOPS）單精度浮點運單精度浮點運算性能算性能（TFLOPS）半精度浮點運算性半精度浮點運算性能（能（TFLOPS）整型定點運算性能整型定點運算性能（TOPS）顯存顯存顯存帶寬顯存帶寬最大功耗最大功耗H100 SXM20224nm26511979(Tensor Core)3958(Tensor Core)80GB3.35TB/s700WA100 80GB SXM20207nm9.719.5624(Tensor Core)1248(Tensor Core)80GB2039GB/s400WV100S PCle201912nm8.216.4-

61、32GB1134GB/s250W0 50 100 150 200 250 300 FY01FY02FY03FY04FY05FY06FY07FY08FY09FY10FY11FY12FY13FY14FY15FY16FY17FY18FY19FY20FY21FY22FY23營業收入（億美元）圖：圖：英偉達歷年英偉達歷年GPUGPU產品對比產品對比資料來源：英偉達官網，國信證券經濟研究所整理圖：英偉達歷年收入情況圖：英偉達歷年收入情況資料來源：Bloomberg，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容四、產業鏈相關公司四、產業鏈相關公司請務必閱讀正文之后的免責聲明及其項下所有

62、內容l 公司公司是是依托于工業互聯網為全球知名客戶提供智能制造和科技服務解決方案的制造業龍頭企業。依托于工業互聯網為全球知名客戶提供智能制造和科技服務解決方案的制造業龍頭企業。公司主要由母公司鴻海精密集團旗下通信網絡設備、云服務設備、工業互聯網三大業務整合而成，業務范圍覆蓋數字經濟產業全品類。l 公司云計算業務收入連續五年保持成長趨勢：公司云計算業務收入連續五年保持成長趨勢：2022年公司云計算業務收入2124.44億元，同比增長19.6%，占總營收比例為41.5%。公司云計算產品包括服務器、存儲設備及云服務設備高精密機構件，主要為蘋果、亞馬遜、谷歌、戴爾、HPE、思科等國內外領先的云服務商和

63、品牌商提供云計算設備代工制造服務。服務器ODM廠商直接供貨具備產能充足、交付速度快、定制性強、價格低廉等優勢，近年來云服務廠商逐漸傾向于直接向服務器ODM廠商采購定制化服務器產品。工業富聯：電子設備制造（工業富聯：電子設備制造（EMSEMS）行業龍頭）行業龍頭圖：公司產品布局圖：公司產品布局資料來源：工業富聯公司公告，國信證券經濟研究所整理圖：公司歷年營收占比圖：公司歷年營收占比資料來源：Wind，國信證券經濟研究所整理0%10%20%30%40%50%60%70%80%90%100%20182019202020212022通信及移動網絡設備云計算工業互聯網其他請務必閱讀正文之后的免責聲明及其

64、項下所有內容l 公司是全球領先的公司是全球領先的PCBPCB廠商，廠商，在中高階板領域具有顯著的領先優勢，持續深耕通信通訊設備、數據中心基礎設施以及汽車電子應用領域的核心產品市場，產品在服務器、交換機中市占率較高。l 公司通訊市場板業務占公司公司通訊市場板業務占公司PCBPCB營收營收70%70%：公司EGS級服務器領域產品已實現量產；HPC領域，應用于AI加速、Graphics的產品，應用于GPU、OAM、FPGA等加速模塊類的產品以及應用于UBB、BaseBoard的產品已批量出貨，正在預研UBB2.0、OAM2.0的產品；交換機領域，應用于Pre800G的產品已批量生產，應用于800G的

65、產品已實現小批量的交付；基于數據中心加速模塊的多階HDI Interposer產品，已實現4階HDI的產品化，目前在預研6階HDI產品，同時基于交換、路由的NPO/CPO架構的Interposer產品也同步開始預研；在半導體芯片測試線路板部分重點開發0.35mm以上Pitch的高階產品。滬電股份：服務器、交換機高階硬板核心供應商滬電股份：服務器、交換機高階硬板核心供應商圖：公司產品布局圖：公司產品布局資料來源：滬電股份官網，國信證券經濟研究所整理圖：公司歷年營收占比圖：公司歷年營收占比資料來源：Wind，國信證券經濟研究所整理0%20%40%60%80%100%2016201720182019

66、202020212022企業通訊市場板汽車板辦公及工業設備板消費電子板其他電子板其他業務請務必閱讀正文之后的免責聲明及其項下所有內容l 公司是國產人工智能芯片廠商，公司是國產人工智能芯片廠商，專注于人工智能芯片產品的研發與技術創新，致力于打造人工智能領域的核心處理器芯片，提供云邊端一體、軟硬件協同、訓練推理融合、具備統一生態的系列化智能芯片產品和平臺化基礎系統軟件。公司主要產品包括：終端智能處理器IP、云端智能芯片及加速卡、邊緣智能芯片及加速卡、基礎系統軟件平臺等。l 公司具備廣泛的產品體系：公司具備廣泛的產品體系：目前已推出的產品體系覆蓋了云端、邊緣端的智能芯片及其加速卡、訓練整機、處理器I

67、P及軟件，可滿足云、邊、端不同規模的人工智能計算需求。2022年3月，公司正式發布新款訓練加速卡MLU370-X8。MLU370-X8搭載雙芯片四芯粒思元370，集成寒武紀MLU-Link多芯互聯技術，主要面向訓練任務，在業界應用廣泛的YOLOv3、Transformer等訓練任務中，8卡計算系統的并行性能平均達到350W RTX GPU的155%。寒武紀：國內人工智能芯片公司寒武紀：國內人工智能芯片公司資料來源：寒武紀公司公告，國信證券經濟研究所整理資料來源：Wind，國信證券經濟研究所整理圖：公司產品布局圖：公司產品布局圖：公司圖：公司20212021年營收占比年營收占比63.2%24.3

68、%11.1%1.0%0.4%智能計算集群系統邊緣產品線云端產品線IP授權及軟件其他產品線產品線產品類型產品類型寒武紀主要產品寒武紀主要產品推出時間推出時間云端產品線云端產品線云端智能芯片及加速卡思元100（MLU100）芯片及云端智能加速卡2018年思元270（MLU270）芯片及云端智能加速卡2019年思元290（MLU290）芯片及云端智能加速卡2020年思元370（MLU370）芯片及云端智能加速卡2021年訓練整機玄思1000智能加速器2020年邊緣產品線邊緣產品線邊緣智能芯片及加速卡 思元220（MLU220）芯片及邊緣智能加速卡2019年IP授權及軟件授權及軟件終端智能處理器IP寒

69、武紀1A處理器2016年寒武紀1H處理器2017年寒武紀1M處理器2018年基礎系統軟件平臺寒武紀基礎軟件開發平臺（適用于公司所有芯片與處理器產品）持續研發和升級，以適配新的芯片請務必閱讀正文之后的免責聲明及其項下所有內容l 公司是國內少數幾家同時具備高端通用處理器（公司是國內少數幾家同時具備高端通用處理器（CPUCPU）和協處理器（）和協處理器（DCUDCU）研發能力的集成電路設計企業。）研發能力的集成電路設計企業。公司掌握了高端處理器核心微結構設計、高端處理器SoC架構設計、處理器安全、處理器驗證、高主頻與低功耗處理器實現、高端芯片IP設計、先進工藝物理設計、先進封裝設計、基礎軟件等關鍵技

70、術，專注于研發、設計和銷售應用于服務器、工作站等計算、存儲設備中的高端處理器，建立了完善的高端處理器的研發環境和流程，產品性能逐代提升，功能不斷豐富。l 海光信息CPU系列產品兼容x86指令集以及國際上主流操作系統和應用軟件，性能優異，軟硬件生態豐富，安全可靠，得到了國內用戶的高度認可；20222022年，公司成功推出年，公司成功推出 CPU CPU 產品海光三號。產品海光三號。DCU系列產品以GPGPU架構為基礎，兼容通用的“類 CUDA”環境以及國際主流商業計算軟件和人工智能軟件，軟硬件生態豐富，DCU DCU 產品深算一號在產品深算一號在20222022年度實現了在大數據處理、人工智能、

71、年度實現了在大數據處理、人工智能、商業計算等領域的商業化應用。商業計算等領域的商業化應用。海光信息：國產服務器海光信息：國產服務器CPUCPU芯片龍頭芯片龍頭資料來源：海光信息公司公告，國信證券經濟研究所整理資料來源：Wind，國信證券經濟研究所整理圖：公司產品布局圖：公司產品布局圖：公司歷年營收占比圖：公司歷年營收占比產品類型產品類型 主要產品主要產品指令集指令集產品特征產品特征典型應用場景典型應用場景高端處理器高端處理器通用處理器-海光CPU兼容x86指令集內置多個處理器核心，集成通用的高性能外設接口，擁有完善的軟硬件生態環境和完備的系統安全機制。針對不同應用場景對高端處理器計算性能、功能

72、、功耗等技術指標的要求，分別提供海光7000系列產品、5000系列產品、3000系列產品云計算、物聯網、信息服務等協處理器-海光DCU兼容“類CUDA”環境內置大量運算核心，具有較強的并行計算能力和較高的能效比，適用于向量計算和矩陣計算等計算密集型應用大數據處理、人工智能、商業計算等0%10%20%30%40%50%60%70%80%90%100%2019202020217000系列5000系列3000系列8000系列請務必閱讀正文之后的免責聲明及其項下所有內容0%10%20%30%40%50%60%70%80%90%100%20182019202020211H22信息安全汽車電子和工業控制邊

73、緣計算和網絡通信l 公司嵌入式公司嵌入式CPU IPCPU IP積累深厚，積累深厚，自成立以來一直采用Fabless的經營模式，提供IP授權、芯片定制服務和自主芯片及模組產品。產品主要應用于信息安全、汽車電子以及工業控制、邊緣計算和網絡通信三大領域。l 公司云安全、邊緣計算、云存儲相關產品公司云安全、邊緣計算、云存儲相關產品受益于算力需求提升：受益于算力需求提升：在云安全領域，公司的高性能CCP907T、CCP908T芯片及密碼卡已完成研發并進入市場推廣階段，產品滿足國密算法需求，性能達到國際先進水平，適用于安全網關、VPN設備、密碼服務器、可信服務器和云存儲服務器等應用。在邊緣計算和網絡通信

74、領域，公司正在研發的S1020芯片具備多核計算、網絡路徑和協議加速引擎、路由轉發以及多種高速通信接口，適用于邊緣計算與網絡通信的計算、安全及通信需求。在云存儲領域，RAID芯片成功完成研發，具有高性能、大緩存、低功耗等特點，可廣泛應用于圖形工作站、服務器數據庫存儲、金融數據庫存儲等領域，可望實現該領域Raid芯片產品的國產化替代。第一代量產版Raid芯片已正式投片。在此基礎上，公司正在瞄準國際一流公司產品水平，積極開展第二代Raid芯片的設計工作，將采用12nm先進工藝技術和高性能高速接口IP技術實現高性能Raid芯片。國芯科技：國產自主可控嵌入式國芯科技：國產自主可控嵌入式CPUCPU芯片設

75、計公司芯片設計公司圖：公司產品布局圖：公司產品布局資料來源：國芯科技招股書，國信證券經濟研究所整理圖：公司歷年營收占比圖：公司歷年營收占比資料來源：Wind，國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容l 公司主營業務為智能應用處理器公司主營業務為智能應用處理器SoCSoC、高性能模擬器件和無線互聯芯片的研發與設計，、高性能模擬器件和無線互聯芯片的研發與設計，主要產品為智能應用處理器SoC、高性能模擬器件和無線互聯芯片，廣泛適用于工業控制、智能家電、智能硬件、平板電腦、汽車電子、機器人、虛擬現實、網絡機頂盒以及電源模擬器件、無線通信模組、智能物聯網等多個產品領域。l 公司

76、聚焦公司聚焦AIAI語音、語音、AIAI視覺應用的完整鏈條，實現細分視覺應用的完整鏈條，實現細分AIAI產品量產落地：產品量產落地：在AIOT領域，公司產品覆蓋智能音箱、智能清潔機器人、智能家電、智能視覺等市場，R系列芯片產品已實現帶屏、無屏音箱全面量產。在智能汽車電子領域，公司發布T113芯片產品及解決方案，已在車載人機交互和儀表類應用落地。同時，搭載公司產品的AR-HUD，APA類智能化產品已與前裝市場客戶合作實現量產上市。在智能工業領域，公司推出了T系列AI處理器新品，與標桿客戶打造的easy系列工業PLC控制器獲得良好市場表現。在智能解碼顯示領域，公司推出了智慧屏芯片TV303，后續將

77、逐步在智能電視、智能投影、智能商顯領域投入量產。在通用智能終端領域，公司積極拓展通用智能終端相關衍生市場，布局包括電子相冊、教育設備等產品，均取得良好的市場反饋。全志科技：國內全志科技：國內SoCSoC龍頭廠商龍頭廠商圖：公司產品布局圖：公司產品布局資料來源：全志科技公司公告，國信證券經濟研究所整理圖：公司歷年營收占比圖：公司歷年營收占比資料來源：Wind，國信證券經濟研究所整理0%10%20%30%40%50%60%70%80%90%100%202020212022智能終端應用處理器芯片智能電源管理芯片無線通信產品存儲芯片其他主營業務產品大類產品大類產品系列產品系列主要型號產品主要型號產品主

78、要應用領域主要應用領域智能終端應用處理智能終端應用處理器芯片器芯片R系列R16、R328、R329、R818、MR813智能音箱、智能白電、掃地機器人、3D打印機、詞典筆等V系列V3、V526、V533、V536、V831、V851、V853智能安防攝像機、低功耗電池攝像機、多目槍球攝像頭、行車記錄儀、運動相機、智能掃描筆及泛視覺AI產品等H系列H3、H6、H313、H133、H616、H700、H618智能機頂盒、智能投影、商業顯示、云解碼、多屏互動等A系列A33、A64、A100、A133、A133P平板電腦、電子相冊、教育設備、電子書等F系列F1C100S、F1C200S、F133車載儀

79、表/播放器、人機交互智能控制HMI、視頻機等T系列T3、T7、T5、T113智能座艙、輔助駕駛、智慧工業、行業智能、智能電網等其他B300、D1、B810電子書、視頻一體機、開發板等智能電源管理芯片智能電源管理芯片AXP系列AXP221S、AXP223、AXP707、AXP305、AXP858、AXP717、AXP313提供智能的供電、電池管理等功能，與主控芯片配套使用無線通信產品無線通信產品XR系列XR8052、XR819、XR829、XR872、XR806智能家電、智能早教機、兒童機器人、智能機器人、低功耗IPC、無線圖傳、智能門鈴等；語音信號芯片語音信號芯片AC系列AC107、AC108

80、、AC101、AC102提供高集成度的語音信號編解碼、信號轉換等功能，與主控芯片配套使用請務必閱讀正文之后的免責聲明及其項下所有內容五、風險提示五、風險提示請務必閱讀正文之后的免責聲明及其項下所有內容風險提示風險提示1 1、宏觀、宏觀AIAI應用推廣不及預期。應用推廣不及預期。AI技術在應用推廣的過程可能面臨各種挑戰，比如：（1）AI技術需要更多的時間來研發和調試，而且在應用過程中可能會受到數據質量、資源限制和技術能力等因素的制約；（2）AI技術的實施需要更多的資源和資金支持；（3）市場競爭可能也會影響企業在AI應用推廣方面的表現。因此，投資者應審慎評估相關企業的技術實力、資金實力以及管理能力

81、，相關企業的AI應用存在推廣進度不及預期的風險。2 2、AIAI投資規模低于預期。投資規模低于預期。盡管AI技術在過去幾年中受到廣泛關注，但AI相關領域的企業投資回報并不總是符合預期。部分企業在AI領域可能缺乏足夠的經驗和資源，難以把握市場機會。此外，市場競爭也可能會影響企業的投資力度。因此，存在AI領域投資規模低于預期，導致企業相關業務銷售收入不及預期的風險。3 3、AIAI服務器滲透率提升低于預期。服務器滲透率提升低于預期。雖然AI服務器的應用已經較為廣泛，但AI服務器滲透率提升的速度存在低于預期的風險，這與企業對AI技術的投資意愿有關，也可能與市場需求和技術進展的速度有關。4 4、AIA

82、I監管政策收緊。監管政策收緊。由于AI技術的快速發展和廣泛應用，監管機構可能會加強對AI技術的監管力度。監管機構可能會制定嚴格的AI技術使用規定，以保障人們的隱私和數據安全，這些監管政策可能會對企業的業務模式和發展戰略造成影響。請務必閱讀正文之后的免責聲明及其項下所有內容免責聲明免責聲明分析師承諾分析師承諾作者保證報告所采用的數據均來自合規渠道；分析邏輯基于作者的職業理解，通過合理判斷并得出結論，力求獨立、客觀、公正，結論不受任何第三方的授意或影響；作者在過去、現在或未來未就其研究報告所提供的具體建議或所表述的意見直接或間接收取任何報酬，特此聲明。重要聲明重要聲明本報告由國信證券股份有限公司（

83、已具備中國證監會許可的證券投資咨詢業務資格）制作；報告版權歸國信證券股份有限公司（以下簡稱“我公司”）所有。，本公司不會因接收人收到本報告而視其為客戶。未經書面許可，任何機構和個人不得以任何形式使用、復制或傳播。任何有關本報告的摘要或節選都不代表本報告正式完整的觀點，一切須以我公司向客戶發布的本報告完整版本為準。本報告基于已公開的資料或信息撰寫，但我公司不保證該資料及信息的完整性、準確性。本報告所載的信息、資料、建議及推測僅反映我公司于本報告公開發布當日的判斷，在不同時期，我公司可能撰寫并發布與本報告所載資料、建議及推測不一致的報告。我公司不保證本報告所含信息及資料處于最新狀態；我公司可能隨時

84、補充、更新和修訂有關信息及資料，投資者應當自行關注相關更新和修訂內容。我公司或關聯機構可能會持有本報告中所提到的公司所發行的證券并進行交易，還可能為這些公司提供或爭取提供投資銀行、財務顧問或金融產品等相關服務。本公司的資產管理部門、自營部門以及其他投資業務部門可能獨立做出與本報告中意見或建議不一致的投資決策。本報告僅供參考之用，不構成出售或購買證券或其他投資標的要約或邀請。在任何情況下，本報告中的信息和意見均不構成對任何個人的投資建議。任何形式的分享證券投資收益或者分擔證券投資損失的書面或口頭承諾均為無效。投資者應結合自己的投資目標和財務狀況自行判斷是否采用本報告所載內容和信息并自行承擔風險，

85、我公司及雇員對投資者使用本報告及其內容而造成的一切后果不承擔任何法律責任。證券投資咨詢業務的說明證券投資咨詢業務的說明本公司具備中國證監會核準的證券投資咨詢業務資格。證券投資咨詢，是指從事證券投資咨詢業務的機構及其投資咨詢人員以下列形式為證券投資人或者客戶提供證券投資分析、預測或者建議等直接或者間接有償咨詢服務的活動：接受投資人或者客戶委托，提供證券投資咨詢服務；舉辦有關證券投資咨詢的講座、報告會、分析會等；在報刊上發表證券投資咨詢的文章、評論、報告，以及通過電臺、電視臺等公眾傳播媒體提供證券投資咨詢服務；通過電話、傳真、電腦網絡等電信設備系統，提供證券投資咨詢服務；中國證監會認定的其他形式。

86、發布證券研究報告是證券投資咨詢業務的一種基本形式，指證券公司、證券投資咨詢機構對證券及證券相關產品的價值、市場走勢或者相關影響因素進行分析，形成證券估值、投資評級等投資分析意見，制作證券研究報告，并向客戶發布的行為。國信證券投資評級國信證券投資評級類別類別級別級別定義定義股票投資評級股票投資評級買入預計6個月內，股價表現優于市場指數20%以上增持預計6個月內，股價表現優于市場指數10%-20%之間中性預計6個月內，股價表現介于市場指數10%之間賣出預計6個月內，股價表現弱于市場指數10%以上行業投資評級行業投資評級超配預計6個月內，行業指數表現優于市場指數10%以上中性預計6個月內，行業指數表現介于市場指數10%之間低配預計6個月內，行業指數表現弱于市場指數10%以上請務必閱讀正文之后的免責聲明及其項下所有內容國信證券經濟研究所國信證券經濟研究所深圳深圳深圳市福田區福華一路125號國信金融大廈36層郵編：518046 總機：0755-82130833上海上海上海浦東民生路1199弄證大五道口廣場1號樓12樓郵編：200135北京北京北京西城區金融大街興盛街6號國信證券9層郵編：100032