盤古大模型行業深度：框架分析、發展路徑、產業鏈及相關公司深度梳理-230407（21頁）.pdf

《盤古大模型行業深度：框架分析、發展路徑、產業鏈及相關公司深度梳理-230407（21頁）.pdf》由會員分享，可在線閱讀，更多相關《盤古大模型行業深度：框架分析、發展路徑、產業鏈及相關公司深度梳理-230407（21頁）.pdf（21頁珍藏版）》請在三個皮匠報告上搜索。

1、 1/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 行業研究報告 慧博智能投研 盤古盤古大模型大模型行業深度：行業深度：框架框架分析分析、發展路徑、發展路徑、產業鏈及相關公司深度梳理產業鏈及相關公司深度梳理 今年以來，以 GPT 為代表的預訓練大模型引發技術和商業的熱潮。展望國內大模型，華為在該領域積累深厚，其在芯片算力、模型算法、應用場景等多個環節具有完整布局的頭部公司，具備優秀的大模型研發與應用能力，有望快速實現商業化。2021 年華為首次發布了盤古大模型，其能夠賦能千行百業，實現 AI 商業化落地。復盤華為盤古大模型的發展可以發現，其基礎大模型、行業大模

2、型、細分場景模型已經在不同領域率先取得成功，并帶動了產業鏈及相關公司發展。下面我們將主要介紹盤古大模型的概念概念、作用作用以及大模型大模型的的架構架構等，并對盤古大模型的發展路徑發展路徑、各類各類大模型細分大模型細分和其產業鏈及相關公司產業鏈及相關公司進行詳細梳理，希望對大家了解盤古大模型有所啟發。目錄目錄 一、概述.1 二、鯤鵬+昇騰搭建基礎 AI 算力.3 三、L0：基礎大模型.10 四、L1：行業大模型.15 五、L2：細分場景模型.17 六、產業鏈及相關公司.17 七、未來展望.21 八、參考研報.21 一、一、概述概述 1、概念及作用、概念及作用 華為盤古大模型布局已久，多個基礎大模

3、型即將上線。華為盤古大模型布局已久，多個基礎大模型即將上線。華為在 2020 年開始在大模型有布局，2021 年華為盤古大模型首次發布。2021 年 4 月 25 日，在華為開發者大會（Cloud）上，華為云發布了盤古系列超大規模預訓練模型。盤古大模型由 NLP 大模型大模型、CV 大模型大模型、多模態大模型多模態大模型、科學計算大模型科學計算大模型等多個大模型構成，通過模通過模型泛化，解決傳統型泛化，解決傳統 AI 作坊式開發模式下不能解決的作坊式開發模式下不能解決的 AI 規?；?、產業化難題。規?；?、產業化難題。根據華為云官網，華為即將上線 NLP 大模型、CV 大模型、以及科學計算大模型

4、（氣象大模型）。2/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 2、大模型從學術走向產業大模型從學術走向產業 華為云盤古預訓練大模型自 2021 年 4 月正式發布以來持續深耕技術、不斷迭代，形成了“L0 基礎大模型-L1 行業大模型-L2 細分場景大模型”的發展路徑，完成從學術大模型到產業大模型的轉變，在煤炭、醫藥、電力等多個領域實現了應用。此外，此外，在華為部署的物聯網、智能座艙、智能駕駛等領域，盤古大模型有望得到應用，為這些領域提供在華為部署的物聯網、智能座艙、智能駕駛等領域，盤古大模型有望得到應用，為這些領域提供更加智能化的技術支持。更加智能化的技術

5、支持。比如，華為在 MWC19 期間宣布，華為終端將實施 1+8+N 全場景戰略，“1 個太陽”指的是手機，“8 個行星”指的是平板、TV、音響、眼鏡、手表、車機、耳機、PC 八大業務，而“N個衛星”指的是移動辦公、智能家居、運動健康、影音娛樂及智能出行各大板塊的延伸業務。提高手機這一入口的智能化水平，提供語音識別、人機交互，有助于豐富用戶的“全家桶”設備體驗。比如在智能駕駛中，大模型可用于提升自動駕駛系統的智能控制和決策能力，優化車輛的智能駕駛功能。EYaXlYlXfZkXvUvUtWaQ8QaQmOnNmOtQfQqQrNeRpPzQ9PsQnOvPpNmQwMnPmQ 3/21 2023

6、 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 3、盤古大模型架構、盤古大模型架構 盤古大模型呈金字塔架構，算力為底層支撐。二、二、鯤鵬鯤鵬+昇騰搭建基礎昇騰搭建基礎 AI 算力算力 小模型到大模型成為重要發展趨勢，大模型對軟硬平臺提出更高要求。小模型到大模型成為重要發展趨勢，大模型對軟硬平臺提出更高要求。1）大模型能夠解決 AI 模型定制化和應用開發碎片化，可以吸收海量的知識，提高模型的泛化能力，減少對領域數據標注的依賴。2）大模型有利于激活深度神經網絡對大規模無標注數據的自監督學習能力，同時對于 AI 框架的深度優化和并行能力都有很高的要求，是深度學習框架下將 AI 做到

7、極致的集大成者。除模型本身的優化外，盤古的優異性能依賴于基礎算力設施、除模型本身的優化外，盤古的優異性能依賴于基礎算力設施、AI 專用框架與平臺的搭建。專用框架與平臺的搭建。1）算力：鯤鵬 CPU+昇騰 GPU 提供底層算力支撐，同時還基于華為 CANN 采用了算子量化、算子融合優化等技術，將單算子性能提升 30%以上。2）全場景 AI 框架：華為 MindSpore 創新性地采用了“流水線并行、模型并行和數據并行”的多維自動混合并行技術，大幅降低了手動編碼的工作量，并提升集群線性度 20%。3）4/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 AI 平臺：M

8、odelArts 平臺提供 E 級算力調度，同時結合物理網絡拓撲，提供動態路由規劃能力，為大模型訓練提供了最優的網絡通信能力。華為以鯤鵬和昇騰作為根基，打造華為以鯤鵬和昇騰作為根基，打造“一云兩翼雙引擎一云兩翼雙引擎”的計算產業布局，持續構建開放生態。的計算產業布局，持續構建開放生態。其中，雙引擎指圍繞“鯤鵬”與“昇騰”打造的兩個基礎芯片族，構筑異構的計算架構。華為已成為同時擁有“CPU、NPU、存儲控制、網絡互連、智能管理”5 大關鍵芯片的廠商。1、鯤鵬鯤鵬 鯤鵬包括服務器和鯤鵬包括服務器和 PC 機芯片。機芯片。鯤鵬 920 是業界首顆 64 核的數據中心處理器，性能比業界主流處理器高 2

9、5%、內存帶寬高 60%；同時把 CPU、橋片、網絡和磁盤控制器“4 合 1”。鯤鵬處理器走到現在已歷時十多年。華為認為，最強算力的通用服務器需要具備至少 64 核、8 個內存通道、PCIe4.0、多合一SoC、xPU 高速互聯、100GE 高速 I/O 等六個特征。5/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 2、昇騰昇騰 昇騰計算產業是基于昇騰系列處理器和基礎軟件構建的全昇騰計算產業是基于昇騰系列處理器和基礎軟件構建的全棧棧 AI 計算基礎設施、行業應用及服務。主要計算基礎設施、行業應用及服務。主要昇騰系列芯片、系列硬件、芯片使能昇騰系列芯片、系列硬件

10、、芯片使能、CANN（異構計算架構）、（異構計算架構）、AI 計算框架、應用使能計算框架、應用使能等。等。（1）硬件系統）硬件系統 昇騰，基于華為自研昇騰，基于華為自研 DaVinci 架構的架構的 AI 處理器，可應用于訓練和推理場景；昇騰處理器，可應用于訓練和推理場景；昇騰 910 訓練芯片與英訓練芯片與英偉達偉達 A100 算力基本相當，昇騰算力基本相當，昇騰 310 推理芯片，功耗僅推理芯片，功耗僅 8W。華為 Atlas 人工智能計算解決方案基于昇騰系列 AI 處理器，通過模塊、板塊、小站、服務器、集群等豐富的產品形態，打造面向“端、邊、云”的全場景 AI 基礎設施方案，涵蓋數據中心

11、解決方案、智能邊緣解決方案。6/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 華為擁有性能國內領先的訓練、推理卡。華為擁有性能國內領先的訓練、推理卡。華為 Atlas 300T Pro 訓練卡配合服務器，為數據中心提供強勁算力的 AI 加速卡，單卡可提供最高 280 TFLOPS FP16 算力，加快深度學習訓練進程。華為 Atlas 300I Pro 推理卡單卡最大提供 140 TOPS INT8 算力，為數據中心推理提供更強大支持支持 8 core*1.9GHz CPU 計算能力。（2）昇騰計算基礎軟件體系昇騰計算基礎軟件體系 昇騰計算基礎軟件體系包括異構

12、計算架構 CANN 以及對應的驅動、運行時、加速庫、編譯器、調試調優工具、開發工具鏈 MindStudio 和各種運維管理工具等，開放給廣大的開發者和客戶。CANN 通過提供多層次的編程接口，以全場景、低門檻、高性能的優勢，支持用戶快速構建基于平臺的AI 應用和業務。在推理部署方面，昇騰 AI 在 MindStudio 中提供了分布式推理服務化、模型輕量化、動態加密部署三方面能力，通過多機多卡分布式推理，可以大幅提高計算吞吐量。（3）MindSpore（AI 框架）框架）超大規模超大規模 AI 對對 AI 框架提出新的挑戰?？蚣芴岢鲂碌奶魬?。即使單卡算力實現突破，對于大規模模型及訓練數據，僅依

13、靠單卡的內存與算力，不但訓練時間過長，不確定性也會隨之加大，因此大規模模型的訓練通常需要使用 7/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 多機多卡來實現，同時也衍生出算力單元之間的通信問題。超大規模 AI 對 AI 框架提出的挑戰可以概括為如下六堵墻：1）內存墻：以鵬程 盤古大模型為例，參數量 200B，模型訓練過程中需要存儲參數、激活、梯度、優化器狀態，一個模型的訓練就需要占用近 4TB 的內存。業界主流訓練卡，如昇騰 910，一張卡的內存是32GB，也就是說需要 100 多張卡才能跑一個模型。2）計算墻：鵬程 盤古 200B 參數量的大模型，需要 3

14、.6E23 FLOPS 算力，即使能把昇騰 910 256T 的理論算力發揮出來，也需要 44 年才能訓練完。3）通信墻：大模型并行切分到集群后，模型切片之間會產生大量通信，從而產生通信瓶頸。只有綜合考慮參數量、計算量、計算類型、集群網絡帶寬拓撲等，才能設計出性能較優的并行切分策略。4）效率墻：算法的分布式并行開發一直是并行計算領域的一大難題，如何讓用戶高效編寫分布式并行的代碼，也是各種 AI 框架研究的重點和難點；在 HPC 時代是 MPI 編程范式，大數據時代是MapReduce 編程范式，而超大規模 AI 時代需要建立新的編程范式。5）調優墻：昇騰 E 級算力集群有 4096 個節點，在

15、 E 級算力集群上訓練一個千億參數規模的模型，節點之間的通信關系非常復雜，要保證計算的正確性、性能和可用性，手動調試難以全面兼顧，需要一個自動化及可視化的集群分析工具。6）部署墻：超大規模 AI 從訓練到部署需要一個轉換，同樣以鵬程 盤古大模型為例，訓練時用了千卡，云上推理部署需要 64 卡，中間需要把千卡的訓練無縫地轉接到 64 卡的推理。同時，為了進一步降低推理成本，需要把模型進行壓縮，實現一張卡就能運行。分布式并行實現算力增強、數據處理加速和模型訓練。業界主流的分布式并行類型包括數據并行、模型分布式并行實現算力增強、數據處理加速和模型訓練。業界主流的分布式并行類型包括數據并行、模型并行和

16、混合并行三種，圍繞切分的內容（數據切分、模并行和混合并行三種，圍繞切分的內容（數據切分、模型切分）來劃分。型切分）來劃分。昇思昇思 Mindspore 是華為推出的全場景深度學習框架。是華為推出的全場景深度學習框架。人工智能領域的技術創新和產業發展，都離不開深度學習框架和平臺。從 2010 年以前的深度學習開源框架 Theano、Torch 的發布，到 2015 年谷歌發 8/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 布 TensorFlow 并風靡全球，再到近兩年中國國產框架陸續發布并占有一席之地，開源深度學習框架市場不斷推陳出新。在 2020 年的華為

17、開發者大會上，華為自研的 MindSpore 深度學習框架正式開源，與外海主流的 TensorFlow、國內百度研發的 PaddlePaddle 等業內主流框架共同組成了中國人工智能創新的重要基礎設施。Mindspore 旨在實現易開發、高效執行、全場景覆蓋三大目標。旨在實現易開發、高效執行、全場景覆蓋三大目標。正如“昇思”兩個字的含義，“昇”代表昇思是昇騰計算產業的重要組成，結合昇騰發揮極致性能，“思”代表著昇思深度思考產業界技術演進方向致力于打造最佳體驗的 AI 框架。昇思 MindSpore 支持端、邊、云等不同場景下的靈活部署，提供了Python 編程范式簡化 AI 編程，動靜圖統一等

18、編碼方式優化調試方式。Mindspore 還包括了多個領域套件、模型庫、工具組件和安全增強庫，以及可視化調試調優工具，并提供了友好的設計和高效的執行，旨在提升數據科學家和算法工程師的開發體驗，并為昇騰 AI 處理器提供原生支持，以及軟硬件協同優化。MindSpore 支持多維度混合并行。支持多維度混合并行。MindSpore 是業界首個支持全自動并行的框架，MindSpore 多維度自動并行，通過數據并行、算子級模型并行、Pipeline 模型并行、優化器模型并行、異構并行、重計算、高效內存復用，及拓撲感知調度，實現整體迭代時間最?。ㄓ嬎銜r間+通信時間）。編程接口高效易用，實現了算法邏輯和并行

19、邏輯解耦，串行代碼自動分布式并行。此外，MindSpore 通過多維度混合并行，解決了模型及集群的 Scale Out 問題，實現了訓練到推理模式的快速切換。以鵬程 盤古為例，鵬程 盤古是最大的稠密形式的中文預訓練語言模型，擁有 200B 參數，訓練時使用了 2048 卡，推理時需要 64 卡。并行訓練模式采用了數據并行、模型并行、優化器并行、流水并行、重計算等，而推理時只需采用模型并行和流水并行?；?MindSpore 的分布式并行能力，鵬程 盤古可自動從分布式訓練模式轉換成分布式推理模式，并實現服務化封裝，可以對外提供 RESTful 接口，支持快速上線大模型服務。9/21 2023 年

20、年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 MindSpore 平臺的強大能力助理國產大模型發展。平臺的強大能力助理國產大模型發展。因昇思 MindSpore 具備豐富的并行能力，能輕松完成 4096 卡集群、萬億參數規模的訓練任務，因此支撐了國內多個領域首發大模型的訓練，這些大模型涉及知識問答、知識檢索、知識推理、閱讀理解、文本/視覺/語音多模態、生物制藥、遙感、代碼生成等?；?Transformer Encoder、Transformer Decoder、MOE、乃至 Clip 與 Diffusion 的結構的大模型，均可以基于昇思 MindSpore AI 框架訓練。

21、從應用實例來從應用實例來看：看：在互聯網領域在互聯網領域，華為云 ModelArts 基于算法優化、語音質檢等途徑，有效提升了 T3出行司乘安全檢測模型的準確率和召回率，使危險駕駛事件率下降 38.6%，同時大幅降低模型開發和交付周期。在自動駕駛領域來看在自動駕駛領域來看，針對 AI 算法訓練，華為云 ModelArts 支撐端到端訓練效率提升；分布式多級緩存技術可以將訓練時長縮短 50%；針對大規模集群訓練，拓撲感知調度和動態軟路由技術可以提升訓練性能 30%。昇思昇思 MindSporeAI 計算架構位居計算架構位居 AI 框架第一梯隊?？蚣艿谝惶蓐?。按照 Papers with Code

22、 網站的統計數據，2022年使用昇思 MindSpore 的頂級會議論文已經超過 600 篇，在國內 AI 框架中排名第一，在全球范圍內僅次于 PyTorch。（4）應用使能應用使能層層 昇騰應用使能 MindX，可以支持上層的 ModelArts 和 HiAl 等應用使能服務，同時也可以支持第三方平臺提供應用使能服務。行業應用是面向干行百業的場景應用軟件和服務，圍繞昇騰計算體系，誕生了大量優秀的應用比如互聯網推薦、自然語言處理、視頻分析、圖像分類、目標識別、語音識別、機器人等各種場景，昇騰計算產 10/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 業也擁抱各

23、種云服務場景，支持 Iaas，Paas，SaaS 等多種云服務模式，同時，端邊云協同的能力，會原生的構建在整個技術架構中，推動昇騰計算成為全場景的 AI 基礎設施。ModelArts 便于用戶快速創建和部署模型。便于用戶快速創建和部署模型。一個 AI 商業化項目要經過數據標注、算法、訓練、應用等多個步驟，華為通過 ModelArts，將流程全面打通，并簡化提效，使得開發者能夠專注于模型本身的開發與優化。ModelArts 是面向 AI 開發者的一站式開發平臺，提供海量數據預處理及半自動化標注、大規模分布式訓練、自動化模型生成及端-邊-云模型按需部署能力，幫助用戶快速創建和部署模型，管理全周期

24、AI 工作流?！耙徽臼健笔侵?AI 開發的各個環節，包括數據處理、算法開發、模型訓練、模型部署都可以在 ModelArts 上完成。從技術上看，ModelArts 底層支持各種異構計算資源，開發者可以根據需要靈活選擇使用，而不需要關心底層的技術。同時，ModelArts 支持 Tensorflow、PyTorch、MindSpore 等主流開源的 AI 開發框架，也支持開發者使用自研的算法框架。三三、L0：基礎大模型基礎大模型 1、盤古盤古 NLP 大模型：中文理解和下游應用能力優異大模型：中文理解和下游應用能力優異 11/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告

25、研究報告 在 2021 年 4 月的 HDC.Cloud 大會上，盤古 NLP 大模型發布，其由華為云和循環智能聯合開發的，由鵬城實驗室提供算力支持。盤古盤古 NLP 大模型是業內首個千億參數的中文大模型，性能優異。大模型是業內首個千億參數的中文大模型，性能優異。在預訓練階段，NLP 大模型學習超過40TB 行業文本數據和 400 萬小時的行業語音數據，具有 1100 億參數，具備強大的通用中文知識儲備。同時通過行業數據的小樣本調優，帶來具體場景中的應用性能提升。從性能角度來說，盤古從性能角度來說，盤古 NLP 大模型兼顧生成能力與理解能力。大模型兼顧生成能力與理解能力。從模型結構出發，有別于

26、其他企業訓練的 NLP 大模型，盤古看重的不僅是大模型有生成能力，還要有更強的理解能力，因此華為采用了Encoder 和 Decoder 的架構，來保證盤古大模型在生成和理解上面的兩個性能。在權威的中文語言理解評測基準 CLUE 榜單中，盤古 NLP 大模型發布之時，在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀錄；總排行榜得分約為 83.05，多項子任務得分業界領先，向人類水平（85.61）邁進了一大步。盤古 NLP 大模型通過遷移學習實現少樣本學習的目標，將 P-tuning、priming 等最新技術融入到盤古的微調框架中，進一步提升微調效果，通過龐大的行業知識庫進行訓

27、練，使其更適合在復雜商用場景下使用。在當時，盤古的微調對模型提升的能力甚至超過了 GPT-3。盤古盤古 NLP 大模型兼顧通用知識和行業經驗。大模型兼顧通用知識和行業經驗。盤古 NLP 大模型在預訓練階段沉淀了大量的通用知識，同時也可以通過少樣本學習對意圖進行識別，轉化為知識庫和數據庫查詢。通過功能的模塊化組合支持行業知識庫和數據庫的嵌入，進而對接行業經驗，使能全場景的快速適配與擴展。比如在華為云和循環智能合作構建的金融客服場景中，盤古 NLP 大模型能更好地賦能銷售環節，幫助服務人員快速提升業務水平，重塑消費者體驗。2、鵬程鵬程盤古盤古 NLP 大模型：全球首個開源的大模型：全球首個開源的

28、2000 億參數的中文大模型億參數的中文大模型 12/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 2021 年 5 月的華為生態大會 2021 上，超大模型“鵬程 盤古”重磅亮相，由鵬城實驗室聯合相關技術團隊開發。其基于其基于 Transformer 的的 Decoder 架構設計，最大版本參數量達架構設計，最大版本參數量達 2000 億。億。以鵬城實驗室為首的聯合團隊在基于昇騰 910 芯片的 E 級智能算力平臺（鵬城云腦 II）上訓練了全球首個全開源 2000 億參數的自回歸中文預訓練語言大模型：鵬程 盤古。其基于 Transformer 的 Decod

29、er 架構改進而來，分為 26 億、131 億、2070 億三個版本。其收集了不同來源的海量數據，并通過數據預處理方式提升數據質量，其收集了不同來源的海量數據，并通過數據預處理方式提升數據質量，以滿足大模型的數據需求。以滿足大模型的數據需求。收集了包含開放數據集、ommon Crawl 原始網頁數據、百科數據、新聞數據、電子書籍等近 80TB 的原始數據。先通過基于規則的數據清洗、基于模型的過濾、數據去重等數據預處理方式，再通過人工和模型分別對數據質量進行評估，并且通過不斷迭代前兩個步驟來提升數據質量，最終形成了 1.1TB 的高質量訓練數據集。為實現在下游任務中廣泛而高效的應用，進一步做出了

30、以下改進：為實現在下游任務中廣泛而高效的應用，進一步做出了以下改進：1）通過模型壓縮的方式降低模型參數，最終使顯存占用降低 50%，系統性能波動僅為 2%左右。2）將模型從 Mindspore 框架成功移植到PyTorch 框架下。3）設計并開放了在線體驗服務，目前已處理上萬條用戶請求。在在 26 億參數的基本版的基礎上優化迭代推出了增強版，在相對小的參數規模上具有優越的性能。億參數的基本版的基礎上優化迭代推出了增強版，在相對小的參數規模上具有優越的性能。通過創新應用多任務學習、任務統一格式、提示微調和持續學習技術，對基本版模型進行能力擴展和增強，使模型性能得到大幅提升。形成基于鵬程 盤古模型

31、進行提示微調和持續學習的應用新范式，更好地識別用戶的任務說明，同時能盡量保持模型的原始生成能力。參數量為 26 億規模，在中英文翻譯、開放域知識問答、文本分類、摘要生成等方面的能力提升顯著，在一張 V100 GPU 卡上就可以完成多路并行推理。3、盤古盤古 CV 大模型：整合三大功能，應用效果佳大模型：整合三大功能，應用效果佳 13/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 在在 2021 年年 4 月的月的 HDC.Cloud 大會上，盤古大會上，盤古 CV 大模型發布，提供三方面功能，在落地應用方面具大模型發布，提供三方面功能，在落地應用方面具有較強優

32、勢。有較強優勢。盤古 CV 大模型是一個超 30 億參數的 CV 大模型，預訓練時輸入了 10 億級圖像，能同時滿足底層圖像處理與高層語義的理解需求。在功能方面，盤古 CV 大模型提供了大模型預訓練、大模型部署和大模型迭代三個功能：（1）在預訓練中）在預訓練中，盤古 CV 大模型中包含了數據處理、架構設計和模型優化三個步驟，支持層次化空間特征聚合、監督式對比語義調整等算法，可以將圖像的表征效率提升數千倍。（2）在大模型部署中）在大模型部署中，盤古 CV 大模型中專門設計了模型抽取和知識蒸餾算法，能夠根據用戶需求抽取高效子模型，并且確保將大模型學習到的知識最大限度地傳遞給子模型。（3）在大模型迭

33、代中）在大模型迭代中，盤古 CV 大模型配備了數據挖掘和增量學習模塊，其中的一比特監督學習、雙向自步學習等算法能夠減少 90%以上的人力干預；同時類別增量、難例增量學習等技術也能夠在增量學習過程中減少 90%以上的算力消耗。配合基于圖網絡的模型融合技術，盤古 CV 大模型最終可實現閉環迭代，模型的泛化能力也會在使用過程中逐漸增強。盤古盤古 CV 大模型首次兼顧了圖像判別與生成能力，捕捉樣本決定性信息。大模型首次兼顧了圖像判別與生成能力，捕捉樣本決定性信息。1）圖像中精準識別層次化的信息非常重要，例如“如何區分白色貓和白色狗的圖片”，白色不是最重要的信息，動物才是圖片中起決定性的信息。把握好圖片

34、中層次化的信息，能夠快速的定位到圖片中哪部分信息是起決定作用的，讓算法以自適應的方式去關注比較重要的地方或內容，這樣就容易捕捉樣本之間的關系。2）盤古 CV 首次兼顧了圖像判別與生成能力，能同時滿足底層圖像處理與高層語義的理解需求，同時能夠融合行業知識的微調，快速適配各種下游任務。盤古盤古 CV 大模型服務于智能巡檢、智慧物流等場景。大模型服務于智能巡檢、智慧物流等場景。盤古 CV 大模型在電力巡檢行業中已實現行業應用，助力國家電網。它利用海量無標注電力數據進行預訓練，并結合少量標注樣本微調的高效開發模式，節省人工標注時間。在模型通用性方面，結合盤古搭載的自動數據增廣以及類別自適應損失函數優化

35、策略，大幅降低了模型維護成本。14/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 4、多模態領域研究進展：從模型設計和數據集層面推進多模態大模型發多模態領域研究進展：從模型設計和數據集層面推進多模態大模型發展展 多模態大模型具備圖像和文本的跨模態理解、檢索與生成能力，通過跨模態語義關聯實現視覺-文本-語音多模態統一表示，采用一個大模型即可靈活支撐圖-文-音全場景 AI 應用，可用于產品設計、藝術創作、語音播報、海報創作等領域。紫東太初是中科院自動化所與 MindSpore 社區聯合打造的全球首個圖、文、音三模態大模型，于2021 年 9 月發布。紫東太初大模型

36、首次實現語音生成視頻功能，開拓性地實現了圖-文-音語義統一表達，同時兼具跨模態理解和生成能力。紫東紫東.太初將文本太初將文本+視覺視覺+語音各個模型高效協同，實現超強性能，語音各個模型高效協同，實現超強性能，在圖文跨模態理解與生成性能上都能領先目前業界的 SOTA 模型，高效完成跨模態檢測、視覺問答、語義描述等下游任務。模型的視頻理解與描述性能在 2021 年 ACM Multimedia（國際多媒體大會）和 ICCV（國際計算機視覺大會）兩項人工智能領域國際頂會的視頻語義理解與視頻描述中均展現出當前最高水準。2022 年 11 月，發布論文FILIP:FINE-GRAINED INTERAC

37、TIVE LANGUAGE-IMAGE PRE-TRAINING，通過細粒度交互的語言-圖像預訓練提升預訓練效率。通過一種跨模態后期交互機制，FILIP 實現了較為精細的圖文對齊（CLIP 和 ALIGN 僅通過每個模態的全局特征的相似性來模擬跨模態 15/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 交互）。這種跨模態后期交互機制通過最大化 token 級別的圖文相似度來引導對比學習的訓練目標進行訓練。FILIP 成功地利用了圖像塊和文本單詞之間的細粒度表達，在多個下游任務中取得最佳性能，同時提升了大規模訓練和推理的效率。2022 年 10 月，發布論文Wu

38、kong:A 100Million Large-scale Chinese Cross-modal Pre-training Benchmark開源首個億級中文多模態數據集-悟空，填補中文社區數據空白。Clip 等模型的推出展現了視覺和語言兩種模態聯合訓練的潛力，但在中文領域缺乏兼具數量和質量的大型跨模態數據集?！拔蚩铡钡某霈F使這一情況得以改善，其包含來自網絡的 1 億個中文圖文對。還采用基于圖像和基于文本的過濾策略來進一步完善悟空數據集，使其成為了迄今為止最大的中文視覺語言跨模態數據集。四四、L1：行業大模型：行業大模型 1、氣象大模型氣象大模型：業內首個精度超過傳統數值預報方法的氣象預測模

39、型：業內首個精度超過傳統數值預報方法的氣象預測模型 氣象預報精度首次超過傳統數值方法，速度提升氣象預報精度首次超過傳統數值方法，速度提升 1000 倍。倍。盤古氣象大模型提供秒級天氣預報，例如重力勢、濕度、風速、溫度，氣壓等變量的 1 小時-7 天預測。借助創新的 3DEST 網絡結構以及分層時間聚合算法，盤古氣象大模型在氣象預報的關鍵要素（例如，重力勢、濕度、風速、溫度等）和常用時間范圍上（從一個小時到一周）精度均超過當前最先進的預報方法。盤古氣象大模型在一張 V100 顯卡上只需要 1.4 秒就能完成 24 小時的全球氣象預報，速度相比傳統方法提升 1000 倍以上。盤古氣象大模型支持廣泛

40、的下游預報方案，盤古氣象大模型支持廣泛的下游預報方案，如在臺風路徑預測任務上，相比傳統數值氣象預報方法，盤古氣象大模型可以降低 20%以上的位置誤差。如右下圖所示，紅色軌跡為盤古大模型預測的臺風線路，黑色為臺風的實際運行線路，藍色為傳統方法 ECMWF-HRES 預測的臺風線路。盤古大模型的預測精確度比 ECMWF-HRES 高出不少，預測十分精確。2、礦山大模型：盤活工業數據，助力礦山行業顯著實現降本增效礦山大模型：盤活工業數據，助力礦山行業顯著實現降本增效 16/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 覆蓋廣泛細分場景，助力礦山行業降本增效。覆蓋廣泛

41、細分場景，助力礦山行業降本增效?；诒P古 CV 模型開發的盤古礦山大模型旨在解決 AI 在煤礦行業落地難、門檻高等問題，只需導入海量無標注的礦山場景數據進行預訓練，盤古礦山大模型即可進行無監督自主學習，僅一個大模型就能覆蓋煤礦的采、掘、機、運、通等業務流程下的 1000 多個細分場景，讓 AI 應用在煤礦普及更容易。在主運場景中，基于盤古礦山大模型的 AI 主運智能監測系統能夠精準識別大塊煤、錨桿等異常情況，異物識別準確率達 98%。此外，相較于人工巡檢，盤古礦山大模型實現了全時段巡檢，幫助工作人員及時地發現問題，避免因漏檢造成的安全事故，縮短停機時間，同時提升井下巡檢人員的工作效率。在掘進場

42、景中，基于盤古礦山大模型的掘進作業序列智能監測，動作規范識別準確率超過 95，用規范的 AI 流程來替代不確定的人工流程，讓 AI 成為礦工規范作業的好幫手，保障井下作業安全。3、藥物分子大模型：開啟藥物分子大模型：開啟 AI 藥物研發新模式藥物研發新模式 創新藥研發資金及時間成本極高，篩選失敗率高，為解決以上痛點，創新藥研發資金及時間成本極高，篩選失敗率高，為解決以上痛點，2021 年年 9 月，華為正式發布華為月，華為正式發布華為云盤古藥物分子大模型。云盤古藥物分子大模型。依托華為云一站式醫療研發平臺 EIHealth，盤古藥物分子大模型學習了 17 億個藥物分子的化學結構，具有以下三大技

43、術和創新能力：1）提出了針對化合物表征學習的全新深度學）提出了針對化合物表征學習的全新深度學習網絡架構習網絡架構。參考化學領域的化合物分子表達形式及轉換方式，華為云盤古藥物分子大模型首次采用“圖-序列不對稱條件變分自編碼器”架構，可自動找出化合物關鍵的分子特征指紋，極大提升了下游任務的準確性。2）進行了超大規?；衔锉碚髂Ｐ陀柧殻┻M行了超大規?；衔锉碚髂Ｐ陀柧?。華為云盤古藥物分子大模型對市面上真實存在的17 億個藥物分子的化學結構進行預訓練，在化學無監督學習模式下，實現結構重構率、合法性、唯一性等指標全面優于現有方法。3）生成了擁有生成了擁有 1 億個新化合物的數據庫億個新化合物的數據庫。華

44、為云盤古藥物分子大模型的分子生成器生成了 1 億個創新的類藥物小分子篩選庫，其結構新穎性為 99.68%，并且可以有效地生成理化性質相似的新化合物，為發現新藥創造可能性。17/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 五五、L2：細分場景模型：細分場景模型 目前目前 L2 細分場景模型細分場景模型主要主要包含包含 OCR 金融大模型，其覆蓋了通用文字識別場景。金融大模型，其覆蓋了通用文字識別場景。OCR 金融大模型金融大模型精度高，覆蓋通用文字識別場景。精度高，覆蓋通用文字識別場景?；谌A為盤古多模態大模型，OCR 金融大模型解決了 OCR 領域算法普適性

45、不強的問題，通過獨有的對比學習與掩膜圖像建模相融合的自監督學習方法，學習并充分利用大規模的無標簽數據，實現一個模型覆蓋多個領域的全部通用文字識別場景，并將標注工作量降低 90%。此外，盤古 OCR 大模型在 11 項經典數據集測試中取得顯著的精度提升，而且與原本領先的文字識別算法相比，盤古 OCR 大模型的精度平均提升 5%以上。企業可自主構建企業可自主構建 OCR 服務構建能力。服務構建能力。盤古金融 OCR 大模型可以平滑蒸餾出體積相差 1000 倍的大、中、小模型，滿足在多種設備上高效運行的使用條件，覆蓋金融、零售、電商、地產等行業的新型單據、卡證、表格的識別需求。此外，華為云盤古 OC

46、R 大模型能夠提供二次訓練能力，企業可在通用模型基礎上快速訓練出適應業務場景的新模型，讓企業自主掌握 OCR 服務構建能力。六六、產業鏈及產業鏈及相關公司相關公司 1、產業鏈概述、產業鏈概述 從華為大模型產業鏈來看，華為盤古大模型處于產業鏈中游。產業鏈上游包括盤古大模型的硬件供應商、服務提供商，下游為盤古大模型的應用。18/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 硬件供應上，硬件供應上，算力硬件包含企業廣電運通廣電運通；連接器包含企業意華股份意華股份；桌面云終端包含企業星網銳捷星網銳捷；光器件包含企業光迅科技光迅科技、華工科技華工科技。服務提供上，服務提

47、供上，網絡規劃建設包含的企業有特發信息特發信息；網絡管維企業有潤建股份潤建股份；IDC 建設企業有光環新光環新網網。行業應用合作伙伴中，行業應用合作伙伴中，AI 應用包含企業創維數字創維數字；華為生態包含企業初靈信息初靈信息（鴻蒙）、天源迪科天源迪科（鯤鵬）；云通信包含企業彩訊股份彩訊股份、夢網科技夢網科技；云計算包含企業光環新網光環新網。2、上下游相關公司上下游相關公司（1）廣電運通廣電運通 金融機具龍頭。金融機具龍頭。公司包括金融科技和城市智能兩大主營業務，（1）金融科技方面，公司連續 14 年位居國內金融機具市占率第一，是國內金融機具的龍頭企業，提供 ATM、清分機、智能業務庫等一系列產

48、品；（2）城市智能方面，公司提供“智能終端+大數據”提供對應解決方案，構建智能安防、智能交通、智慧民生等多項業務場景。公司旗下廣電五舟具備研發和生產服務器、公司旗下廣電五舟具備研發和生產服務器、PC 等多種算力產品的能力。等多種算力產品的能力。公司旗下廣電五舟提供國內高性能計算產品及解決方案、云服務器全系列產品、邊緣計算和軟硬一體化產品、智能計算產品、自主研發的存儲產品和行業解決方案，目前產品廣泛應用于政府、教育、網絡安全、科研、人工智能、互聯網等行業及領域。作為華為鯤鵬整機合作伙伴和昇騰 AI 戰略伙伴，依托華為鯤鵬和昇騰 AI 等軟硬件技術支持，廣電五舟目前已推出華為鯤鵬、昇騰廣電五舟目前

49、已推出華為鯤鵬、昇騰系列服務器、信創有為系列產品、自主研發的存儲產品、系列服務器、信創有為系列產品、自主研發的存儲產品、PC、云終端和行業解決方案等，深度融入昇騰、云終端和行業解決方案等，深度融入昇騰 AI 生態體系。生態體系。（2）星網銳捷星網銳捷 國內領先的國內領先的 ICT 基礎設施及基礎設施及 AI 應用方案提供商。應用方案提供商。星網銳捷成立于 2000 年，并于 2010 年在 A 股上市。公司致力于在智慧網絡、智慧云、智慧金融、智慧通訊、智慧物聯、智慧娛樂、智慧社區等領域扎根，為企業級客戶提供信息化解決方案。2022 年，公司實現營收 157.41 億元，同比增長 16.18%；

50、實現歸母凈利潤 5.76 億元，同比增長 6.37%。公司主營業務分為智慧網絡、智慧云、智慧通訊、視頻信息應用、智慧社區、車聯網及通訊模組等六大業務板塊，其中智慧網絡板塊主要由銳捷網絡（2022 年上市）負責。根據 IDC 數據，2022 年銳捷網絡在中國以太網交換機市占率排名第三；在中國數據中心交換機市占率排名第三；在中國企業級 WLAN 市占率排名第三，其中 Wi-Fi6 產品出貨量排名第一。子公司升騰資訊推出子公司升騰資訊推出 R2232A 鯤鵬服務器，打造鯤鵬桌面云方案。鯤鵬服務器，打造鯤鵬桌面云方案。升騰資訊成立于 2002 年，為公司全資子公司，主要經營桌面云、智慧營業廳解決方案和

51、云支付三大業務，具有全系列桌面云產品，包括云方案、云終端、云服務器、存儲器和交換機。在華為全連接大會（2019）上，升騰資訊發布了首款鯤鵬桌面云方案，該方案基于鯤鵬處理器的終端整機和服務器，以及威訊云平臺，構建最新一代的鯤鵬桌面云方案，方案能夠實現彈性調配云端和終端資源，敏銳感知用戶需求，同時具備數據不落地的特性，為客戶提供安全、易用的桌面云 2.0 解決方案，全面滿足政務辦公等各類場景的云上辦公體驗。根據IDC 報告，2021 年升騰威訊桌面云終端出貨量市占率達 20.3%，連續 4 年位列第一。（3）創維數字創維數字 機頂盒及寬帶接入領域龍頭。機頂盒及寬帶接入領域龍頭。創維數字成立于 20

52、02 年，于 2014 年深圳 A 股上市，是國內機頂盒及寬帶接入領域行業龍頭。公司主營業務為全球用戶提供全面系統的超高清終端呈現、寬帶網絡連接和超高 19/21 2023 年年 4 月月 7 日日 行業行業|深度深度|研究報告研究報告 清行業應用綜合解決方案，主要產品有智能盒子終端、寬帶網絡通訊連接設備、汽車電子及車聯網、物聯網等系列產品及運營與服務，基于國內外運營商客戶的定制化需求，提供對應解決方案、系統集成及終端產品，其中數字機頂盒終端為公司核心產品。公司與華為云合作緊密，目前公司與華為在公司與華為云合作緊密，目前公司與華為在 AI 技術技術的一些垂直領域有相關的交流和應用。的一些垂直領

53、域有相關的交流和應用?！半p千兆雙千兆”帶動寬帶連接業務營收增長。帶動寬帶連接業務營收增長。在寬帶網絡“雙千兆”趨勢下，國內寬帶連接設備已開始升級換代，公司寬帶連接產品多次中標運營商集采招標項目，份額顯著提升。近年來公司寬帶業務增速亮眼，中標情況喜人，在中國移動 2022-2023 年智能家庭網關產品集中采購（第一批次）的五個采購包均有中標。（4）光迅科技光迅科技 光迅科技是國內少有的布局芯片光迅科技是國內少有的布局芯片-模塊模塊-系統全產業鏈的光通信廠商。系統全產業鏈的光通信廠商。公司產品主要包括無源光器件、光纖放大器、光模塊等，涵蓋固網接入和無線接入，廣泛應用于數據中心和電信市場。公司作為國

54、內少有的自主研發光芯片的企業，可以有效改善自身光器件、光模塊等產品的生產成本，擴大盈利空間。公司布局硅光領域光芯片及光模塊，已可提供公司布局硅光領域光芯片及光模塊，已可提供 100G、400G 硅硅光芯片方案。光芯片方案。公司擁有 PLC（平面光波導）、III-V、SiP（硅光）三大光電芯片平臺，其中硅光芯片平臺支持直接調制和相干調制方案。2018年，由公司依托國家信息光電子創新中心、光纖通信技術和網絡國家重點實驗室、中國信息通信科技集團聯合研制的“100G 硅光收發芯片”成功投產，可實現 100G/200G 全集成硅基相干光收發集成芯片和器件的量產。目前，公司 100G 硅光模塊已實現量產，

55、并可提供 400G 的硅光芯片方案，公司 400G 客戶包括 BAT 和華為。2021 年 12 月，公司聯合國家信息光電子創新中心、鵬城實驗室等宣布完成 1.6T/s硅基芯片的聯合研制和功能驗證，實現了我國硅光芯片向 Tb/s 級的首次跨越。（5）特發信息特發信息 特發信息主營光纖光纜、通信設備、軍工信息化及智慧服務四大業務板塊。特發信息主營光纖光纜、通信設備、軍工信息化及智慧服務四大業務板塊。其中，通信設備板塊主要由三大子公司負責，光網科技從事光器件研發，特發東智主要通過 ODM 模式進行路由器、機頂盒等網絡終端的生產制造，四川華拓重點負責光模塊的研發與制造。軍工信息化板塊主要由成都傅里葉

56、和神州飛航兩大子公司負責，從事軍工智能終端、軟件、大數據平臺等業務，為各軍兵種提供先進的裝備信息化產品。智慧服務板塊聚焦 5G 時代的基建，提供智慧網絡工程及數據中心的規劃設計、建設施工及運營維護。承接鵬城云腦等多個承接鵬城云腦等多個 AI 項目建設。項目建設。公司曾承接鵬城云腦二期建設集成項目和許昌市中原人工智能計算中心項目工程項目。鵬城云腦主要用于 AI 大模型領域，約 70%的機時服務于鵬城實驗室以外的企業、高校、科研院，已支撐近千個國產 AI 模型的訓練，包括全球首個全開源的兩千億參數中文預訓練語言大模型“鵬程 盤古”、全球首個知識增強千億大模型“鵬城-百度 文心”、性能達國際先進水平

57、的十億參數視覺大模型“鵬程 大圣”等。（6）彩訊股份彩訊股份 產業互聯網解決方案和技術服務提供商。產業互聯網解決方案和技術服務提供商。公司致力于為電信、金融、能源、交通等行業的大中型企業級政府部門等客戶提供基于統一辦公平臺、企業郵件系統、大數據智能分析平臺、一體化營銷資源管理平臺、終端管理平臺、統一認證平臺等產品的互聯網應用平臺的產品開發、系統建設、運維及運營支撐服務，助力各行業的數字化轉型和產業升級，推動傳統產業鏈的降本增效。20/21 2023 年年 4 月月 7 日日行業行業|深度深度|研究報告研究報告 公司是華為首百家鯤鵬公司是華為首百家鯤鵬+昇騰昇騰 ISV 合作伙伴之一；是華為智能

58、計算的安全郵件系統合作伙伴，公司合作伙伴之一；是華為智能計算的安全郵件系統合作伙伴，公司Richmail 郵件產品同時獲得了華為鯤鵬、華為昇騰技術認證。同時彩訊股份與華為是信創領域的合作伙伴，是華為計算的銀牌經銷商，與華為在云通信方面有業務合作。郵件產品同時獲得了華為鯤鵬、華為昇騰技術認證。同時彩訊股份與華為是信創領域的合作伙伴，是華為計算的銀牌經銷商，與華為在云通信方面有業務合作。（7）光環新網）光環新網深耕通信行業多年，深耕通信行業多年，IDC 與云計算業務雙輪驅動。與云計算業務雙輪驅動。公司專注互聯網數據中心服務領域已超過 20 年，積累了豐富的設計、建設與運營管理經驗，目前已成長為國內

59、頭部的 IDC 服務提供商。公司數據中心業務形成了以北京為中心輻射京津冀，以上海為中心輻射長三角及以長沙為中心盤活華中及西部地區發展的戰略，數據中心覆蓋北京、上海、天津、河北燕郊、湖南長沙、新疆烏魯木齊、浙江杭州等七個城市及地區，投產機柜達 4.7 萬個。云計算業務方面，公司是亞馬遜云科技中國（北京）區域運營商，目前已運營近 6 年時間，公司持續完善其本地化業務服務體系，為廣大企業客戶提供領先的、適合中國市場需求的基于亞馬遜云科技的云服務產品。多個數據中心仍在建，云計算業務保持擴張。多個數據中心仍在建，云計算業務保持擴張。公司持續響應國家算力網絡建設號召，在全國各地進行數據中心建設。目前公司在

60、全國范圍內在建及儲備項目規劃機柜數量超過 11 萬個，截止 2022 年上半年，在建工程金額總計 10.6 億元，主要用于數據中心建設；此外，云計算方面，為順應算力網絡的發展趨勢，公司憑借自身在數據中心、云計算以網絡上的優勢，著手進行“云電腦”與“云手機”的研發，并于 2022年下半年起，逐步向市場推出云電腦與云手機服務。公司與華為于 2022 年 6 月簽署了戰略合作協議，雙方未來在低碳數據中心、智能光伏儲能、智慧網絡、鯤鵬、昇騰 AI 計算產業、新型云計算業務等領域開展產品、服務及商業模式創新等方面的全面合作。3、礦山大模型相關公司、礦山大模型相關公司2021 年 3 月，華為成立煤礦軍團

61、，同年 9 月正式發布礦山鴻蒙操作系統，是首個基于鴻蒙系統的商用物聯網操作平臺。截止目前，華為智能礦山業務已與北路智控北路智控、龍軟科技龍軟科技、云鼎科技云鼎科技、梅安森梅安森等多家公司達成合作。4、工業、工業 CV 大模型、大模型、AI+OCR 大模型相關公司大模型相關公司華為在工業 CV 大模型、AI+OCR 大模型實施方面與能科科技能科科技、賽意信息賽意信息、神州信息神州信息等多家公司達成合作。21/21 2023 年年 4 月月 7 日日行業行業|深度深度|研究報告研究報告 七、未來展望七、未來展望 1、大模型有望持續快速迭代、大模型有望持續快速迭代盤古大模型基于 ModelArts

62、開發，NLP/CV 等系列即將上線。能夠認為，盤古大模型背靠 ModelArts 以及華為內外部廣闊應用生態，模型發布后有望持續快速迭代，進一步實現語義理解力、信息生成可靠性等指標的大幅提升。2、盈利模式有望快速成熟、盈利模式有望快速成熟小樣本成本+應用場景，商業化有望加速。公司即將上線的三大模型均已有對應的落地場景，效果提升巨大。憑借 ModelArts 與小樣本甚至零樣本訓練成本大幅降低。能夠認為，盤古大模型兼顧技術創新與商業落地，盈利模式有望快速成熟。八、參考研報八、參考研報 1.中信建投-人工智能行業：華為盤古大模型相關梳理2.東方證券-通信行業：盤古大模型全新版本即將發布，建議關注華為產業鏈標的3.德邦證券-電子行業點評：盤古大模型“開天辟地”，ChatGPT 插件打開應用前景4.浙商證券-電子行業華為產業鏈深度系列研究：華為 AI 盤古大模型研究框架5.東吳證券-計算機行業點評報告：華為盤古大模型產業鏈梳理6.財通證券-計算機行業投資策略周報：華為盤古、昇思、昇騰三箭齊發，GPT4 推動垂直應用顛覆式創新免責聲明：以上內容僅供學習交流，不構成投資建議。