2023國內外主要AI大模型企業分析報告.pdf

《2023國內外主要AI大模型企業分析報告.pdf》由會員分享，可在線閱讀，更多相關《2023國內外主要AI大模型企業分析報告.pdf（50頁珍藏版）》請在三個皮匠報告上搜索。

1、2023 年深度行業分析研究報告 2 正文目錄正文目錄 海外大模型：科技巨頭自主研發，積極聯盟海外大模型：科技巨頭自主研發，積極聯盟 AI 初創公司初創公司.4 如何形成“數據-模型-應用”的飛輪是 AI 大模型企業成功關鍵.4 微軟&OpenAI 領先，谷歌追趕，Meta 防御性開源，英偉達轉型算力云服務.4 科技巨頭正通過其云計算部門，積極尋求與 AI 初創公司的合作.5 OpenAI：全球領先的 AI 初創企業.6 發展歷程：從非營利開端到向營利性全面轉型.6 團隊：年輕、背景豪華且高度聚焦技術.7 算力：強大的算力支撐 GPT 釋放大模型潛能.9 模型：堅持 GPT 技術路徑，持續探索

2、生成式 AI 潛力.9 應用：以產品為導向形成數據飛輪，逐步構建生態圈.10 谷歌：LLM 領域的奠基者.12 發展歷程：從 AI 技術研發的領軍者到產業化進程的推動者.12 團隊：Google DeepMind 匯集谷歌 AI 領域人才.12 算力：TPU 系列芯片和新一代超級計算機支撐 AI 大模型訓練和創新.13 框架：領先的自研深度學習平臺 TensorFlow.14 模型：各技術路線的模型儲備豐富，多模態大模型實現人機交互領域突破.14 應用：積極布局生成式 AI 應用以迎接挑戰.15 英偉達：AI 時代的芯片領路者.17 發展歷程：英偉達的二十年輝煌史.17 團隊：靈魂人物引導產業

3、變革，數次收購完善業務版圖.20 商業模式：深度綁定臺積電走 OEM 模式，輕裝上陣重視研發投入.21 硬件迭代：訓練/推理芯片性能參數持續領先對手.21 軟件：CUDA 構建完整生態，CUDA-X AI 結構拉開巨大差距.22 Meta：AI 和元宇宙雙輪并驅.23 發展歷程：全球最大社交媒體巨頭擁抱元宇宙和 AIGC.23 團隊：AI 人才匯聚，旨在創建 AIGC 頂級產品團隊.23 算力：擁有全球最快 AI 超級計算機 AI RSC，推出自研 AI 芯片 MTIA.24 框架：PyTorch深度學習領域最受歡迎的框架之一.25 模型：布局生成式 AI，開源語言、視覺等大模型.26 AWS

4、：全球卓越的云服務平臺發力 AIGC 市場.29 發展歷程：全球領先的云服務平臺強勢入局 AIGC.29 算力：提供最具成本效益的生成式 Al 云基礎設施.30 框架：一站式機器學習平臺 Amazon SageMaker 助力 AIGC.31 模型：推出 Titan 大模型及中立托管平臺 Bedrock.32 產品：免費向個人開放 AI 編程助手 Amazon CodeWisperer.32 Anthropic：OpenAI 前核心成員創建的人工智能安全與研究公司.32 Anthropic 前期以科研為重心，研究 AI 模型的安全問題.33 加快商業化腳步，推出 ChatGPT 的有力對手 C

5、laude.33 3 Anthropic 加速融資以支撐 AI 模型訓練和部署.34 國內國內大模型：互聯網巨頭和已有充分積累的初創公司大模型：互聯網巨頭和已有充分積累的初創公司.35 百度：昆侖芯+飛槳平臺+文心大模型，構建廣泛應用端生態.35 團隊：百度 CTO 王海峰領銜，技術大牛帶隊.35 算力：兩代自研通用 AI 芯片“昆侖”支持大模型落地.35 框架：產業級深度學習平臺“飛槳”為大模型構建提供有力支撐.36 文心大模型：“基礎+任務+行業”大模型三層體系全面滿足產業應用需求.36 應用：大模型生態逐步構建，推動 AI 落地產業.37 阿里巴巴：通義大模型構建大一統模型，所有產品將接

6、入通義千問.37 阿里達摩院：孕育阿里巴巴人工智能的技術沃土.37 算力：自研芯片含光 800 和倚天 710 提供高性價比算力支持.38 框架：統一易用的分布式深度學習訓練框架 EPL 支撐“大一統”模型構建.38 通義大模型：基于 AI 統一底座的層次化體系.39 應用：賦能產品應用增效，推出模型即服務共享平臺.40 騰訊：算力集群+混元大模型，賦能自身業務生態降本增效.41 團隊：混元助手項目組由大牛帶隊，3 位 PM 頂梁，聚集跨事業群精英.41 算力：自研三款芯片和搭建算力集群以滿足 AI 大模型訓練需求.41 混元大模型：依托低成本算力和自研底座構建，模型可直接落地應用.42 應用

7、：賦能自身業務生態降本增效，廣告類應用效果出眾.42 華為：昇騰芯片+MindSpore+盤古大模型，B 端應用場景落地可期.43 領導者：華為云 AI 首席科學家田奇.43 算力：以自研 AI 芯片昇騰作為根基，打造 AI 產業平臺.43 框架：深度學習框架 MindSpore 和一站式 AI 開發平臺 ModelArts 提升模型開發效率.43 盤古大模型：賦能千行百業的三階段體系.44 應用：行業大模型逐步落地，B 端場景應用可期.45 商湯：SenseCore 大裝置+日日新大模型.47 算力：基于 AI 大裝置 SenseCore，以 AI 模型賦能四大業務.47 日日新大模型：構建

8、面向 AGI 的核心能力，驅動垂直行業降本增效.48 應用：MaaS 模式可能成為重要新趨勢.48 智譜 AI：依托清華大學技術成果，打造高性能千億級普惠大模型.48 團隊：核心成員與清華大學聯系緊密.48 模型：智譜 AI 致力于打造高性能千億級普惠大模型.49 4 海外大模型：科技巨頭自主研發，積極聯盟海外大模型：科技巨頭自主研發，積極聯盟 AI 初創公司初創公司 如何形成“數據如何形成“數據-模型模型-應用”的飛輪是應用”的飛輪是 AI 大模型企業成功關鍵大模型企業成功關鍵 我們認為我們認為 AI 大模型是一個資本密集，人才密集和數據密集的產業，如何形成“數據大模型是一個資本密集，人才密

9、集和數據密集的產業，如何形成“數據-模型模型-應用應用”的飛輪，是大模型企業成功的關鍵。的飛輪，是大模型企業成功的關鍵。我們看到海外企業中，微軟&OpenAI、谷歌已經逐步形成 AI 大模型的飛輪。當前，國內百度、阿里、商湯、華為等積極加入，行業呈現“百模大戰”的競爭格局，是否能形成飛輪是最后勝出的關鍵。圖表圖表1：形成“數據形成“數據-模型模型-應用”的飛輪，是大模型企業成功的關鍵應用”的飛輪，是大模型企業成功的關鍵 資料來源：華泰研究 微軟微軟&OpenAI 領先，谷歌追趕，領先，谷歌追趕，Meta 防御性開源，英偉達轉型算力云服務防御性開源，英偉達轉型算力云服務 我們通過對海外基礎大模型

10、訓練企業進行了深度復盤。微軟和 OpenAI 是目前大模型技術水平、產品化落地最為前沿的領軍者，其對顛覆式創新的持續投入是當前領先的深層原因。谷歌技術儲備豐厚，自有業務生態廣闊并且是 AI 落地的潛在場景，但管理上未形成合力，目前正在產品化、生態化加速追趕。英偉達是 AI 芯片領軍者，CUDA 框架構筑了其它芯片公司難以逾越的護城河，目前正在從硬件向算力云服務、MaaS 的商業模式轉型。Meta 在產品化上進展緩慢，選擇模型開源的防御性策略，以應對 OpenAI、谷歌等競爭對手的強勢閉源模型。AWS 作為領先的云服務廠商，超算技術布局領先，但是在 AI 大模型競爭上的應對稍顯遲緩。應用應用AI

11、大模型大模型飛輪飛輪模型模型+場景場景+GPU+用戶用戶 5 圖表圖表2：海外科技巨頭海外科技巨頭 AI 布局布局 資料來源：公司官網，華泰研究 科技巨頭正通過其云計算部門，積極尋求與科技巨頭正通過其云計算部門，積極尋求與 AI 初創公司的合作初創公司的合作 Al 行業進入大模型主導的時代，大模型的訓練和推理對大量、可靠的計算資源和存儲空間行業進入大模型主導的時代，大模型的訓練和推理對大量、可靠的計算資源和存儲空間提出要求。提出要求。擁有云計算資源的科技巨頭和研發大模型的 AI 初創公司積極尋求共贏合作，這種合作模式類似云服務市場的代理人模式。一方面，科技巨頭通常以投資或收購的方式，選擇一個或

12、多個 AI 初創公司作為合作伙伴，將大模型能力整合到自身產品中，以搶占布局大模型主導的 AI 市場；同時，通過云計算平臺提供大模型能力（MaaS），在云計算競爭中保持市場份額甚至突圍。另一方面，作為交換，AI 初創公司將獲得來自科技巨頭的資金、強大云計算資源和基礎設施的支持來加快大模型訓練；同時也將更多的客戶和 AI 應用場景，不僅能獲取海量反饋數據來優化模型，也便于讓 AI 技術商業化以帶來盈利。因此，這種合作模式或許將導致 AI 市場結構與云服務市場類似的高度集中的結構。圖表圖表3：科技巨頭正通過其云計算部門，積極尋求與科技巨頭正通過其云計算部門，積極尋求與 AI 初創公司的合作初創公司的

13、合作 資料來源：State of AI Report 2022，華泰研究 應應用用層層模模型型層層框框架架層層芯芯片片層層微軟微軟&OpenAIGoogleNVIDIAMetaAWSGPT3/3.5/4的的APIPaLM的的APINLP模型模型GPT1/2/3多模態模型多模態模型GPT4NLP模型模型PaLM/PaLM2等等多模態模型多模態模型PaLM-ENLP模型模型LLaMACV模型模型SAM/DINOv2NLP模型模型TitanTensorFlowPyTorchTPUCPUGPUDPUMTIAInferentiaTrainiumNLP模型模型NemoCV模型模型Picasso生物學模型生

14、物學模型BioNemo蛋白質蛋白質模型模型ProtTransAthena多模態模型多模態模型ImageBindCUDA 6 微軟為 OpenAI 打造超級算力集群，并獲得其技術的獨家授權。據微軟 2020 年披露，微軟與 OpenAI 達成獨家合作伙伴關系，并為 OpenAI 專屬打造擁有超過 28.5 萬張 CPU、1 萬張 GPU、網絡連接能力為 400Gb/s 的 AI 超級計算機，用以支持 OpenAI 的大模型訓練。微軟則將旗下多種產品與 OpenAI 技術集成，例如搭載 GPT-4 的新版 Bing 搜索引擎和Microsoft 365 Copilot。微軟還推出了 Azure O

15、penAI 服務，使得企業客戶可以在云平臺上直接調用 OpenAI 模型，通過云平臺實現了大模型資源的按需分放。谷歌聯手 Anthropic，期望在生成式 AI 掀起的浪潮中鞏固自身地位。2023 年 2 月，谷歌向AI 初創公司 Anthropic 投資了近 4 億美元，持有后者約 10%股份。雙方簽訂了一份大型云合同，谷歌云將為 Anthropic 提供大規模 TPU 和 GPU 加速支持，且將在谷歌云上部署其類ChtaGPT 的聊天機器人產品 Claude。亞馬遜云科技（AWS）推出“中立”的托管平臺 Amazon Bedrock，讓企業級客戶能快速、安全和高性價比地調用多種大模型構建自

16、己的程序。區別于谷歌和微軟已發布面向大眾的產品，AWS 瞄準的是企業客戶，并且期望作為一個“中立”的生成式 AI 大模型托管平臺，不依賴于任何一家 AI 初創公司。借助 Bedrock，企業級客戶能通過 API 調用來自不同提供商的 AI 模型，例如 AI21 Labs 的 Jurassic-2、Anthropic 的 Claude、Stability AI 的 Stable Diffusion 以及 AWS 自研模型 Titan。此外，任何客戶數據都不會被用于訓練底層模型。OpenAI：全球領先的：全球領先的 AI 初創企業初創企業 發展歷程：從非營利開端到向營利性全面轉型發展歷程：從非營利

17、開端到向營利性全面轉型 OpenAI 是美國一家人工智能（Artificial Intelligence，AI）研究實驗室，由非營利組織 OpenAI和其營利組織子公司 OpenAI LP 所組成，公司致力于構建安全的通用人工智能（Artificial General Intelligence，AGI）以造福人類。非營利開端：硅谷大牛云集，創建非營利組織以促進非營利開端：硅谷大牛云集，創建非營利組織以促進 AI 發展。發展。非盈利性的 AI 項目 OpenAI于 2015 年宣布正式啟動，由許多硅谷大牛共同創建，例如硅谷創業孵化器 Y Combinator CEO的Sam Altman、Goo

18、gle Brain的Ilya Sutskever、時任互聯網支付處理平臺Stripe CTO的 Greg Brockman 以及特斯拉的 CEO Elon Musk 等，許多創始人都曾是被譽為“深度學習教父”Geoffrey Hinton 教授的學生。公司把生成式預訓練模型（Generative Pre-trained Transformer，GPT）確定為主要研究方向，先后推出并開源預訓練 NLP 模型 GPT-1，以及采用遷移學習技術、能實現多個 NLP 任務的 GPT-2。向營利性轉型：與微軟深度綁定，推出掀起生成式向營利性轉型：與微軟深度綁定，推出掀起生成式 AI 浪潮的浪潮的 Cha

19、tGPT。2018 年，由于Elon Musk 擔任 CEO 的 Tesla 等公司也在開發 AI 技術，為避免潛在的利益沖突，Elon Musk辭去 OpenAI 董事會席位。為支撐大模型訓練的高算力和資金需求，同年，有限營利公司OpenAI LP 成立。2019 年，OpenAI LP 接受微軟 10 億美元投資，與其達成獨家合作伙伴關系。在強大算力和充足資金的助力下，OpenAI 沿著 GPT 路線持續發力，2020 年推出擁有小樣本泛化能力的 GPT-3，2022 年推出加入指示學習（Instruction Learning）和人工反饋的強化學習（Reinforcement Learn

20、ing from Human Feedback，RLHF）的 InstructGPT，并于 2022 年發布產品化的 ChatGPT，掀起了一股席卷全球的生成式 AI 浪潮。全面轉型：加快商業化步伐，構建生態圈。全面轉型：加快商業化步伐，構建生態圈。2023 年 1 月，微軟宣布與 OpenAI 長期合作伙伴關系進入第三階段，將繼續向 OpenAI 投資數十億美元，并加速產品與技術的整合。2023年 3 月，OpenAI 發布工程化的多模態 GPT-4，并與各個領域的軟件開展合作；同月，OpenAI發布 ChatGPT Plugins（ChatGPT 插件集），將 GPT 大模型能力與面向用戶

21、的第三方應用程序互聯，應用空間想象力廣闊。7 圖表圖表4：OpenAI 的發展歷程的發展歷程 資料來源：騰訊科技公眾號，OpenAI 官網，華泰研究 團隊：年輕、背景豪華且高度聚焦技術團隊：年輕、背景豪華且高度聚焦技術 OpenAI 有著一支高人才密度、高效率的“特種兵”創始人團隊。有著一支高人才密度、高效率的“特種兵”創始人團隊。首席執行官兼聯合創始人Sam Altman，曾任硅谷創業孵化器 Y Combinator 的 CEO，于 2015年帶領創建了OpenAI，致力于構建安全且人類級別 AI，是一位有著卓越的商業頭腦和戰略思維的領導者?？偛眉媛摵蟿撌既?Greg Brockman，曾任

22、互聯網支付處理平臺 Stripe 的 CTO，在 OpenAI 曾用九個月時間從“零”學起成為一名 1 頂 10 的 AI 工程師，是技術產品化的第一推手。首席科學家兼聯合創始人 Ilya Sutskever，曾就職于 Google Brain，參與了深度學習框架TensorFlow、生成式對抗網絡（GAN）和序列到序列（Seq2Seq）模型的研究，在 OpenAI領導了 GPT-1/2/3、DALLE 以及 ChatGPT 等模型的研發。微軟的 AI 研究實驗室（Microsoft Research AI）是推進 AI 研究的主力團隊。實驗室于 2017年成立，隸屬于微軟研究院，凝聚了來自感

23、知、學習、推理和自然語言處理等多個 AI 研究子領域的頂尖科學家，旨在將不同學科結合起來以推進 AGI 技術研發。圖表圖表5：OpenAI 和微軟的核心成員或和微軟的核心成員或 AI 團隊介紹團隊介紹 資料來源：MicroSoft Research 官網，華泰研究 GPT-1開啟預訓練時代實現高效語言理解的訓練2018年GPT-2多任務遷移高學習效益2019年DALL-E開啟多模態2020年GPT-3泛化能力few shot2020年6月Codex/Github Copilot代碼生成GPT-3.5指令調試更高效率2022年ChatGPT全面對齊RLFH2022年11月GPT-4工程化多模態2

24、023年3月ChatGPT Plugin進一步生態化2023年3月親友輪1億美元融資2016年OpenAI 成立2015年12月親友輪1億美元融資2017年LinkedIn聯合創始人Reid Hoffman天使輪1億美元融資2018年4月投資方包括私募股權基金和家族資金種子輪與Mcrosoft建立戰略合作伙伴關系2019年Mcrosoft投資10億研發合作項目建立OpenAI新結構，準備引入大量資本種子輪1.75億美元融資2020年7月LinkedIn聯合創始人Reid Hoffman、Founders Fund、Khosla Ventures種子輪延伸30億美元融資2021年Mircosof

25、t領投，黑石、豐田、Silver Lake跟投2023年1月微軟投資數十億美元，估值290億，內部決定公司全面轉型2023年3月微軟新一代核心產品發布2023年2月New Bing發布至今非營利開端向營利性轉型全面轉型A輪1.75億美元融資估值達200億美元2021年紅杉、老虎環球、A16Z 以及 BedRock據財富雜志報道，OpenAI在2022年的收入近3000萬美元據OpenAI預測，2023年收入將達2億美元，2024年將達到10億美元微軟AI研發團隊OpenAI核心成員OpenAI微軟首席執行官（CEO）&聯合創始人Sam Altman總裁（President）&聯合創始人Greg

26、 Brockman首席科學家（CSO）&聯合創始人Ilya Sutskever首席技術官（CTO）Mira Murati首席運營官（COO）Brad Lightcap人工智能實驗室微軟研究院 8 圖表圖表6：OpenAI 核心人物背景的詳細介紹核心人物背景的詳細介紹 資料來源：MBA 智庫，學術頭條，華爾街見聞，華泰研究 ChatGPT 團隊由一群年輕、背景豪華、經驗豐富且高度聚焦技術研發的人員組成。團隊由一群年輕、背景豪華、經驗豐富且高度聚焦技術研發的人員組成。AMiner與智譜研究發布的報告顯示，團隊規模雖不足百人（共 87 人），但有著以下顯著特征：1）平均年齡 32 歲，“90 后”是

27、主力軍；2）學術能力和業界經驗均突出，其中有 10 人來自谷歌；3）技術人員近九成，高度聚焦技術研發；4）LLM 領域的經驗豐富，1/4 團隊成員曾參與 Codex 項目。圖表圖表7：平均年齡平均年齡 32 歲，“歲，“90 后”是主力軍后”是主力軍 圖表圖表8：學術能力和業界經驗均突出，其中有學術能力和業界經驗均突出，其中有 10 人來自谷歌人來自谷歌 資料來源：AMiner 與智譜研究ChatGPT 團隊背景研究報告（2023），華泰研究 資料來源：AMiner 與智譜研究ChatGPT 團隊背景研究報告（2023），華泰研究 核心人物職位時間履歷OpenAISam AltmanGreg

28、BrockmanIlya SutskeverMira MuratiBrad Lightcap首席執行官；聯合創始人2019.03總裁；聯合創始人2022.05/2019.03首席科學家；聯合創始人2019.03首席技術官2022.05首席運營官2022.05曾就讀于斯坦福大學，中途輟學創業；2014.02任硅谷創業孵化器Y Combinator的首席執行官（CEO）；2015年非營利組織OpenAl聯合創始人之一;2019.03辭去Y Combinator的CEO職位，任營利組織OpenAl LP的首席執行官（CEO）曾就讀于哈佛和MIT，中途輟學創業；2013年加入互聯網支付處理平臺Stri

29、pe任首席技術官（CTO）；2015年成為非營利組織OpenAl聯合創始人之一；2019.03成為營利組織OpenAl LP的首席技術官（CTO）；2022.05轉任OpenAl LP的總裁（President）畢業于多倫多大學，獲得計算機博士學位；2013年加入Google Brain;2015年成為非營利組織OpenAl聯合創始人之一；2019.03成為營利組織OpenAl LP的首席科學官（CSO）畢業于達特茅斯商學院；先后就職于特斯拉、Leap Motion等；2018.06加入營利組織OpenAl LP；2022.05升任首席技術官（CTO）畢業于杜克大學；先后就職于摩根大通、Dro

30、pBox、Y Combinator等；2018.08加入OpenAl LP擔任首席財務官（CFO）；2022.05升任OpenAl LP的首席運營官（COO）人數（人）年齡段（歲）5103502800102030405060信息缺失60及以上505940493039202920以下 9 圖表圖表9：技術人員近九成，高度聚焦技術研發技術人員近九成，高度聚焦技術研發 圖表圖表10：項目經驗豐富，項目經驗豐富，1/4 團隊成員曾參與團隊成員曾參與 Codex 項目項目 資料來源：AMiner 與智譜研究ChatGPT 團隊背景研究報告（2023），華泰研究 資料來源：AMiner 與智譜研究Chat

31、GPT 團隊背景研究報告（2023），華泰研究 算力：強大的算力支撐算力：強大的算力支撐 GPT 釋放大模型潛能釋放大模型潛能 大模型的訓練和推理對算力消耗提出高要求，大模型的訓練和推理對算力消耗提出高要求，AI 超級算力集群有力推動超級算力集群有力推動 GPT 系列發展。系列發展。2020 年，微軟為 OpenAI 專屬打造擁有超過 28.5 萬張 CPU、1 萬張 GPU 的 AI 超級計算機，通過 Azure 云平臺給予其算力支持，并保證該部分算力不會被 Azure 其他服務占用，為 OpenAI 的大模型訓練配置強大且靈活的計算資源和基礎設施。此外，芯片龍頭企業NVIDIA也與Open

32、AI保持緊密合作，供應最先進的GPU以支持GPT系列模型的加速計算，例如 2021 年 OpenAI 將 NVIDIA 全球首款 DGX AI 超級計算機用以訓練 GPT-3.5。微軟正在自研微軟正在自研 AI芯片，首要目標便是為芯片，首要目標便是為 OpenAI提供算力。提供算力。2023年 4月，據The Information報道，微軟正在秘密研發自己的 AI 芯片，代號雅典娜（Athena）。雅典娜芯片由臺積電代工，采用 5nm 先進制程，首個目標便是為 OpenAI 提供算力引擎，以替代昂貴的英偉達A100/H100，節省成本。微軟從 2019 年就開始研發這款芯片，目前已在測試階段

33、。模型：堅持模型：堅持 GPT 技術路徑，持續探索生成式技術路徑，持續探索生成式 AI 潛力潛力 OpenAI 從 18 年起一直沿著 GPT 路線持續發力，通過 GPT1/2/3/3.5/4 等模型不斷地進行技術探索。在模型架構上，在模型架構上，GPT 是側重生成的單向模型。是側重生成的單向模型。模型的基礎架構是 Transformer 的解碼器，解碼器的第一個自注意力層加入了掩蔽機制，使得句子的未來信息被隱藏，由于只能通過學習當前和歷史的文本信息，來對下一個字進行預測，因此屬于單向的生成式模型。生成式模型相比理解式模型通常具有更高的靈活性和更強的泛化能力，在應用時更具通用性。研發人員；77

34、；88%未知；6；7%產品人員；4；5%300622990510152025RLHFGPT1GPT2GPT3codexlnstructGPTwebGPTChatGPT團隊參與人數（人）ChatGPT先前七大技術項目 10 圖表圖表11：GPT 以以 Transformer 解碼器為基礎架構解碼器為基礎架構 資料來源：Attention Is All You Need（Vaswani et al.,2017），華泰研究 不斷擴大數據量不斷擴大數據量和參數量進一步提升模型和參數量進一步提升模型的表現的表現。GPT 系列模型結構秉承了不斷堆疊Transformer 的思想，通過不斷提升訓練語料的規模

35、、網絡的參數數量來完成 GPT 系列的迭代更新。圖表圖表12：GPT 系列的迭代更新系列的迭代更新 資料來源：斯坦福 Ecosystem Graphs，陳巍談芯公眾號，華泰研究 InstructGPT 極大地提升了極大地提升了通用通用 AI 系統與人類意圖的對齊系統與人類意圖的對齊能力。能力。InstructGPT 基于 GPT-3的架構，引入了指示學習（Instruction Learning）來使得 AI 系統更遵循人類指令，減少產生有害或錯誤內容的可能性；同時，引入人類反饋的強化學習（Reinforcement Learning with Human Feedback，RLHF）訓練機制

36、，通過強化學習范式讓生成式 AI 產出的內容更符合人類意圖。多模態能力和預測擴展工具讓多模態能力和預測擴展工具讓 GPT-4 與萬物互聯。與萬物互聯。2023 年 3 月，OpenAI 發布 GPT-4，模型支持文本和圖像輸入的多模態能力，應用空間想象力巨大，有望重塑從瀏覽器到文檔智能等的軟件交互。同時，OpenAI 推出具備預測擴展性的深度學習堆棧，用極小算力成本就能可靠預測 GPT-4 在下游垂直領域應用的性能，讓小成本廣泛試用成為可能。在選擇合適的大模型后，模型微調讓通用基礎模型在細分領域的表現進一步提升。應用：以產品為導向形成數據飛輪，逐步構建生態圈應用：以產品為導向形成數據飛輪，逐步

37、構建生態圈 推動技術商業化，形成模型調用、用戶數據反饋和模型迭代的正反饋推動技術商業化，形成模型調用、用戶數據反饋和模型迭代的正反饋循環。循環。OpenAI 始終以產品為導向，積極推出產品以迅速獲取用戶，從而得到用戶反饋數據來訓練出更好的模型。2020 年，OpenAI 在發布 GPT-3 后快速開放商用 API 服務，讓下游客戶通過 API 調用模型能力。在 ChatGPT 的訓練過程中，則融入用戶數據反饋：1）采用 GPT-3 API 獲取的真實用戶請求微調基礎模型；2）引入 RLHF 訓練機制，采用人工標注的數據，通過人類的反饋解碼器Transformer層數訓練語料量參數量模型性能GP

38、T-1125GB1.17GPT-24840GB15GPT-3961350GB1750層億生成的文本存在不流暢和不合理層億可以生成更長、更自然、更連貫的文本；具備對未知詞的生成能力層億可以在沒有接受任何指導的情況下完成一些任務；支持多語種生成和對話生成等其他任務 11 進行強化學習，針對性地進行模型優化。這使得ChatGPT在多個自然語言任務如文書寫作、代碼生成與修改、多輪對話等中展現出遠超 GPT-3 的優秀能力，并讓有害和不真實輸出有效減少。圖表圖表13：商用商用 API 服務示例服務示例 資料來源：OpenAI 官網，華泰研究 技術與產品的整合進一步推動數據飛輪的運轉。技術與產品的整合進一

39、步推動數據飛輪的運轉。當前，微軟將把 OpenAI 的技術與旗下各應用生態的產品整合，涵蓋企業級云計算、辦公、底層代碼生成和娛樂交互等各個應用層面。圖表圖表14：微軟產品與微軟產品與 OpenAI 模型的整合模型的整合 資料來源：微軟科技公眾號，大數據應用公眾號，機器之心公眾號，華泰研究 GPT-4 開始構建生態圈，與各個領域的軟件開展合作。Be My Eyes 是一款幫助全世界的盲人以及低視力人群的產品，通過 GPT-4 的視覺輸入功能，Be My Eyes 能夠大幅度提高Virtual Volunteer 對圖片的理解程度。語言學習軟件 Duolingo 推出 GPT-4 驅動的 Duol

40、ingo Max，能夠輔助用戶解釋答案對錯，以及陪同用戶進行角色扮演式地練習。隨著 AI 工具在C 端滲透率逐步提升，各行業生態中的數據反饋越來越豐富和龐大，進一步推動數據飛輪的快速運轉。圖表圖表15：GPT-4 與與 Be My Eyes 合作合作 圖表圖表16：GPT-4 與與 Duolingo 合作合作 資料來源：OpenAI 官網，華泰研究 資料來源：OpenAI 官網，華泰研究 23年1月，推出Azure OpenAI服務，幫助云計算平臺的客戶/開發人員自主開發AI應用更好地服務企業級云計算客戶23年3月推出集成ChatGPT技術的OfficeCopilot23年2月，推出由Chat

41、GPT支持的新版Bing和Edge瀏覽器23年2月28日，宣布將ChatGPT版Bing集成到Windows任務欄中將GitHub社區作為AI生成代碼的訓練集OpenAI技術落地到游戲的生產、分發與用戶體驗提升個人生產效率智能化生成底層代碼升級娛樂交互體驗ToBToC 12 谷歌：谷歌：LLM 領域的奠基者領域的奠基者 發展歷程：從發展歷程：從 AI 技術研發的領軍者到產業化進程的推動者技術研發的領軍者到產業化進程的推動者 谷歌聯手谷歌聯手 AI 初創企業初創企業 DeepMind，率先展開，率先展開 AI 領域的技術布局。領域的技術布局。2014 年，谷歌收購 AI初創公司 DeepMind

42、。DeepMind 持續探索模擬、生物科研、游戲操作、對話聊天等領域的高性能算法，代表產品包括打敗世界圍棋冠軍的 AIphaGo、精準預測蛋白質結構的AIphaFold、戰勝電競職業玩家的 AIphaStar、智能聊天機器人 Sparrow 等。在在 LLM 領域，谷歌是新技術研發的領軍者和奠基者。領域，谷歌是新技術研發的領軍者和奠基者。2015 年，谷歌開源了深度學習框架TensorFlow，其具備靈活、可擴展且易于部署等優勢，成為應用最廣泛的深度學習框架之一，尤其在工業應用處于領先地位。2017 年，谷歌發布 NLP 領域的里程碑Transformer，它首次引入注意力機制，使得模型能更好

43、地處理長文本和復雜的語言結構，大幅提高 NLP任務的準確度和效率，為后來所有大語言模型奠定基礎架構。2018 年，谷歌發布 3.4 億參數的大規模預訓練模型 BERT，在理解復雜的語言結構和語義中表現優秀，在多項 NLP 任務上的效果都遠遠超過了傳統的淺層架構，宣告 NLP 范式轉變為大規模預訓練模型的方法。谷歌加快生成式谷歌加快生成式 AI 產業布局。產業布局。OpenAI 于 2022 年底推出的 ChatGPT 掀起了席卷全球的生成式 AI 浪潮，使得 GPT 能力在各個行業和領域不斷拓展，并對谷歌 AI 領先地位構成挑戰。作為應對，谷歌于 2023 年 2 月宣布通過投資聯手 AI 初

44、創公司 Anthropic，將在谷歌云上部署 ChatGPT 的有力競品 Claude，并于同月推出自研的基于 1270 億參數大模型 LaMDA 的聊天機器人 Bard。圖表圖表17：谷歌谷歌 AI 領域的發展歷程領域的發展歷程 資料來源：DeepMind 官網，Google 官網，斯坦福 Ecosystem Graphs，OpenBMB 網站，華泰研究 團隊：團隊：Google DeepMind 匯集谷歌匯集谷歌 AI 領域人才領域人才 經過兩輪人才整合，當前谷歌主要經過兩輪人才整合，當前谷歌主要 AI 研發團隊合并為研發團隊合并為 Google DeepMind。為 2023 年 2月，

45、谷歌旗下專注 LLM 領域的“藍移團隊”（Blueshift Team）宣布加入 DeepMind，以共同提升 LLM 技術的能力。4 月，谷歌宣布正式將谷歌“大腦”和 DeepMind 兩大團隊合并，組成“Google DeepMind”部門。Google DeepMind 部門首席執行官將由 DeepMind 聯合創始人兼首席執行官 Demis Hassabis 擔任；原谷歌大腦團隊負責人 Jeff Dean 轉任谷歌首席科學家，領導谷歌 AI 相關的最關鍵和戰略性的技術項目，其中首要項目就是系列多模態AI 模型。AI 領域的世界級人才與計算能力、基礎設施和資源的匯集，將顯著加快谷歌在 A

46、I方面探索的進展。至今AlphaGo以4：1擊敗韓國圍棋冠軍李世石2016年3月AlphaStar戰勝多位星際爭霸 II 的職業選手2019年1月AlphaFold2精準預測蛋白質結構2021年6月Sparrow700億參數的AI聊天機器人；加入RLHF和Retrival進行訓練2022年9月Gopher2800億參數，基于Decoder-only架構的LLM2021年12月BERT2018年10月3.4億參數；宣告NLP范式轉變為大規模預訓練模型T52019年10月110億參數；基于Transformer同意框架，兼容BERT和GPT的下游任務FLAN2021年9月谷歌首個基于Decoder

47、-only架構的LLMLaMDA2022年1月1370億參數；更安全且對話質量接近人類水平PaLM2022年4月5400億參數；基于通用AI架構Bard2023年2月基于LaMDA進行微調的聊天機器人Transformer2017年4月首次引入注意力機制；大幅提高NLP處理的準確度和效率，為LLM奠定基礎架構TensorFlow2015年11月應用最廣泛的開源的深度學習框架之一；在工業級領域領先AlphaZero2018年12月通用性AI程序；基于同一神經網絡自主學習各種棋類游戲AIphaCode2022年3月代碼生成2019年9月將DeepMind健康業務納入Google HealthWav

48、eNet與谷歌語音團隊合作，作為Google Assistant的聲音2017年8月2014年1月谷歌以4億英鎊收購DeepMind2023年4月谷歌大腦和DeepMind合并組成Google DeepMindPaLM-E2023年3月5620億參數；多模態大模型2023年2月谷歌通過投資聯手Anthropic，將在谷歌云上部署Claude2023年2月谷歌專注LLM的藍移團隊（Blueshift Team）并入DeepMind 13 圖表圖表18：Google 主要的主要的 AI 研發團隊研發團隊 資料來源：Google 官網，華泰研究 算力：算力：TPU 系列芯片和新一代超級計算機支撐系列

49、芯片和新一代超級計算機支撐 AI 大模型訓練和創新大模型訓練和創新 TPU（Tensor Processing Unit）是谷歌專門為高效計算和加速神經網絡訓練和推理過程而設計的專用芯片（Application-Specific Integrated Circuit，ASIC）。2016 年，谷歌發布第一代 TPU，成為 AlphaGo 背后的算力。與 GPU 相比，TPU 采用低精度計算，在幾乎不影響深度學習處理效果的前提下大幅降低了功耗、加快運算速度。最新一代的 TPU v4 發布于2021 年，在相似規模的系統訓練中，TPU v4 比 A100 計算速度快 1.15-1.67 倍、功耗低

50、1.33-1.93 倍。TPU v4 卓越的性能、可伸縮性和靈活性使其成為支持 LaMDA、MUM、PaLM等大規模語言模型的主力產品。圖表圖表19：在在 5 個基準測試中每個個基準測試中每個 DSA 的最快性能的最快性能 圖表圖表20：在基準測試中在基準測試中 64 個芯片系統的個芯片系統的 DSA+HBM 的平均功率的平均功率 資料來源：TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings（Jouppi et al.,2023），華

51、泰研究 資料來源：TPU v4:An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings（Jouppi et al.,2023），華泰研究 谷歌推出新一代超級計算機谷歌推出新一代超級計算機 A3 Virtual Machines，為大型語言模型創新提供動力。，為大型語言模型創新提供動力。谷歌于2023 年 5 月的 I/O 大會發布 A3 超級計算機，其采用第 4 代英特爾至強可擴展處理器、2TB DDR5-4800 內存以及 8 張英偉達 H100。此

52、外，A3 是首個使用谷歌定制設計的 200 Gbps IPU 的 GPU 實例，GPU 間的數據傳輸繞過 CPU 主機，通過與其他虛擬機網絡和數據流量分離的接口傳輸，網絡帶寬相比 A2 增加 10 倍，具有低延遲和高帶寬穩定性。A3 超級計算機專門設計用于訓練和服務對計算資源要求極高的 AI 大模型，這些模型將推動當今生成式AI 和大型語言模型的創新進展。Google主要的AI研發團隊GoogleBlueshift TeamDeepMindGoogle BrainGoogle DeepMind2023年2月2023年4月MLPerf BenchmarkA100TPU v4RatioBERT38

53、0W197WResNet273W206W1.931.33 14 框架：領先的自研深度學習平臺框架：領先的自研深度學習平臺 TensorFlow 2015 年，谷歌開源了深度學習框架 TensorFlow，其是當前 AI 領域主流開發工具之一。TensorFlow 采用計算圖來表示神經網絡計算過程和數據流動，從而實現高效的并行數據處理和運算，尤其在大規模分布式訓練方面具有優勢。TensorFlow 還提供了廣泛的工具和 API，可用于各種類型的深度學習應用，例如計算機視覺、自然語言處理和語音識別等領域。此外，TensorFlow 具有很好的可移植性，能夠在多種硬件設備和操作系統上運行。目前，Te

54、nsorFlow 生態系統完備，為研發人員提供了從模型構建到部署和運營管理的全套工具鏈，是深度學習領域應用最廣泛的框架之一，特別在工業級領域應用處于領先地位。模型：各技術路線的模型儲備豐富，模型：各技術路線的模型儲備豐富，多模態大模型實現人機交互領域突破多模態大模型實現人機交互領域突破 谷歌在谷歌在 AI 各技術路線上積累了豐富的模型儲備。各技術路線上積累了豐富的模型儲備。從基礎架構的角度，其技術路線主要可以分為三個方向：1）基于）基于 Transformer 純編碼器（純編碼器（Encoder-only）：與單向生成的 GPT 模型不同，純編碼器模型是側重理解的雙向模型，通過并行計算和多頭注

55、意力層來學習單詞之間的相關性，實現上下文理解。主要模型包括語言模型 BERT、LaMDA、PaLM、基于 LaMDA 的對話模型 Bard 以及多模態視覺語言模型 PaLM-E。2）基于）基于 Transformer 純解碼器（純解碼器（Decoder-only）：純解碼器是單向生成模型，主要用于句子生成。主要模型包括谷歌的語言模型 FLAN、DeepMind 的語言模型 Gopher。3）基于基于 Transformer 統一架構（統一架構（Encoder-Decoder）：統一模型框架能兼容以上兩類模型的理解和生成的下游任務。主要模型包括語言模型 T5、對話模型 Sparrow。圖表圖表2

56、1：谷歌在谷歌在 AI 各技術路線發布的主要模型各技術路線發布的主要模型 資料來源：Google 官網，斯坦福 Ecosystem Graphs，華泰研究 多模態視覺語言大模型多模態視覺語言大模型 PaLM-E 實現人機交互領域的重大飛躍。實現人機交互領域的重大飛躍。2023 年 3 月，谷歌發布5620 億參數的多模態視覺語言模型 PaLM-E，是 PaLM-540B 語言模型與 ViT-22B 視覺模型的結合。與傳統的語言模型相比，PaLM-E 具有更高的效率和靈活性，可以根據輸入的復雜度和任務的需求動態地激活不同的模塊。同時，PaLM-E 可以通過文本、圖像和視頻等多種類型的輸入來理解和

57、控制機器人等實體化系統，從而實現具象化的能力。PaLM-E 的發布代表著人機交互領域的一次重大飛躍，在工業、商業、辦公等領域的機器人應用上有著巨大的想象力。2018年10月Google發布BERT；3.4億參數2019年10月Google發布T5；110億參數；兼容BERT和GPT的下游任務2021年10月Google發布FLAN；轉向Decoder-only2021年12月DeepMind發布Gopher；2800億參數2022年1月Google發布LaMDA；1370億參數；更安全且對話質量接近人類水平2022年4月Google發布基于通用AI架構的PaLM；5400億參數；2022年9月

58、DeepMind發布Sparrow；700億參數；加入RLHF和Retrival進行訓練2023年2月Google發布基于LaMDA進行微調的聊天機器人Bard2023年3月Google發布多模態大模型PaLM-E；5620億參數；Encoder-onlyDecoder-onlyEncoder-Decoder 15 圖表圖表22：PaLM-E 機器人執行“從抽屜里拿出薯片”的多步驟指令機器人執行“從抽屜里拿出薯片”的多步驟指令 圖表圖表23：PaLM-E 機器人規劃“將積木按顏色分類”的長周期任務機器人規劃“將積木按顏色分類”的長周期任務 資料來源：GitHub PaLM-E，華泰研究 資料來

59、源：GitHub PaLM-E，華泰研究 最新的大語言模型最新的大語言模型 PaLM 2 在多語言能力、代碼能力和邏輯能力上得到顯著提升。在多語言能力、代碼能力和邏輯能力上得到顯著提升。谷歌于2023 年 5 月的 I/O 大會發布 PaLM 2，模型基于 2022 年 10 月提出的 AI 新架構 Pathways，并基于 TPU v4 和 JAX 框架訓練。在語言能力上，PaLM 2 的訓練數據超過 100 種語言，能理解、翻譯和生成更準確和多樣化的文本；同時，PaLM 2 在 20 種編程語言上進行訓練以提升代碼能力。在邏輯能力上，PaLM 2 在推理、數學任務測試中顯著優于 PaLM，

60、并與GPT-4 相當。此外，谷歌在 PaLM 2 的基礎上還訓練了用于編程和調試的專業模型 Codey，安全知識模型 Sec-PaLM 以及醫學知識模型 Med-PaLM 2。模型壓縮技術將加速模型壓縮技術將加速 AI 技術與智能終端的融合。技術與智能終端的融合。PaLM2 主要包含 4 種規格（Gecko、Otter、Bison 和 Unicorn），其中體積最小的 Gecko 可以在手機上運行，每秒可處理 20 個 Token，大約相當于 16 或 17 個單詞。模型壓縮技術或將成為實現 AI 大模型在邊/端部署的核心技術，加速 AI 技術與智能終端融合。應用：積極布局生成式應用：積極布局

61、生成式 AI 應用以迎接挑戰應用以迎接挑戰 谷歌在過去更注重發表論文，未能及時將成果產品化。谷歌在過去更注重發表論文，未能及時將成果產品化。谷歌在各種路線上發布了很多模型，論文成果豐富，但均未能走出象牙塔落地；同時，旗下 DeepMind 研發的基礎語言模型Gopher、Chinchilla 和對話模型 Sparrow 也尚未產品化。積極布局生成式積極布局生成式 AI 領域應用以迎接挑戰。領域應用以迎接挑戰。谷歌于 2023 年 2 月發布基于 1370 億參數大模型 LaMDA 的 AI 聊天機器人 Bard。相較于 ChatGPT，Bard 的優勢在于：1）能夠利用來自互聯網的信息提供最新

62、、高質量的回復；2）瞬間生成文本塊；3）給出的答案包含三個不同的版本或草稿，用戶可以切換其中任何一個答案。此外，谷歌在 4 月發布了 Bard 的更新版本，升級了數學與邏輯能力。2023 年 5 月 I/O 大會，谷歌展示了 Bard 支持的文字、代碼、圖像生成與理解能力，并重點強調了 Bard 與谷歌應用，以及外部其他應用的協同能力。此外，谷歌通過投資聯手 AI 初創公司 Anthropic，押注 ChatGPT 的有力競品 Claude。16 圖表圖表24：Bard 在搜索中直接提供答案在搜索中直接提供答案 圖表圖表25：Google 投資投資 Anthropic 資料來源：Google

63、官網，華泰研究 資料來源：Google 官網，華泰研究 面向開發者，谷歌開放 PaLM 的 API，并發布工具 MakerSuite，幫助開發者們快速構建生成式 AI 應用。PaLM API 將為開發者提供面向對輪交互而優化的模型，如內容生成與對話；也能為開發者提供摘要、分類等多種任務的通用模型。工具 MakerSuite 則能幫助開發者快速、輕松地構建和調整自定義模型，在瀏覽器中就能快速測試和迭代調整后的模型。圖表圖表26：PaLM API 幫助開發者構建生成式幫助開發者構建生成式 AI 圖表圖表27：MakerSuite 幫助開發者快速地構建和調整自定義模型幫助開發者快速地構建和調整自定義

64、模型 資料來源：Google 官網，華泰研究 資料來源：Google 官網，華泰研究 PaLM 2 賦能超賦能超 25 種功能和產品的升級，包括辦公套件、聊天機器人以及企業級種功能和產品的升級，包括辦公套件、聊天機器人以及企業級 AI 平臺。平臺。在 PaLM 2 的加持下，Workspace 推出的 AIGC 工具包 Duet AI，其中包含 Google Docs和 Gmail 中的智能寫作工具、Google Slides 中的文本生成圖像、演講備注以及 Google Meet的會議摘要生成等功能。升級版 Bard 不僅將支持圖文多模態，還將接入網絡以實時網頁搜索；同時，大量 Bard+t

65、ools 的組合將推出，Bard 有望深度融合到 Google 所提供的原有工具中。ToB 應用方面，Vertex AI 集合了谷歌研發的基礎模型，用戶可按需調用模型并對模型的參數權重進行微調；此外，Vertex AI 還能夠根據內部數據建立企業版本的搜索引擎。2023年2月4日，谷歌與Anthropic官宣合作。谷歌云將為Anthropic提供大規模TPU和GPU加速支持，且將在谷歌云上部署Claude。17 圖表圖表28：Google Docs 根據工作名稱自動撰寫職位要求根據工作名稱自動撰寫職位要求 圖表圖表29：Google Slides 自動生成講稿自動生成講稿 資料來源：谷歌 I/

66、O 大會，華泰研究 資料來源：谷歌 I/O 大會，華泰研究 圖表圖表30：Bard 多模態能力：能夠識別圖像并以文字描述多模態能力：能夠識別圖像并以文字描述 圖表圖表31：Bard 與谷歌旗下應用、及其他外部應用具有潛在合作空間與谷歌旗下應用、及其他外部應用具有潛在合作空間 資料來源：谷歌 I/O 大會，華泰研究 資料來源：谷歌 I/O 大會，華泰研究 英偉達：英偉達：AI 時代的芯片領路者時代的芯片領路者 發展歷程：發展歷程：英偉達的二十年輝煌史英偉達的二十年輝煌史 英偉達成立于 1993 年，是全球最大的 GPU 供應商，也是 AI 時代的芯片領路者。上市初期公司主要關注 PC 圖形業務，

67、與 PC 出貨量具備高度相關性，主要以 OEM 的銷售模式。后續隨著智能手機、平板電腦等消費電子的應用出現，公司敏銳捕捉到終端需求的變化，將業務重心向高端游戲顯卡市場過渡。按照過往經驗，英偉達基本每 1-2 年更新一次游戲 GPU架構，憑借強大的性能和生態優勢迅速提升在全球獨立 GPU 市場市占率，近幾年均保持在70%以上的份額。進入 2018 年數字貨幣價格大幅下跌，數據中心開始承接公司新增長點，2020 年該業務營收增速超過 120%。此外，我們看到英偉達持續以 CUDA 為核心構建護城河，結合 CPU+GPU+DPU 三大硬件，形成統一的生態閉環，且在各細分領域形成全套解決方案。18 圖

68、表圖表32：英偉達發展歷程英偉達發展歷程 資料來源：DeepMind 官網，Google 官網，斯坦福 Ecosystem Graphs，OpenBMB 網站，華泰研究 第一階段：從圖形芯片到游戲顯卡第一階段：從圖形芯片到游戲顯卡，確定主流賽道形成穩定現金流，確定主流賽道形成穩定現金流 持續推動業務升級，持續推動業務升級，戰略核心轉移至高端游戲卡領域。戰略核心轉移至高端游戲卡領域。在 GPU 推出初期，以 OEM 形式銷售顯卡是公司重要的收入來源之一，市場終端應用以 PC 為主，筆記本及平板的普及度尚低，英偉達的產品與 PC 出貨存在較高程度的綁定。隨著半導體行業發展，終端應用趨于多元化，PC

69、 市場熱度從 2012 年起開始出現明顯下降。此外，隨著集成顯卡性能的提升，獨立桌面顯卡出貨情況也開始出現衰退。在此市場環境下，英偉達將戰略核心轉移至高端游戲卡領域。在 2010-2015 年在全球 PC 市場逐步倒退的情況下，英偉達游戲顯卡出貨量 5 年實現 9%的年復合增長，銷售均價/收入分別呈現 11%/21%的年復合增長。2019 年公司游戲業務已經為其貢獻了過半營收，而 OEM/IP 業務收入占比下降至僅 6%。圖表圖表33：Nvidia 游戲顯卡出貨量，游戲顯卡出貨量，ASP 及收入及收入年復合增速年復合增速 圖表圖表34：英偉達英偉達 FY2014（左左）FY2019（右）（右）

70、營收結構營收結構對比對比 資料來源：Bloomberg，華泰研究 資料來源：Bloomberg，華泰研究 第二階段：構建通用計算生態，數據中心業務實現爆發式增長第二階段：構建通用計算生態，數據中心業務實現爆發式增長 推出革命性架構推出革命性架構 CUDA，進入發展高速期，進入發展高速期。2006 年英偉達研發出了能夠讓 GPU 計算變得通用化的 CUDA（Compute Unified Device Architecture）技術，運用 GPU 并行處理能力來應對復雜的計算，次年公司就在圖形市場取得飛躍式增長，同時 Tesla GPU 的推出讓英偉達成功進入通用計算時代。經過二十多年的發展，公

71、司已形成包括：面對 PC 和筆記本的GeForce 系列，面對工作站的 Quadro 系列，面對超大型計算的 Tesla 系列和面對移動處理器的 Tegra 系列。-100%-50%0%50%100%150%200%01020304050607080901Q013Q011Q023Q021Q033Q031Q043Q041Q053Q051Q063Q061Q073Q071Q083Q081Q093Q091Q103Q101Q113Q111Q123Q121Q133Q131Q143Q141Q153Q151Q163Q161Q173Q171Q183Q181Q193Q191Q203Q201Q213Q211Q223

72、Q22（億美元）（億美元）營業收入同比增速1995年：推出首款產品NV11993年：黃仁勛、Chris Malachowsky和Curtis Priem共同創立了NVIDIA。1999年：納斯達克上市；發明了全球首款GPUGeForco256;推出適用于專業圖形的Quadro GPU2001年：攜nFORCE平臺進軍集成顯卡市場;推出業內首款可編程GPU-GeForce32002年：第一億臺處理器出貨2006年：開發出CUDA計算架構2007年：推出Tesla系列GPU，開始在HPC和Ai領域發力2012年：發布基于kepler架構的GPU，推出GeForce GTX 600系列2013年：發

73、布全球超快的四核移動處理器Tegra 4和首款完全集成的4GiLTE移動處理器Tegra 4i2014年：發布基于maxwell架構的GPU2009年：推出Fermi代號的新一代CUDA架構2015年：正式投身深度學習領域;GeForceGTXTITAN X問世，專為訓練深度神經網絡打造;256核移動超級芯片Tegra X1問世2016年：推出深度學習超算DGX-1，新架構Pascal2017年：推出Volta架構GPU2018年：推出開源GPU加速平臺RAPIDS，推出Turing架構以及DGX-2超算2008年：推出Tegra移動處理器，但后續存在散熱問題2021年：推出為HPC及AI打造

74、的公司首款CPU2020年：推出Ampere架構GPU，產品開始布局DPU2022年：推出新一代自動駕駛平臺以及Hopper架構GPU9%11%21%14%14%29%游戲顯卡出貨量平均單價游戲業務收入CY10-CY15CY13-CY18 19 圖表圖表35：Nvidia 數據中心業務收入及同比增長率數據中心業務收入及同比增長率 圖表圖表36：四大云廠商中四大云廠商中 AI 芯片芯片市場市場份額：英偉達絕對領導（份額：英偉達絕對領導（2019 年）年）資料來源：NVIDIA 官網，華泰研究 資料來源：Liftr，華泰研究 第第三三階段：階段：AI 加持下，加持下，游戲、數據中心、自動駕駛三駕馬

75、車助力公司邁向千億美金市場游戲、數據中心、自動駕駛三駕馬車助力公司邁向千億美金市場 英偉達經過前期的路徑選擇已經逐步清晰了三條主要賽道，同時在人工智能飛速迭代的情況下，從元宇宙平臺搭建到協助內容創作到 AI 時代的“臺積電”定位，精準把握每次技術變革：1）游戲方面：）游戲方面：英偉達背靠強大的 GPU 實力不斷在游戲行業進行創新，推出 DLSS、光線追蹤等技術提高游戲體驗，并進一步推動云端游戲業務發展。23 年由于 PC 端出貨減少短期內影響了游戲業務增長，但未來 5 年游戲業務 CAGR 仍有望達到 10%。2）數據中心方面：）數據中心方面：除了訓練/推理芯片性能更新，英偉達更側重于 AI

76、超級計算機的打造和對整個服務器產業鏈賦能。其在 GTC2023 推出的 NVIDIA DGX 超級計算機，將成為大語言模型實現突破背后的引擎。3）自動駕駛方面，）自動駕駛方面，英偉達在硬件上推出了自動駕駛汽車的平臺 DRIVE Hyperion、算力達每秒 254 TOPS的系統級芯片DRIVE Orin SoC、新一代集中式車載計算平臺DRIVE Thor。22 年秋季 GTC 大會公布的中央計算引擎 Drive Thor 芯片由 Grace CPU、Hopper GPU 和下一代 GPU 組成,可提供 2000TOPS 算力，預計將在 25 年搭載于極氪。軟件方面則推出了操作系統 DRIV

77、E OS、AI 輔助駕駛平臺 DRIVE Chauffeur、可實現對話式 AI 等智能服務的 DRIVE Concierge 等。過去 5 年汽車業務 CAGR 為 10%，僅占 FY23 收入的 3%，但未來會隨著產品逐漸落地而穩步提升。黃仁勛在22年9月的Computex大會上預計未來6年，將能夠創造 110 億美元營收價值。0%20%40%60%80%100%120%140%160%0204060801001201401602013 2014 2015 2016 2017 2018 2019 2020 2021 2022（億美元）數據中心業務收入同比增長率0%50%100%Alibab

78、a CloudAmazon AWSMicrosoft AzureGoogle CloudPlatformTesla V100Tesla T4Tesla P100Tesla P4Tesla P40Tesla M40Tesla M60Tesla K80 20 圖表圖表37：英偉達已公布產品英偉達已公布產品 資料來源：英偉達官網，華泰研究 團隊：靈魂人物引導產業變革，數次收購完善業務版圖團隊：靈魂人物引導產業變革，數次收購完善業務版圖 靈魂人物帶領數次決策，英偉達引導產業變革。靈魂人物帶領數次決策，英偉達引導產業變革。英偉達由黃仁勛與 Chris Malachowsky、Curtis Priem 于

79、 1993 年 4 月共同創立，創業初期英偉達僅是數十家 GPU 制造商中的一員，但憑借黃仁勛非凡的見識和魄力，從 1999 年大規模裁員后發布世界首款 GPU 拿下大客戶微軟，到 2006 年推出 CUDA 技術，到 2012 年宣布計算卡與游戲卡分離成為與 AMD 競爭轉折點，英偉達引領了顯卡行業的每一次重大變革，成為占據獨立顯卡 80%以上份額的巨頭。英偉達不斷通過收購完善業務版圖。英偉達不斷通過收購完善業務版圖。英偉達早期的競爭對手 3dfx在 2000年被英偉達收購，3dfx 是 20 世紀 90 年代顯卡芯片的市場領導者，主營業務包括顯卡以及 3D 芯片，在 2000年時因為在一場

80、與 NVIDIA 的官司中敗訴而被 NVIDIA 僅僅以 7000 萬美元和 100 萬美元的股票收購，并在 2002 年年底破產。另一具有代表性的案例是最后以監管問題失敗告終的2020 英偉達收購 ARM 事件，如若達成或將打通 ARM CPU 的龐大生態系統，由此也可以看出英偉達利用收購不斷擴大商業版圖，營造完整生態的動機。圖表圖表38：Nvidia 高管結構及股權架構圖高管結構及股權架構圖 圖表圖表39：Nvidia 收購公司一覽收購公司一覽 資料來源：英偉達官網，華泰研究 資料來源：英偉達官網，華泰研究 21 商業模式：深度綁定臺積電走商業模式：深度綁定臺積電走 OEM 模式，輕裝上陣

81、重視研發投入模式，輕裝上陣重視研發投入 深度綁定臺積電，外包制造環節輕資產專注研發。深度綁定臺積電，外包制造環節輕資產專注研發。1998 年，公司于臺積電正式建立策略聯盟伙伴關系。從一開始，黃仁勛就致力于使英偉達成為一家無晶圓廠的芯片公司，通過將制造芯片費用外包以降低資本支出。OEM 模式雖然令投資者擔憂生產外包的風險，但另一面英偉達將騰出的資金用于研發，逐漸建立起了高技術壁壘。自上市以來，英偉達研發投入絕對值基本呈現持續增長，單季度研發費用率平均值超 20%，2022 年公司研發投入達73 億美元。公司研發投入基本上全部用于 GPU 產品，長期研發投入與積累也使公司產品技術壁壘及競爭力得以充

82、分提升。拓展云服務商業模式，將與企業、云廠商實現互惠共贏拓展云服務商業模式，將與企業、云廠商實現互惠共贏。在硬件制造的基礎上，英偉達近。在硬件制造的基礎上，英偉達近期還推出了期還推出了 NVIDIA AI Foundations，定位為“超算云服務+模型代工廠”，用于企業構建自定義語言模型和生成式 AI。NVIDIA AI Foundations 包括語言、視覺和生物學模型構建服務，分別名為 Nemo、Picasso 和 BioNemo，使用企業專有數據進行訓練，用于處理特定領域的任務。我們認為超算云服務我們認為超算云服務+模型代工廠的商業模式是英偉達作為芯片送水人在大模型代工廠的商業模式是英

83、偉達作為芯片送水人在大模型時代的商業模式自然延伸。模型時代的商業模式自然延伸。圖表圖表40：NVIDIA AI Foundations 服務與基礎模型服務與基礎模型 圖表圖表41：NVIDIA Picasso 輸入文本，輸出圖片、視頻、輸入文本，輸出圖片、視頻、3D 模型模型 資料來源：2023 年 GTC 大會，華泰研究 資料來源：2023 年 GTC 大會，華泰研究 硬件迭代：訓練硬件迭代：訓練/推理芯片推理芯片性能參數持續領先對手性能參數持續領先對手 芯片性能優勢優于競爭對手，在推理芯片方面將繼續擴大優勢。芯片性能優勢優于競爭對手，在推理芯片方面將繼續擴大優勢。英偉達通常 1-2 年左右

84、更新一次架構，2015 年以來經歷了 Pascal、Volta、Turing、Ampere 和 Hopper 時期，其制程也從 16nm 快速推進到 7nm 和 4nm，預計下一代 Blackwell 架構 GPU 將延續與臺積電合作選用 3nm 工藝。為了加速在混合精度計算、光線追蹤領域的發展，英偉達在 Volta 架構引入 Tensor Core 來加速 AI 處理，而在 Turing 架構上加入 RT Core 來實現光線追蹤的混合渲染。從性能對比來看，英偉達在 22 年初推出的 H100 在 AI 性能方面速度比 A100 提升 9 倍，在大型語言模型上推理速度高 30 倍，在部分性能

85、上優于 21 年 12 月 AMD 推出的高端 GPU MI250，在訓練芯片具備較強的話語權。而在推理方面，盡管算力要求比訓練端更低，市場需求更大也更為細分，英偉達面對的競爭更激烈，但公司的推理側解決方案更具備通用性、低延時、低功耗，我們認為訓練端的成功有望在推理端延續。22 圖表圖表42：英偉達與英偉達與 AMD 產品對比產品對比 資料來源：英偉達官網，華泰研究 軟件：軟件：CUDA 構建完整生態，構建完整生態，CUDA-X AI 結構拉開巨大差距結構拉開巨大差距 CUDA 是一種將 GPU 作為數據并行計算設備的軟硬件體系，不需要借助圖形學 API，而是采用了比較容易掌握的類 C 語言進

86、行開發，開發人員能夠利用熟悉的 C 語言比較平穩地從 CPU 過渡到 GPU 編程。與以往的 GPU 相比，支持 CUDA 的 GPU 在架構上有了顯著的改進：1）采用了統一處理架構，可以更加有效地利用過去分布在頂點著色器和像素著色器的計算資源；2）引入了片內共享存儲器。兩項改進使得 CUDA 架構更加適用于通用計算，加上 2008 年后蘋果、AMD、和 IBM 推出的 OpenCL 開源標準，GPGPU 在通用計算領域迅速發展。英偉達在 CUDA（并行編程模型）上的戰略眼光及持續堅持，是如今形成軟硬集合生態的最核心壁壘：1）易于編程與性能提升：CUDA 包含 CUDA 指令集架構（ISA）以

87、及 GPU內部的并行計算引擎，采用通用并行計算架構，使 GPU 能夠解決復雜計算問題，相較 AMD采取的通用 OpenCL 平臺而言，并行計算能力可提高 10-200 倍不等；2）不斷豐富的生態系統：英偉達通過十余年迭代擴充已形成豐富的函數庫、API 指令、工具鏈、應用程序等，對開發者友好程度更高。在 CUDA 基礎上英偉達進一步推出 CUDA-X AI 軟件加速庫，提供對深度學習、機器學習和高性能計算的優化功能，進一步拉開與競爭對手在 AI 時代的差距。圖表圖表43：CUDA 及及 CUDA-X AI 生態系統生態系統 資料來源：英偉達官網，華泰研究 23 應用：應用：以以 Omnivers

88、e 為核心，為核心，推進工業推進工業/設計設計/醫療醫療/零售零售/自動駕駛等多行業生態自動駕駛等多行業生態 英偉達一直是行業創新的引導者，從 2021 年開始公司 GTC 大會整體框架更新為以底層技術上圍繞元宇宙進行的大量軟件新技術布局。Omniverse 作為公司創建 AI 系統的數字孿生的虛擬世界的基礎平臺，借助 MDL、Phys 與 RTX 等技術，以逼真的建模及數字工業化手段將 AI 創作賦能到實際應用中，如用于構建醫療設備的 AI 計算平臺 Clara Holoscan、為機器人開發和 AI 打造的加速平臺 Isaac、自動駕駛汽車(AV)的端到端模組化開發平臺和參考架構 DRIV

89、E Hyperion 等。除 Omniverse 外，英偉達還在生物醫療、光刻、量子計算、物流等眾多領域與客戶展開合作、建立獨立加速庫，幫助客戶實現高效研發。未來我們認為軟件和應用生態將成為計算芯片的競爭關鍵，而英偉達在垂直行業領域的布局為其構筑了難以突破的競爭壁壘。Meta：AI 和元宇宙雙輪并驅和元宇宙雙輪并驅 發展歷程：全球最大社交媒體巨頭擁抱元宇宙和發展歷程：全球最大社交媒體巨頭擁抱元宇宙和 AIGC Meta 是全球社交網絡龍頭企業。是全球社交網絡龍頭企業。2004 年 Mark Zuckerberg 創立 Facebook，2021 年公司改名為 Meta Platforms，取意

90、 Metaverse(元宇宙)，體現了公司在虛擬世界中工作和娛樂的愿景。Meta 主要經營社交網絡服務、虛擬現實、元宇宙等產品，旗下擁有 Facebook、Instagram 和 WhatsApp 等社交軟件。在大模型領域，在大模型領域，Meta 奮起直追開源多個大模型。奮起直追開源多個大模型。2017 年，公司開源了深度學習框架 PyTorch，是深度學習領域最常用的框架之一。2023 年 2 月，Meta 推出針對研究社區的大型語言模型 LLaMA，在生成文本、對話、總結書面材料、證明數學定理或預測蛋白質結構等更復雜的任務方面有很大的前景。4 月，Meta 發布機器視覺領域首個用于圖像分割

91、的通用大模型SAM 和其訓練數據集 Segment Anything 1-Billion，將自然語言處理領域 prompt 范式延展到 CV 領域，為 CV 領域帶來革命性技術突破。5 月，Meta 發布大規模多語言語音 MMS項目，將徹底改變語音技術，支持 1,107 種語言的語音轉文字和文字轉語音以及超過 4,000種語言的語言識別。同月，Meta 發布 650 億參數語言模型 LIMA，無需 RLHF 就能對齊，在人類評估結果中甚至可與 GPT-4、Bard 和 DaVinci003 相媲美。圖表圖表44：Meta 發展歷程發展歷程 資料來源：Meta 官網，華泰研究 團隊：團隊：AI

92、人才匯聚，旨在創建人才匯聚，旨在創建 AIGC 頂級產品團隊頂級產品團隊 Meta 擁有一支經驗豐富的核心團隊。創始人、董事長兼首席執行官 Mark Zuckerberg，曾就讀于哈佛大學，2004 年創立了 Facebook。首席運營官 Javier Olivan，持有斯坦福大學工商管理碩士學位和納瓦拉大學電氣和工業工程碩士學位，在加入公司之前曾擔任西門子移動的產品經理。首席技術官 Andrew Bosworth，畢業于哈佛大學，曾任微軟 Visio 開發人員，2017 年創建了公司的 AR/VR 組織，領導公司發展 AR，VR，AI 和消費者硬件等。SEER-1.5B十億參數自監督模型20

93、21年3月SEER-10B百億參數自監督模型2022年2月DINO視覺大模型OPT-175B1750億參數大模型2022年5月ESM-2原子層級結構預測模型2022年7月Galactica開源語言模型2022年11月2012年5月Facebook創立2004年2月2013年4月人工智能實驗室FAIR成立2016年10月推出深度學習框架PyTorch2022年4月至今FacebookMeta 于納斯達克上市2021年10月Facebook更名為Meta Platforms，FAIR更名為Meta AI2022年1月AI超級計算機RSC建設啟動BlenderBot3AI聊天機器人2022年8月LL

94、aMA650億參數大語言模型2023年2月2023年2月成立專注AIGC的頂級產品團隊SAM圖像分割神器2023年4月DINO v2視覺大模型2023年4月ImageBind具備6種模態學習和生成能力的多模態模型2023年5月MMS可識別1100+語言的大語言模型2023年5月LIMA無需RLHF的大預言模型2023年5月 24 Meta Al是是Meta旗下的人工智能實驗室。旗下的人工智能實驗室。2013年，深度學習教授和圖靈獎得主 Yann LeCun創建 FAIR，其最初目標是研究數據科學、機器學習和人工智能。2014 年，統計學先驅Vladimir Vapnik 加入 FAIR。201

95、8 年，IBM 大數據集團前首席技術官 Jr me Pesenti 擔任FAIR 總裁一職。2021 年，FAIR 更名為 Meta Al。2022 年，Meta AI 在兩周內預測了 6 億個潛在蛋白質的 3D 形狀。2023 年，Zuckerberg 宣布將成立專注 AIGC 的頂級產品團隊，由負責 AI 和機器學習的副總裁 Ahmad Al-Dahle 領導，隊內共有數十名成員，匯聚了過去分散在公司各地團隊的 AI 人才。圖表圖表45：Meta 核心成員和核心成員和 Meta 人工智能實驗室人工智能實驗室 資料來源：Meta 官網，華泰研究 圖表圖表46：Meta 核心成員介紹核心成員介

96、紹 核心人物核心人物 Meta 職位職位 履歷履歷 Mark Zuckerberg 創始人、董事長兼首席執行官 曾就讀于哈佛大學，中途輟學創業。2004 年創立了 Meta 公司，當時名為 Facebook。Javier Olivan 首席運營官 持有斯坦福大學工商管理碩士學位和納瓦拉大學電氣和工業工程碩士學位。在加入 Meta 之前曾在德國西門子公司和東京的 NTT 數據公司。2007 年加入當時名為 Facebook 的公司，此前曾擔任 Meta 的首席增長官。Nick Clegg 全球事務總裁 于 2010 年至 2015 年擔任英國副首相，并于 2007 年至 2015 年擔任自由民主

97、黨領袖。2005 年至 2017 年，任謝菲爾德哈勒姆的國會議員。2018 年加入當時名為 Facebook 的公司，2018 年至 2022 年期間擔任Facebook 全球事務和通信副總裁，自 2022 年以來一直擔任 Meta 平臺全球事務總裁。Susan Li 首席財務官 畢業于斯坦福大學經濟系的數學與計算專業。在加入 Meta 之前曾任摩根士丹利的投資銀行分析師。2008 年加入了當時名為 Facebook 的公司，曾擔任公司財務副總裁，現任首席財務官，領導財務和設施團隊。Andrew Bosworth 首席技術官 2004 年畢業于哈佛大學，之后在微軟 Visio 做了近兩年的開發

98、人員。2006 年 1 月加入 Facebook。2017 年，他創建了公司的 AR/VR 組織，現在稱為現實實驗室。Chris Cox 首席產品官 2004 年畢業于斯坦福大學。2005 年加入 Facebook 擔任軟件工程師。2008 年成為產品副總裁。2014 年被提升為首席產品官。2019 年 4 月起研究和追求專注于氣候變化的新項目。2020 年 6 月回到公司。Jennifer Newstead 首席法律事務主任 擁有哈佛大學的學士學位和耶魯大學法學院的法學博士學位。曾任美國國務院法律顧問，白宮管理和預算辦公室的總法律顧問，司法部法律政策辦公室的首席副助理檢察長，總統特別助理和白

99、宮助理法律顧問，曾在Davis Polk&Wardwell LLP 擔任合伙人 12 年。2019 年加入公司。資料來源：Meta 官網，華泰研究 算力：擁有全球最快算力：擁有全球最快 AI 超級計算機超級計算機 AI RSC，推出自研，推出自研 AI 芯片芯片 MTIA AI RSC 是“全球最快是“全球最快 AI 超級計算機”之一。超級計算機”之一。AI RSC（AI Research SuperCluster）是Meta 用于訓練人工智能模型的 AI 超級計算機。2017 年，公司設計自研第一代算力設施，在單個集群中擁有 2.2 萬個英偉達 V100 Tensor Core GPU，每天

100、可執行 35,000 個訓練任務。2020 年，公司決定加速算力增長的最佳方式是從頭開始設計全新計算基礎架構，以利用新的 GPU 和網絡結構技術。公司希望新 AI 超算能夠在 1 EB 字節大的數據集上訓練具有超過一萬億個參數的模型，僅從規模上看，這相當于 36,000 年時長的高清晰度視頻。2023年 5 月，Meta 宣布已經完成了 RSC 的第二階段擴建，使其成為世界上最快的 AI 超級計算機之一，其混合精度計算性能接近 5 exaflops。Meta人工智能實驗室Meta核心成員MetaFAIR首席運營官Javier Olivan全球事務總裁Nick Clegg首席財務官Susan L

101、i首席技術官Andrew Bosworth首席產品官Chris CoxAIGC產品研發組首席法律事務主任Jennifer Newstead創始人&董事長兼首席執行官Mark ZuckerbergMeta AI 25 圖表圖表47：AI RSC 比比 Meta 當前基于當前基于 V100 的集群更快的集群更快 圖表圖表48：AI RSC 第一階段架構第一階段架構 資料來源：Meta 官網，華泰研究 資料來源：Meta 官網，華泰研究 Meta 推出自研推出自研 AI 芯片芯片 MTIA，入場大模型軍備競賽。，入場大模型軍備競賽。2020 年，Meta 設計了第一代 MTIA芯片，采用 7 納米工

102、藝，可以從其內部 128 MB 內存擴展到高達 128 GB，并且在 Meta 設計的基準測試中，它處理了低等和中等復雜度的 AI 模型，效率比 GPU 高。2023 年 5 月，Meta 首次推出 AI 定制芯片MTIA（Meta Training and Inference Accelerator），是加速AI 訓練和推理工作負載的芯片“家族”的一部分。MTIA 是一種 ASIC，一種將不同電路組合在一塊板上的芯片，允許對其進行編程以并行執行一項或多項任務。MTIA 采用開源芯片架構 RISC-V，它的功耗僅有 25 瓦，遠低于英偉達等主流芯片廠商的產品功耗。圖表圖表49：MTIA 軟件棧

103、軟件棧 資料來源：Meta 官網，華泰研究 框架：框架：PyTorch深度學習領域最受歡迎的框架之一深度學習領域最受歡迎的框架之一 PyTorch 是 Facebook 于 2017 年推出的一個基于 Python 的開源深度學習框架，具有靈活性、易用性和高性能，是深度學習領域最受歡迎的框架之一，在 GitHub 上獲超 66,500 顆產品研究比Meta當前基于V100的集群更快比Meta Al基于V100的研究集群更快比Meta Al基于V100的研究集群更快AI RSC英偉達 NCCL COLLECTIVES大規模NLP工作流AI RSC 第一階段Meta數據中心存儲175pb大容量存儲

104、器46pb緩存存儲10pb NFS存儲算力6080 英偉達 A100 GPU網絡每200 Gb/s HDR IB無GPU超額訂閱安全可靠隱私MTIA固件應用程序層PyTorch框架主機PyTorch加速器運行時主機固件接口主機固件設備AFG(FX編譯子圖執行)Eager MTIA PyTorch操作FX子圖/編譯的可執行文件預編譯操作MTIA張量，設備內存分配器，流接口FXMTIA編譯器編譯器MTIA流API,MTIA固件驅動程序MTIA內核庫 26 星。在 ML 領域的主要會議上提交工作成果的研究人員中，超過 80%使用了 PyTorch 框架。PyTorch 支持在 GPU 上進行高速計算

105、，在訓練時擁有更快的速度和更好的性能，從而能大規模提高研究效率。PyTorch 已成為亞馬遜網絡服務、微軟 Azure 和 OpenAI 等眾多公司和研究機構構建 AI 研究和產品的基礎。2022 年，公司正式發布 PyTorch 2.0，它提供了相同的 eager mode 和用戶體驗，同時通過 pile 增加了一個編譯模式，在訓練和推理過程中可以對模型進行加速，從而提供更佳的性能和對動態形狀和分布式的支持。圖表圖表50：Facebook 的的 PyTorch 之旅之旅 圖表圖表51：加速加速 PyTorch 2 Transformers 提高了訓練提高了訓練 NLP 模型速度模型速度 資料

106、來源：Meta 官網，華泰研究 資料來源：PyTorch 官網，華泰研究 模型：布局生成式模型：布局生成式 AI，開源語言、視覺等大模型，開源語言、視覺等大模型 語言大模型語言大模型#1：LLAMA 百億參數模型在大多數基準上勝過百億參數模型在大多數基準上勝過 GPT-3。2023 年 2 月，Meta推出了 LLaMA（通用語言大模型），目前提供 7B、13B、33B、65B 四種參數規模，都至少經過 1T token 的訓練：1）LLaMA 體量小、使用成本低且效果好：Meta 表示，LLaMA-13B在多數基準測試下（如常識推理、閉卷問答、閱讀理解、偏見性等）優于 GPT-3（175B）

107、，且可在單塊 V100 GPU 上運行；LLaMA-65B 與目前 LLM 中最好的 Chinchilla-70B 和PaLM-540B 旗鼓相當；2）LaMA 對非商用研究用例開源：LLaMA 不作商用目的，免費供給研究人員，目前 Meta 在 GitHub 上提供了精簡版 LLaMA?；?LLaMa 衍生出多個開源模型，例如斯坦福的 Alpaca、伯克利的 Vicuna、Kaola 和ColossalChat，以及哈工大基于中文醫學知識的華駝。加州大學伯克利分校計算機科學教授 Ion Stoica 表示，免費的人工智能模型現在在性能上與谷歌和 OpenAI 的專有模型“相當接近”，大多數

108、軟件開發商最終都會選擇使用免費模型。圖表圖表52：LLaMA-13B 在多數基準測試下優于在多數基準測試下優于 GPT-3，LLaMA-65B 相比相比 Chinchilla-70B 和和 PaLM-540B 具備競爭力具備競爭力 資料來源：LLaMA:Open and Efficient Foundation Language Models（Touvron et al.2023），華泰研究 平均每天有超過4000個Facebook模型在PyTorch上運行。在PyTorch上，超過1,700個Faralebook推理模型正在全面生產Facebook超過93%的訓練模型都在PyTorch上 越

109、小越好SDPA實施常識推理：LLaMA-13B在在大多數基準上都超過GPT-3（175B）閉卷問答：LLaMA-65B 在零樣本和少樣本設置中的性能都是最優閱讀理解：LLaMA-65B可媲美PaLM-540B代碼生成：優于其他一般模型大規模多任務語言理解：LLaMA-65B與目前LLM中最好的Chinchilla-70B和PaLM-540B不相上下 27 語言大模型語言大模型#2：LIMA 無需無需 RLHF 就能對齊，媲美就能對齊，媲美 GPT-4。2023 年 5 月，Meta 發布 650億參數語言模型 LIMA，僅在 1,000 個精心挑選的樣本上微調 LLaMa-65B 且無需 RL

110、HF，就實現了與 GPT-4 和 Bard 相媲美的性能。GPT-4 背后的生成領域訓練新范式 RLHF 依賴于大量的人工標注和評估，Meta AI 等機構的研究者提出“表面對齊假說”，指出大型語言模型中幾乎所有的知識都是在預訓練期間學習的，并且想讓模型產生高質量的輸出只需要部分必要的指令調優數據，這將有助于大型語言模型降低訓練成本。圖表圖表53：Alpaca 65B 和和 DaVinci003 輸出的結果往往不如輸出的結果往往不如 LIMA 圖表圖表54：LIMA 以少勝多以少勝多 資料來源：LIMA:Less Is More for Alignment（Zhou et al.,2023），

111、華泰研究 資料來源：LIMA:Less Is More for Alignment（Zhou et al.,2023），華泰研究 語音大模型語音大模型#1：MMS 模型可識別模型可識別 1100+語言，旨在保護世界語種的多樣性。語言，旨在保護世界語種的多樣性。2023 年 5 月，Meta 推出大規模多語言語音項目 MMS（Massively Multilingual Speech）?，F有的語音識別模型僅覆蓋約100種語言，僅為地球上已知的7,000多種語言的小部分，MMS使用wav2vec 2.0 的自監督學習，支持 1,107 種語言的語音轉文字和文字轉語音以及超過 4,000 種語言的語

112、言識別。MMS 用圣經訓練，與 OpenAI Whisper 相比，使用 MMS 數據訓練的模型中支持 11 倍以上的語言，且在 54 種語言上的平均錯誤率僅為一半。圖表圖表55：MMS 支持的語言示意圖支持的語言示意圖 圖表圖表56：MMS 錯誤率僅為錯誤率僅為 Whisper 數據集的一半數據集的一半 資料來源：Meta 官網，華泰研究 資料來源：Meta 官網，華泰研究 CV 大模型大模型#1：SAM 模型可“分割一切”，模型可“分割一切”，CV 領域迎來領域迎來 GPT-3 時刻。時刻。2023 年 4 月，Meta推出首個可“任意圖像分割”的基礎模型SAM（Segment Anyth

113、ing Model），它具有強大的一鍵摳圖功能，能從照片或視頻中對任意對象實現一鍵分割，且能夠零樣本遷移到其他任務，為 CV 領域開啟了新的篇章。Meta 還發布了有史以來最大的分割數據集 Segment Anything 1-Billion(SA-1B)，擁有超過 11 億個分割掩碼，掩碼具有高質量和多樣性。28 圖表圖表57：SAM 的通用分割模型的通用分割模型 資料來源：Meta 官網，華泰研究 CV 大模型大模型#2：DINOv2 視覺大模型完全自監督，無需微調。視覺大模型完全自監督，無需微調。2021 年 4 月，Meta 公開了DINO 算法，通過自監督學習，DINO 可以從大量未

114、標注的圖像中提取視覺特征，這些特征對于各種下游計算機視覺任務非常有用，例如圖像分類、物體檢測和語義分割。2023 年 4月，Meta 開源 DINOv2 版本，相比較原始的 DINO 模型，DINOv2 能夠對視頻進行處理，生成比原始 DINO 方法更高質量的分割結果。模型除了具備圖像的識別、分類、分割處理等圖像特征提取功能外，還具有語義分割，完善了以圖搜圖功能。圖表圖表58：DINOv2 能夠生成比原始能夠生成比原始 DINO 方法更高質量的分割方法更高質量的分割 圖表圖表59：DINOv2 在自監督學習方面有顯著改進在自監督學習方面有顯著改進 資料來源：Meta 官網，華泰研究 資料來源：

115、Meta 官網，華泰研究 多模態模型多模態模型#1：ImageBind 用圖像對齊六模態，旨在實現感官大一統。用圖像對齊六模態，旨在實現感官大一統。2023 年 5 月，Meta開源 ImageBind 新模型，是一個像人類一樣結合不同感官的新 AI 模型，能夠同時從文本、圖像/視頻、音頻、深度（3D）、熱能（紅外輻射）和慣性測量單元（IMU）等六種不同的模態中學習。ImageBind 可以使用文本、音頻和圖像的組合來搜索照片、視頻、音頻文件或文本消息。ImageBind 用于豐富的多媒體搜索、虛擬現實甚至機器人技術，可以和 Meta 內部的虛擬現實、混合現實和元宇宙等技術相結合。通用分割模型

116、圖像圖像編碼器圖像嵌入down樣本掩碼輕量級掩碼解碼器提示解碼器點 盒子 文本有效掩碼置信度分數置信度分數置信度分數 29 圖表圖表60：千千腦智能腦智能 ImageBind 能調動能調動 6 種感知區域進行聯動交流種感知區域進行聯動交流 圖表圖表61：ImageBind 的多模態能力的多模態能力 資料來源：Meta 官網，華泰研究 資料來源：Meta 官網，華泰研究 AWS：全球卓越的云服務平臺發力：全球卓越的云服務平臺發力 AIGC 市場市場 發展歷程：全球領先的云服務平臺強勢入局發展歷程：全球領先的云服務平臺強勢入局 AIGC AWS 是亞馬遜專門負責云計算的子公司。是亞馬遜專門負責云計

117、算的子公司。亞馬遜成立于 1994 年，是目前全球最大的互聯網線上零售商之一。AWS（Amazon Web Services）于 2016 年正式推出，是亞馬遜公司旗下的子公司，向個人、企業和政府提供按需即用云計算平臺以及應用程序接口，并按照使用量計費。2002 年 7 月，亞馬遜的“A Web Services”上線了首款 Web 服務。2006 年 3 月，AWS 推出了 Amazon S3 云存儲，隨后于 2006 年 8 月推出了 EC2。AWS 四項技術創新助力四項技術創新助力 AIGC 發展。發展。2023 年 4 月，AWS 正式入局 AIGC，推出自有基礎模型 Titan 和

118、AIGC 服務 Bedrock，以及 AI 編程助手 Amazon CodeWhisperer，并宣布基于自研推理和訓練AI芯片的最新實例Amazon EC2 Trn1n和Amazon EC2 Inf2正式可用。圖表圖表62：AWS 發展歷程發展歷程 資料來源：AWS 官網，華泰研究 深度文本音頻熱能IMU跨模態檢索音頻圖像&視頻深度文本嵌入空間算法音頻到圖像的生成圖像檢索到的圖像音頻音頻生成圖像火車號角汽車加速企鵝叫聲“一列火車駛入一個繁忙的車站?！?、“火車在草地上行駛時，風在吹?！?、“人們在餐車里喝咖啡?！盇mazon Titan&Amazon Bedrock至今至今AWS Inferen

119、tiaAI推理芯片2018年年11月月2022年年10月月Amazon SageMaker2017年年11月月云機器學習平臺2021年年1月月Amazon CodeWhisperer2023年年4月月AWS TrainiumAI訓練芯片2020年年12月月2006年年3月月AWS正式推出云計算產品2022年年8月月200 億參數模型AlexaTM 20B2023年年4月月大語言模型Amazon Titan&生成式AI服務Amazon Bedrock代碼生產工具基于AWS Inferentia的Amazon EC2 Inf1實例基于AWS Trainium的Amazon EC2 Trn1實例基于

120、AWS Inferentia2的Amazon EC2 Inf2實例、基于AWS Trainium的Amazon EC2 Trn1n實例 30 圖表圖表63：AWS 的的 AIGC 布局布局 資料來源：AWS 官網，華泰研究 算力：提供最具成本效益的生成式算力：提供最具成本效益的生成式 Al 云基礎設施云基礎設施 Inferentia 是是 ML/DL 推理（推理（Inference）加速器。）加速器。2018 年 11 月，AWS 發布首款云端 AI芯片 Inferentia，旨在以極低成本交付高吞吐量、低延遲推理性能。2021 年 1 月，AWS 推出基于 AWS Inferentia 加速

121、器的 Amazon EC2 Inf1 實例，與當前一代基于 GPU 的 Amazon EC2 實例相比，吞吐量最高可提高 2.3 倍，每次推理的成本降低多達 70%。2023 年 4 月，AWS 推出配備 Amazon Inferentia2 芯片的 Amazon EC2 Inf2 實例。與第一代 AWS Inferentia 相比，Inferentia2 的吞吐量提高了 4 倍，延遲低至前者的 1/10。圖表圖表64：AWS Inferentia2 資料來源：AWS 官網，華泰研究 Trainium 是是 ML/DL 訓練（訓練（Training）加速器。）加速器。2020 年 12 月，A

122、WS 發布第二款定制的機器學習芯片 AWS Trainium，支持 TensorFlow、PyTorch 和 MXNet 等框架。2022 年 10月，AWS 推出 Amazon EC2 Trn1，基于 Trainium 的 EC2 Trn1 實例與基于 GPU 的同類實例相比，可節省高達 50%的訓練成本。2023 年 4 月，AWS 推出配備 AWS Trainium 的Amazon EC2 Trn1n 實例，相比于 Trn1 網絡帶寬提升了 1 倍，從之前的 800GB 左右提升到 1.6TB，旨在為大型的網絡密集型的模型訓練來使用。31 圖表圖表65：UltraCluster 適用于超

123、大型模型適用于超大型模型 資料來源：AWS 官網，華泰研究 框架：一站式機器學習平臺框架：一站式機器學習平臺 Amazon SageMaker 助力助力 AIGC 2017 年，AWS 推出 Amazon SageMaker，是一項完全托管的服務，可通過完全托管的基礎設施、工具和工作流程為任何用例準備數據并構建、訓練和部署機器學習（ML）模型。它支持 MXNet、TensorFlow、PyTorch 等多種深度學習框架，同時提供了許多其他工具和功能。2022 年，AWS 與 Al 繪畫獨角獸 Stability Al 宣布組成聯盟，成為 Stability AI 構建和訓練 AI 內容生成模型

124、的“首選云合作伙伴”。在 IDC2022 年發布的2022 年亞太地區（不含日本）AI 生命周期軟件工具和平臺供應商評估中，AWS 憑借 Amazon SageMaker 強大、豐富且靈活的功能和廣泛的交付能力及對開源項目的持續貢獻，獲評 AI 生命周期軟件領導者。圖表圖表66：AWS 在在2022 年亞太地區（不含日本）年亞太地區（不含日本）AI 生命周期軟件工具和平臺供應商評估中獲評生命周期軟件工具和平臺供應商評估中獲評 AI 生命周期軟件領導者生命周期軟件領導者 資料來源：亞馬遜云科技官微，華泰研究 UltraCluster適用于超大型模型UltraCluster適用于超大型模型Peta

125、bits/s吞吐量，數十億IOPS千兆non-blocking TOR每個 Trn1 實例均可支持高達 800 Gbps 的 EFAv2 帶寬 32 模型：推出模型：推出 Titan 大模型及中立托管平臺大模型及中立托管平臺 Bedrock 2023 年 4 月，AWS 推出的自研語言大模型 Titan。Titan 系列模型分為兩種，一種是用于內容生成的文本模型 Titan text，可以執行諸如撰寫博客文章和電子郵件、總結文檔和從數據庫中提取信息等任務。另一種是可創建矢量嵌入的嵌入模型 Titan Embeddings，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數字表達的大

126、語言模型。中立托管平臺中立托管平臺 Amazon Bedrock 讓讓 AIGC 變得普惠。變得普惠。2023 年 4 月，AWS 推出 Amazon Bedrock，讓企業級客戶能快速、安全和高性價比地調用多種大模型構建自己的程序。區別于谷歌和微軟已發布面向大眾的產品，AWS 瞄準的是企業客戶，并且期望作為一個“中立”的生成式 AI 大模型托管平臺，不依賴于任何一家 AI 初創公司。借助 Bedrock，企業級客戶能通過 API 調用來自不同提供商的 AI 模型，例如 AI21 Labs 的 Jurassic-2、Anthropic 的Claude、Stability AI 的 Stable

127、 Diffusion 以及 AWS 自研模型 Titan。產品：免費向個人開放產品：免費向個人開放 AI 編程助手編程助手 Amazon CodeWisperer AI 編程助手編程助手 Amazon CodeWhisperer 提高開發者效率。提高開發者效率。2022 年，AWS 推出 Amazon CodeWhisperer 預覽版，這是一款 AI 編程助手，通過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和集成開發環境（IDE）中的既有代碼實時生成代碼建議，從而提升開發者的生產效率。2023 年 4 月，AWS 將 Amazon CodeWhisperer 面向個人開發者免費開放，

128、在適用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持 Go、Kotlin、Rust、PHP 和 SQL 等十種開發語言。開發者可以通過在 VS Code、IntelliJ IDEA、Amazon Cloud9 等集成開發環境中的 Amazon Toolkit 插件訪問 CodeWhisperer。圖表圖表67：Amazon CodeWhisperer 示例示例 資料來源：AWS 官網，華泰研究 Anthropic：OpenAI 前核心成員創建的人工智能安全與研究公司前核心成員創建的人工智能安全與研究公司 由由 OpenAI 的前核心成員創立，愿景是

129、構建可靠、可解釋和可操控的的前核心成員創立，愿景是構建可靠、可解釋和可操控的 AI 系統系統 Anthropic 是一家人工智能安全與研究公司，由 OpenAI 的前核心成員創立，愿景是構建可靠、可解釋和可操控的 AI 系統。在 OpenAI 接受微軟投資并轉向盈利模式后，團隊在人工智能開發的道路上產生了分歧，時任研究副總裁的 Dario Amodei 和其他數十位 OpenAI 核心成員選擇離職，其中包含 8 位 GPT 系列作者，并于 2021 年創立 Anthropic，研究目標為AI 安全與大模型。公司期望能顛覆現有的深度學習范式，通過構建可解釋性人工智能模型（Interpretabl

130、e AI），解決神經網絡的黑匣子問題。33 圖表圖表68：從從 OpenAI 離職并加入離職并加入 Anthropic 的部分的部分 GPT 系列作者情況系列作者情況 資料來源：量子位公眾號，海外獨角獸公眾號，華泰研究 Anthropic 前期以科研為重心，研究前期以科研為重心，研究 AI 模型的安全問題模型的安全問題 Anthropic 創立之初專注于科研，成立以來已經發表了 15 篇論文，研究方向包括自然語言、人類反饋、關于意圖和結果間偏差的對齊問題、可解釋性、社會影響等方面。2022 年 12月，Anthropic 提出構建 Constitutional AI 的方法，即人類不再手工為每

131、個有害輸出打標簽，而是為 AI 指定一套行為規范或原則，模型產生無害性偏好的數據集，并且能夠利用 AI 監督AI 進行快速修復。Constitutional AI 的提出使得更精確、更自動化地控制的提出使得更精確、更自動化地控制 AI 的行為成為的行為成為可能，降低可能，降低 AI 模型產生有害內容的風險。模型產生有害內容的風險。加快商業化腳步，推出加快商業化腳步，推出 ChatGPT 的有力對手的有力對手 Claude Anthropic 于于 1Q23 正式加速商業化。正式加速商業化。公司推出以 Constitutional AI 為基礎構建的聊天機器人 Claude，與 ChatGPT

132、構成竟爭。Claude 包含兩個產品類型：1）Claude Instant：針對低延遲、高吞吐量用例進行了優化；2）Claude-v1：在復雜推理的任務上表現更優。Claude當前已擁有十余家合作伙伴，共同探索在生產力、對話、醫療、客戶成功、HR 和教育等領域的應用。圖表圖表69：Anthropic 的模型和應用的模型和應用 注：藍色方框表示模型，紅色六邊形表示產品 資料來源：斯坦福 Ecosystem Graphs，華泰研究 姓名職位在的任職和貢獻AnthoropicOpenAIDario AmodeiCo-Founder&CEOOpenAl Research VP,GPT-2GPT-3Op

133、enAlJack ClarkCo-FounderOpenAlGPT-3Sam McCandlishCo-Founder ScalingOpenAl Research Leadscaling lawsGPT-3CodexTom B.BrownCo-FounderModel EngineeringOpenAl Technical StaffGPT-31.5B170BJared KaplanCo-FounderAlignment ScienceOpenAlGPT-3Benjiamin MannCo-FounderAPIOpenAl Technical StaffGPT-3曾任領導和的工作，負責制定整

134、體方向和年度路線圖負責對外事務曾任政策主管，參與項目負責曾任，負責，參與項目，所領導項目后成為負責曾任，領導的工程化，負責分布式訓練的基礎架構，支持將參數從擴展到的量級負責負責技術產品曾任研究顧問，參與項目負責曾是，論文核心作者 34 Claude 與 ChatGPT 相比，Claude 的優點是更擅長拒絕不恰當請求、更有趣、更健談以及寫作的句子銜接更自然；但缺點在于代碼生成或推理方面，出現的錯誤更多；在邏輯問題的計算或推理上，兩者旗鼓相當。圖表圖表70：遇到無法回答的問題時，遇到無法回答的問題時，Claude 會主動坦白會主動坦白 圖表圖表71：在代碼生成或推理方面，在代碼生成或推理方面，C

135、laude 出現錯誤較多出現錯誤較多 資料來源：Meet Claude:Anthropics Rival to ChatGPT（Riley Goodside and Spencer Papay,2023），華泰研究 資料來源：Meet Claude:Anthropics Rival to ChatGPT（Riley Goodside and Spencer Papay,2023），華泰研究 成立成立長期利益委員會長期利益委員會，幫助，幫助平衡平衡 AI 安全的研究和商業化進度安全的研究和商業化進度的關系的關系。為了免受商業化的干擾，Anthropic 公司注冊為公共利益公司（Public Be

136、nefit Corporation，PBC），并建立了一個長期利益委員會，該委員會由與公司或其投資人無關的人組成，他們將對包括董事會的組成在內的事項擁有最終決定權。Anthropic 加速融資以支撐加速融資以支撐 AI 模型訓練和部署模型訓練和部署 LLM 的訓練和部署需要消耗大量的資金和計算資源，Anthropic 今年預計花費 10 億美元訓練和部署大模型，兩年后更是需要 30-50 億美元的資金。2023 年以來，Anthropic 已經接受了 3 輪來自 Google、Spark Capital 和 Salesforce Ventures 的投資，目前估值約 50 億美元。公司已把 C

137、laude 集成到把 Slack 平臺中，并且將使用 Google 提供的云服務。圖表圖表72：Anthropic 的融資進程的融資進程 資料來源：IT 桔子，華泰研究 披露時間披露時間輪次輪次融資金額融資金額估值估值投資方投資方2023-05-24C輪4.5億美元50億美元Spark Capital（領投）谷歌SalesforceSound VenturesZoom Ventures2023-03-09戰略投資3億美元41億美元Spark Capital2023-02-03C輪3億美元30億美元谷歌2022-04-29B輪5.8億美元-Sam Bankman-Fried(FTX CEO)領投

138、；Jaan Tallinn,Caroline Ellison,Nishad Singh,CenterforEmerging Risk Research,James McClave2021-05-28A輪1.24億美元-Jaan Tallinn 領投；Eric Schmidt,Dustin Moskovitz,Center for EmergingRiskResearch,James McClave 35 國內大模型：互聯網巨頭和已有充分積累的初創公司國內大模型：互聯網巨頭和已有充分積累的初創公司 百度：昆侖芯百度：昆侖芯+飛槳平臺飛槳平臺+文心大模型，構建廣泛應用端生態文心大模型，構建廣泛應用

139、端生態 百度是當前唯一一家在芯片層、框架層、模型層和應用層都有領先產品布局的企業，四層百度是當前唯一一家在芯片層、框架層、模型層和應用層都有領先產品布局的企業，四層架構相互協同優化，可以顯著地降本增效。架構相互協同優化，可以顯著地降本增效。在芯片層，百度昆侖芯科技已實現兩代通用 AI芯片“昆侖”的量產及應用，為大模型落地提供強大算力支持。在框架層，“飛槳”是國內首個自主研發的產業級深度學習平臺，集基礎模型庫、端到端開發套件和工具組件于一體，有效支持文心大模型高效、穩定訓練。在模型層，“文心大模型”包括基礎大模型、任務大模型、行業大模型三級體系，全面滿足產業應用需求。在應用層，文心已大規模應用于

140、百度自有業務的各類產品，并通過企業級平臺“文心千帆”進一步推動生態構建。圖表圖表73：百度大模型的發展歷程百度大模型的發展歷程 資料來源：昆侖芯科技官網、百度官網、華泰研究 團隊：百度團隊：百度 CTO 王海峰領銜，技術大牛帶隊王海峰領銜，技術大牛帶隊 百度百度 CTO 王海峰作為領頭人推動百度的王海峰作為領頭人推動百度的 AI 技術戰略發展和生態構建。技術戰略發展和生態構建。王海峰曾任職于微軟，先后主持 Bing 語義搜索、微軟小冰等項目；其于 2010 年加入百度，并在 2018 年升任百度 CTO，曾推出百度大腦、百度小度等一系列產品。其他帶隊的高管還包括百度集團副總裁兼深度學習技術及應

141、用國家工程研究中心副主任吳甜、百度技術委員會主席吳華等。吳甜于 2006 年加入百度，目前負責百度 AI 技術平臺和智能云 AI 產品，領銜研發為文心大模型提供支撐的飛槳深度學習平臺。吳華曾在百度帶領團隊出世界首個互聯網 NMT（神經網絡機器翻譯）系統，目前主要帶領 NLP 大模型的技術推進。算力：兩代自研通用算力：兩代自研通用 AI 芯片“昆侖”支持大模型落地芯片“昆侖”支持大模型落地 百度旗下的芯片公司昆侖芯科技已實現兩代通用百度旗下的芯片公司昆侖芯科技已實現兩代通用 AI 芯片產品的量產及落地應用。芯片產品的量產及落地應用。昆侖芯 1代 AI 芯片于 2020 年量產，是國內唯一一款經歷

142、過互聯網大規模核心算法考驗的云端 AI 芯片，當前已被廣泛部署在互聯網、工業制造、智慧城市、智慧交通、科研等領域。昆侖芯 2代 AI 芯片于 2021 年 8 月量產發布，是國內首款采用 GDDR6 顯存的通用 AI 芯片，相比昆侖芯 1 代 AI 芯片性能提升 2-3 倍，且在通用性、易用性方面也有顯著增強。目前，昆侖芯已在百度搜索等業務場景落地，也為大模型訓練提供底層算力支撐。百度之外，昆侖芯還可為客戶提供大模型定制服務，憑借強大算力為大模型落地提供全流程支持。至今2022年8月AI藝術與輔助創作平臺文心一格推出ERNIE-ViLG 2.0知識增強跨模態大模型文心一言ERNIE Bot“知

143、識+檢索+對話”增強的NLP大模型2018年自研AI通用芯片昆侖1代發布2020年昆侖芯1代系列產品大規模部署2021年8月昆侖芯2代系列產品量產發布2023年3月文心千帆Ernie 1.0NLP模型；中國首個正式開放的預訓練模型2019年Plato隱變量對話大模型2019年9月Plato-XL中英對話生成大模型2021年9月Ernie-viLG中文跨模態生成大模型2021年12月鵬城-百度 文心知識增強NLP大模型2021年12月Plato-2one-to-one+隱變量對話大模型2020年6月Ernie 3.0知識增強NLP大模型2021年7月ERNIE 3.0 Zeus任務知識增強NLP

144、大模型2021年百度芯片業務獨立，昆侖芯科技完成獨立融資，首輪估值約130億元2022年5月百度聯合國家電網、浦發銀行發布2個行業大模型2022年7月推出世界首個航天領域大模型“航天-百度 文心”2022年11月百度聯合深圳燃氣、吉利、泰康保險、TCL、上海辭書出版社、人民網、哈爾濱、電影頻道陸續推出行業大模型AI藝術與輔助創作平臺文心一格推出 36 框架：產業級深度學習平臺“飛槳”為大模型構建提供有力支撐框架：產業級深度學習平臺“飛槳”為大模型構建提供有力支撐 我國首個自主研發、功能豐富、開源開放的產業級深度學習平臺飛槳（PaddlePaddle）是百度大模型背后的有力支撐。飛槳以百度多年的

145、深度學習技術研究和業務應用為基礎，集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件和豐富的工具組件于一體，有效支持文心大模型高效、穩定訓練。截至目前，飛槳已和 22 家國內外硬件廠商完成了超過 30 種芯片的適配和聯合優化，國產芯片適配第一。圖表圖表74：飛槳全景圖飛槳全景圖 資料來源：飛槳官網，華泰研究 文心大模型：“基礎文心大模型：“基礎+任務任務+行業”大模型三層體系全面滿足產業應用需求行業”大模型三層體系全面滿足產業應用需求 百度文心大模型體系構建了文心大模型、工具與平臺兩層體系。在模型層，文心大模型包括基礎大模型、任務大模型、行業大模型三級體系，打造大模型總量近 40 個，全

146、面滿足產業應用需求，涵蓋電力、燃氣、金融、航天等領域?；A大模型針對特定任務預訓練構建任務大模型，任務大模型結合垂直領域數據和知識進一步形成行業大模型，行業大模型則在應用場景的數據反哺基礎大模型優化。在工具與平臺層，大模型開發套件、文心 API 以及提供全流程開箱即用大模型能力的 EasyDL 和 BML 開發平臺，幫助全方位降低應用門檻。圖表圖表75：文心全景圖文心全景圖 資料來源：文心大模型官網，華泰研究 37 應用：大模型生態逐步構建，推動應用：大模型生態逐步構建，推動 AI 落地產業落地產業 文心大模型是目前國內預訓練大模型應用端生態最好的大模型之一文心大模型是目前國內預訓練大模型應用

147、端生態最好的大模型之一。在百度自有業務中，文心已大規模應用于百度內部的各類產品，包含百度搜索、度小滿金融、小度智能屏、百度地圖等。例如，度小滿的智能征信中臺將文心 ERNIE 大模型應用在征信報告的解讀上，能夠將報告解讀出 40 萬維的風險變量，以更好地識別小微企業主的信貸風險。在百度業務之外，文心大模型聯合國網、浦發、中國航天、人民網等企業推出了 11 個行業大模型，讓大模型加速推動行業的智能化轉型升級。例如，根據文心大模型官網，與深圳燃氣聯合建立的深圳燃氣百度文心大模型，在工業巡檢、環境巡檢場景下，準確率和召回率分別平均提升 2.5%和 4.5%，且所需標注數據相比傳統模型下降 90%，泛

148、化能力大幅提升。文心一言生態逐步構建，加速生成式文心一言生態逐步構建，加速生成式 AI 應用需求落地。應用需求落地。2023 年 3 月，百度率先發布國內第一個類 ChatGPT 生成式大語言模型“文心一言”，展示了其在文學創作、商業文案創作、數理邏輯推理、中文理解、多模態生成方面的能力，并宣布已有超過 650 家企業宣布接入文心一言生態。同月，百度智能云發布的一站式企業級大模型平臺“文心千帆”，平臺提供基于文心一言的數據管理、模型定制微調、推理云等服務，助力各行業的生成式 AI 應用需求落地，進一步推動文心一言生態構建。阿里巴巴：通義大模型構建大一統模型，阿里巴巴：通義大模型構建大一統模型，

149、所有產品將接入通義千問所有產品將接入通義千問 阿里達摩院：孕育阿里巴巴人工智能的技術沃土阿里達摩院：孕育阿里巴巴人工智能的技術沃土 阿里達摩院于 2017 年成立，在 NLP 自然語言處理等前沿科研領域持續布局，于 2019 年啟動大模型研發，先后公布多個版本大模型和“通義”大模型系列。2023 年 2 月，達摩院將注冊資本從 1000 萬元增加至 3 億元，新增投資將用于持續布局 AI 底層技術。阿里達摩院的大模型主力團隊由兼具阿里達摩院的大模型主力團隊由兼具 AI 領域的學術能力和項目經驗的能力者帶領。領域的學術能力和項目經驗的能力者帶領。模型主力團隊的“一號位”是周靖人，曾在微軟任首席科

150、學家，帶領必應搜索基礎設施團隊和大數據部門；于 2016 年加入阿里，曾任阿里云首席科學家，現升任阿里達摩院副院長兼阿里云智能 CTO。三大主力團隊是“語言技術實驗室”、“視覺智能實驗室”以及“智能計算實驗室”，分別以 NLP、CV、計算能力為目標。三個團隊的領導者均是背景豪華、兼具學術能力和項目經驗的能力者。NLP 團隊的黃非，曾任職于 IBM、Facebook，在阿里領導 AliNLP的基礎技術研發和業務落地；CV 團隊的趙德麗，曾供職于小米、微軟亞洲研究院；智能計算實驗室的周暢，曾負責多模態模型 M6、M6-OFA 及相關 AIaaS 服務項目。38 圖表圖表76：阿里達摩院的大模型主力

151、團隊阿里達摩院的大模型主力團隊 資料來源：職場 Bonus，華泰研究 算力：自研芯片含光算力：自研芯片含光 800 和倚天和倚天 710 提供高性價比算力支持提供高性價比算力支持 阿里巴巴自研芯片含光阿里巴巴自研芯片含光 800 和倚天和倚天 710 共同為共同為 AI 大模型提供算力支持。大模型提供算力支持。達摩院于 2018 年成立了平頭哥半導體有限公司，以推進云端一體化的芯片布局。含光 800 是一款于 2019年推出的專門為分布式計算和 AI 任務設計的芯片，比當時業界最好的 AI 芯片性能高 4 倍。倚天 710 是中國首個云上大規模應用的自研 CPU，當前已在阿里云數據中心大規模部

152、署，并以云的形式服務阿里巴巴和多家互聯網科技公司，將算力性價比提升超 30%、單位算力功耗降低 60%。此外，阿里云于 2022 年云棲大會上還發布了云基礎設施處理器（CIPU），CIPU 相比 CPU 性能更高、更穩定，將算力輸送能力提升至新水平?？蚣埽航y一易用的分布式深度學習訓練框架框架：統一易用的分布式深度學習訓練框架 EPL 支撐“大一統”模型構建支撐“大一統”模型構建 EPL 是一個統一多種并行策略、易用的分布式深度學習訓練框架，為萬億級大模型的低碳是一個統一多種并行策略、易用的分布式深度學習訓練框架，為萬億級大模型的低碳高效訓練提供有力支撐。高效訓練提供有力支撐。阿里云機器學習 P

153、AI 團隊于 2022 年 3 月宣布開源自主研發的分布式訓練框架 EPL（Easy Parallel Library），EPL 通過對不同并行化策略進行統一抽象、封裝，在一套分布式訓練框架中支持多種并行策略，并進行顯存、計算、通信等全方位優化來提供易用、高效的分布式訓練框架。EPL 為萬億級大模型的低碳高效訓練提供有力支撐，10 萬億級模型 M6-10T 就是基于 EPL 框架訓練而成。相比之前發布的大模型 GPT-3，M6實現同等參數規模的訓練能耗僅為其 1%，做到了業內極致的低碳高效。39 圖表圖表77：EPL 的整體架構的整體架構 資料來源：阿里云官網，華泰研究 通義大模型：基于通義大

154、模型：基于 AI 統一底座的層統一底座的層次化體系次化體系 達摩院構建了達摩院構建了 AI 統一底座統一底座 M6-OFA，在業界首次實現大模型的模態表示、任務表示、模型，在業界首次實現大模型的模態表示、任務表示、模型結構的統一。結構的統一。通過這種統一學習范式，在不引入新增結構的情況下，單一模型即可同時處理圖像描述、視覺定位、文生圖、視覺蘊含、文檔摘要等 10 余項單模態和跨模態任務，且效果達到國際領先水平。此外，模型設計借鑒了人腦模塊化設計，以場景為導向靈活拆拔功能模塊，實現高效率和高性能。圖表圖表78：M6-OFA 具備處理多模態任務的“大一統”能力具備處理多模態任務的“大一統”能力 資

155、料來源：OFA:Unifying Architectures,Tasks,and Modalities Through a Simple Sequence-to-Sequence Learning Framework（Wang et al.,2022），華泰研究 通義大模型基于國內首個通義大模型基于國內首個 AI 統一底座，并構建通用與專業模型協同的層次化統一底座，并構建通用與專業模型協同的層次化 AI 體系。體系。2022年 9 月，阿里達摩院發布“通義”大模型系列，其架構分為三個層次：1）模型底座層：多模態統一底座模型 M6-OFA，實現統一的學習范式和模塊化設計；2）通用模型層：多模態模

156、型“通義-M6”、NLP 模型“通義-AliceMind”以及 CV 模型“通義-視覺”；3）行業模型層：深入電商、醫療、法律、金融、娛樂等行業。40 圖表圖表79：通義大模型架構通義大模型架構 資料來源：阿里云開發者網站，華泰研究 應用：賦能產品應用增效，推出模型即服務共享平臺應用：賦能產品應用增效，推出模型即服務共享平臺 通過部署超大模型的輕量化及專業模型版本，通義大模型已在超過通過部署超大模型的輕量化及專業模型版本，通義大模型已在超過 200 個場景中提供服務，個場景中提供服務，實現實現 2%10%的應用效果提升。的應用效果提升。在搜索場景中，可實現以文搜圖的跨模態搜索。在 AI 輔助審

157、判中，可實現司法卷宗的事件抽取、文書分類等任務效果 35%的提升。在人機對話領域，初步具備知識、記憶、情感以及個性的中文開放域對話大模型可實現主動對話、廣泛話題、緊跟熱點等對話體驗。此外，通義大模型在 AI 輔助設計、醫療文本理解等其他領域也有豐富的應用場景。阿里旗下所有產品將接入通義千問，并將向企業開放通義千問阿里旗下所有產品將接入通義千問，并將向企業開放通義千問 API。2023 年 4 月，阿里巴巴發布類 ChatGPT 的大語言模型“通義千問”，模型可提供文案創作、對話聊天、知識問答、邏輯推理、代碼編寫、文本摘要以及圖像視頻理解服務。未來，阿里巴巴所有產品都將接入大模型進行全面升級。例

158、如，釘釘在接入通義千問后，可實現撰寫郵件、生成方案、總結會議紀要等近 10 項新 AI 功能。此外，通義千問 API 將開放給企業級用戶來訓練企業專屬垂直領域的大模型。例如，阿里云宣布將與 OPPO 安第斯智能云合作，基于通義千問大模型的能力打造 OPPO 大模型基礎設施，以支撐其海量終端用戶的 AI 服務。圖表圖表80：阿里所有產品未來將接入大模型全面升級阿里所有產品未來將接入大模型全面升級 資料來源：阿里云開發者社區，華泰研究 41 AI 開源社區魔搭開源社區魔搭 ModelScope 旨在打造下一代模型即服務（旨在打造下一代模型即服務（Model as a Service）的共享）的共享

159、平臺。平臺。阿里于 2022 年云棲大會推出魔搭社區 ModelScope，整合業界多方模型提供者，提供眾多預訓練基礎模型和 API 接口，開發者只需針對具體場景再稍作調優，就能將模型快速投入使用。目前該平臺已有超過 300 個開源模型，超過 1/3 為中文模型，包括阿里自有的通義大模型系列以及瀾舟科技孟子系列模型等外部資源和能力。騰訊：算力集群騰訊：算力集群+混元大模型，賦能自身業務生態降本增效混元大模型，賦能自身業務生態降本增效 團隊：混元助手項目組由大牛帶隊，團隊：混元助手項目組由大牛帶隊，3 位位 PM 頂梁，聚集跨事業群精英頂梁，聚集跨事業群精英 騰訊針對類騰訊針對類 ChatGPT

160、 對話式產品已成立混元助手（對話式產品已成立混元助手（HunyuanAide）項目組。）項目組。項目組將聯合騰訊內部多方團隊構建大參數語言模型，目標是“通過性能穩定的強化學習算法訓練，完善騰訊智能助手工具，打造騰訊智能大助手，并能成為國內的業界標桿”。項目組 Owner為張正友，曾任微軟視覺技術組高級研究員，2018 年加入騰訊擔任 Robotics X 實驗室及騰訊 Al Lab 負責人，2021 年升任騰訊首位 17 級杰出科學家，是騰訊史上最高專業職級擁有者。3 位 PM（Programme Manager）為俞棟、王迪、劉田，能力上分別側重于算法、工程和商業化。組長們則由騰訊各重要部門

161、的負責人構成，凝聚騰訊內部多個團隊的能力。圖表圖表81：騰訊混元助手項目組騰訊混元助手項目組 資料來源：職場 Bonus，華泰研究 算力：自研三款芯片和搭建算力集群以滿足算力：自研三款芯片和搭建算力集群以滿足 AI 大模型訓練需求大模型訓練需求 在 2021 年騰訊數字生態大會上，騰訊推出了三款自研芯片，包含 AI 推理芯片“紫霄”、視頻轉碼芯片“滄?！币约爸悄芫W卡芯片“玄靈”。其中，紫霄芯片已在內部業務中投用，提供高達 3 倍的計算加速性能和超過 45%的整體成本節??；滄海芯片則已量產并投用數萬片，42 面向騰訊自研業務和公有云客戶提供服務。此外，面向 AI 大模型訓練需求，騰訊云于 202

162、3年 4 月發布新一代 HCC（High-Performance Computing Cluster）高性能計算集群。集群采用騰訊云星星海自研服務器，搭載英偉達最新代次 H800 GPU，將整體性能提升了 3 倍，為大模型訓練、自動駕駛、科學計算等提供高性能、高帶寬和低延遲的集群算力?；煸竽Ｐ停阂劳械统杀舅懔妥匝械鬃鶚嫿?，模型可直接落地應用混元大模型：依托低成本算力和自研底座構建，模型可直接落地應用 基于騰訊強大的底層算力和低成本的高速網絡基礎設施，騰訊混元（HunYuan）大模型依托騰訊自研的太極機器學習平臺構建而成。在模型層，混元大模型完整覆蓋 NLP 大模型、CV 大模型、多模態大模

163、型、文生圖大模型及眾多行業/領域/任務模型。其中，HunYuan-NLP 1T 是國內首個低成本、可直接落地應用的 NLP 萬億大模型，其模型能力在自然語言理解任務榜單 CLUE 中登頂。在產業化應用上，混元大模型支持騰訊廣告、搜索、推薦、游戲、社交等多個互聯網業務生態的賦能和升級，實現技術復用和業務降本增效。圖表圖表82：HunYuan 混元大模型全景圖混元大模型全景圖 資料來源：量子位公眾號，華泰研究 圖表圖表83：HunYuan-NLP 1T 登頂自然語言理解任務榜單登頂自然語言理解任務榜單 CLUE 資料來源：CLUE 官網，華泰研究 應用：賦能自身業務生態降本增效，廣告類應用效果出眾

164、應用：賦能自身業務生態降本增效，廣告類應用效果出眾 HuanYuan 混元混元大模型已在騰訊多個核心業務場景落地，并帶來了顯著的效果提升。大模型已在騰訊多個核心業務場景落地，并帶來了顯著的效果提升。大模型支持了微信、QQ、游戲、騰訊廣告、騰訊云等眾多產品和業務，尤其是其在廣告內容理解、行業特征挖掘、文案創意生成等方面模型表現出色。例如，騰訊打造了以混元大模型為技術底座的廣告多媒體 AI 技術矩陣，在廣告投放中，相比以前的小模型算法，騰訊廣告精排大模型當時累計給廣告主帶來 15%的成交總額 GMW（Gross Merchandise Volume）的提升。43 圖表圖表84：HunYuan 混元

165、大模型助力騰訊顯著降本增效，在對話生成、小說續寫、文案創意生成等場景均有落地案例混元大模型助力騰訊顯著降本增效，在對話生成、小說續寫、文案創意生成等場景均有落地案例 資料來源：量子位公眾號，華泰研究 華為：昇騰芯片華為：昇騰芯片+MindSpore+盤古大模型，盤古大模型，B 端應用場景落地可期端應用場景落地可期 領導者：華為云領導者：華為云 AI 首席科學家田奇首席科學家田奇 華為云華為云 AI 首席科學家田奇是盤古大模型團隊的負責人。首席科學家田奇是盤古大模型團隊的負責人。田奇曾于 2008 至 2009 年，從大學調至微軟亞洲研究院多媒體計算組進行研究工作。2018 年，田奇加入華為擔任

166、首席科學家，負責華為云相關業務，華為云是目前國內云服務市占率最高的廠商。當前，田奇正帶領團隊推動盤古大模型從科研創新走向產業應用，逐步構建大模型的應用生態。算力：以自研算力：以自研 AI 芯片昇騰作為根基，打造芯片昇騰作為根基，打造 AI 產業平臺產業平臺 華為昇騰芯片包括用于訓練的算力最強 AI 芯片昇騰 910，以及用于推理的全棧全場景 AI芯片昇騰 310。2019 年 8 月推出的昇騰 910 算力超英偉達 Tesla V100 一倍，在同等功耗下擁有的算力資源達到了當時業內最佳水平的兩倍。目前，“昇騰 AI”基礎軟硬件平臺已成功孵化和適配了 30 多個主流大模型，為我國一半以上的原生

167、大模型提供算力支撐?；谠撈脚_，昇騰 AI 產業已與 20 多家硬件伙伴和 1100 多家軟件伙伴建立了合作關系，并共同推出了 2000 多個行業 AI 解決方案，參與其中的開發者數量突破 150 萬?？蚣埽荷疃葘W習框架框架：深度學習框架 MindSpore 和一站式和一站式 AI 開發平臺開發平臺 ModelArts 提升模型開發效率提升模型開發效率 深度學習框架深度學習框架 MindSpore 從訓練推理部署全流程支撐模型高效開發，是國內社區中最活躍、從訓練推理部署全流程支撐模型高效開發，是國內社區中最活躍、關注度最高、被應用最多的框架之一。關注度最高、被應用最多的框架之一。匹配昇騰 AI

168、 處理器，MindSpore 有效克服 AI 計算的復雜性和算力的多樣性挑戰，打造面向端、邊、云的全場景 AI 基礎設施方案，讓芯片的強大算力能夠以最高效的方式被開發者們利用。面向大模型開發場景，MindSpore 提供系列工具及套件，發揮軟硬件綜合優勢，從訓練推理部署全流程支撐模型高效開發。同時，MindSpore 可兼容第三方 AI 框架生態，以實現模型的快速遷移。一站式一站式 AI 開發平臺開發平臺 ModelArts 進一步提升模型訓練和部署的效率。進一步提升模型訓練和部署的效率。ModelArts 平臺與華為底層軟件和訓練框架協同優化，提供 E 級算力調度，并提供動態路由規劃能力，為

169、大模型訓練提供了最優的網絡通信能力；同時，借助 ModelArts 平臺處理海量數據的高效能力，僅用 7 天就可完成 40TB 文本數據處理。此外，ModelArts 平臺為適應不同開發者的開發習慣及不同應用場景，支持包含 TensorFlow、PyTorch、MXNet 等的所有主流 AI 計算框架，并提供友好易用的開發和調測環境。對話生成小說生成廣告文案生成廣告文案衍生論文生成 44 圖表圖表85：基于基于 ModelArts 加速優化的大模型訓練加速優化的大模型訓練/推理方案推理方案 資料來源：人工智能大模型技術高峰論壇，華泰研究 盤古大模型：賦能千行百業的三階段體系盤古大模型：賦能千行

170、百業的三階段體系 華為云盤古大模型于 2021 年 4 月正式發布，到 2022 年聚焦行業應用落地，已經基于一站式 AI 開發平臺 ModelArts，發展出包括基礎大模型（L0）、行業大模型（L1）、行業細分場景模型（L2）三大階段的成熟體系，讓 AI 開發由作坊式轉變為工業化開發的新模式，賦能千行百業。具體來說，盤古大模型的三層體系架構包含：1）L0 基礎大模型：30 億參數的CV 大模型在業界首次實現模型按需抽取，千億參數和 40TB 訓練數據的 NLP 大模型在在CLUE 榜單實現業界領先，科學計算大模型致力于解決各種科學問題、促進基礎科學的發展；2）L1 行業大模型：涵蓋礦山、氣象

171、、藥物、分子、電力、海浪、金融等行業；3）L2 場景模型：包含金融 OCR、電力巡檢、建筑能耗優化等場景。圖表圖表86：華為云盤古大模型架構華為云盤古大模型架構 資料來源：人工智能大模型技術高峰論壇，華泰研究 45 應用：行業大模型逐步落地，應用：行業大模型逐步落地，B 端場景應用可期端場景應用可期 盤古盤古 CV 大模型大模型可以賦能分類、識別、檢測等視覺場景?？梢再x能分類、識別、檢測等視覺場景。華為已基于 CV 大模型推出礦山大模型、電力大模型等行業大模型，推動相關工業領域安全高效作業。在華為與能源集團合作推出的盤古礦山大模型中，模型能夠解決 AI 在煤礦行業落地難、門檻高等問題。例如，在

172、煤礦主運場景中，AI 主運智能監測系統的異物識別準確率達 98%，實現全時段巡檢，避免因漏檢造成的安全事故；在作業場景中，掘進作業序列智能監測的動作規范識別準確率超過 95，保障井下作業安全。此外，盤古 CV 大模型還可應用在鐵路軌道機車的缺陷檢測中，識別機車中吊鏈、脫落、裂痕等潛在不安全因素，在鄭州鐵路段的 32000 多樣本評測中，對缺陷和故障檢測的準確度達 99%。圖表圖表87：華為云盤古礦山大模型幫助降低勞動強度，減少安全風險，沉淀專家經驗華為云盤古礦山大模型幫助降低勞動強度，減少安全風險，沉淀專家經驗 資料來源：人工智能大模型技術高峰論壇，華泰研究 盤古盤古 NLP 大模型大模型可助

173、力文檔檢索、智能可助力文檔檢索、智能 ERP、小語種等內容理解和文本生成場景。、小語種等內容理解和文本生成場景?；贜LP 大模型，華為與合作伙伴開發了支持千億參數的阿拉伯語 NLP 大模型，語義理解準確率達到 95%。此外，盤古 NLP 平臺憑借突破性的零樣本 AI 建模技術，可幫助金融機構降低 AI 建模成本，提升 10 到 1000 倍 AI 建模效率，目前已經在多家銀行、保險、證券等金融機構的數字化客戶經營場景落地，全面助力客戶溝通、銷售管理、客戶洞察等場景的降本增效。盤古藥物分子大模型可輔助醫藥研發，突破新藥研發的“雙十定律”。盤古藥物分子大模型可輔助醫藥研發，突破新藥研發的“雙十定

174、律”。西安交通大學第一附屬醫院劉冰教授團隊在抗生素研發工作中，采用大模型輔助藥物設計，突破性地研發出超級抗菌藥 Drug X，突破新藥從研發到上市平均需 10 年時間和 10 億美元投入的“雙十定律”，將先導藥的研發周期從數年縮短至一個月，且研發成本降低 70%。此外，藥物分子大模型還可應用于 AI 藥物分子篩選，使得成藥性預測準確率比傳統方式高 20%。新技術大幅減少了人力篩選的時間與成本，充分釋放了科研人員的創新活力。煤礦綜采場景傳統綜采面九宮格視頻畫面基于5G+AI的全景視頻拼接綜采面畫卷看不清、看不全、缺多現場感40米全景采媒畫面，采煤司機從井下到井上，安全生產煤礦主運場景主運智能監測

175、系統20公里運行巡檢煤礦礦作業場景作業序列智能監測系統井下安全事故減少90%以上動作規范識別準確率95%異物識別結度達98%海量礦山數據自主學習AI算法開發生產線盤古礦山大模型智能礦山全場景生態覆蓋礦山采、掘、機、運、通等主業務華為云盤古礦山大模型：人工智能幫助降低勞動強度，減少安全風險，沉淀專家經驗Huawei Proprietary-Restricted Distribution15 46 圖表圖表88：通過華為云通過華為云 AI 輔助藥物設計服務平臺進行藥物分子篩選輔助藥物設計服務平臺進行藥物分子篩選 資料來源：華為云官網，華泰研究 盤古氣象大模型是全球首個盤古氣象大模型是全球首個天氣預

176、測天氣預測精度超過傳統方式的精度超過傳統方式的 AI 模型模型。傳統是通過數字分析的方法，精度位列世界第一的是歐洲氣象中心。區別于傳統的數字分析方法，氣象大模型基于一種 3D 高分辨率的 AI 氣象預報方法，可以在秒級的時間內完成全球未來 1 小時到 7 天的天氣預報，精度首次超過了歐洲氣象中心的數字分析的方法，并且預測速度提升了 1 萬倍以上。在自然災害里面，例如臺風軌跡預測，盤古的精度相對于世界第一的歐洲氣象中心的方法提升了 20%以上。圖表圖表89：華為云盤古氣象大模型，大幅提升氣象預測速度與精度華為云盤古氣象大模型，大幅提升氣象預測速度與精度 資料來源：人工智能大模型技術高峰論壇，華泰

177、研究 47 商湯：商湯：SenseCore 大裝置大裝置+日日新大模型日日新大模型 算力：基于算力：基于 AI 大裝置大裝置 SenseCore，以，以 AI 模型賦能四大業務模型賦能四大業務 商湯基于商湯基于 AI 大裝置大裝置 SenseCore 輔助自身業務開展。輔助自身業務開展。AI 大裝置 SenseCore 打通了算力、算法和平臺之間的連接與協同，構建成一整套端到端的架構體系；基于AI大裝置SenseCore，商湯通過 22,000+商用 AI 模型，賦能智慧商業、智慧城市、智慧生活和智慧汽車四大業務。圖表圖表90：商湯主要基于商湯主要基于 SenseCore，以，以 AI 模型賦

178、能其四大業務模型賦能其四大業務 資料來源：公司公告，華泰研究 大裝置SenseCore擁有約2.7萬塊GPU，約5 exaFLOPS算力，提供包括算力服務（IaaS）、開發工具和深度學習平臺（PaaS）以及模型部署及推理（MaaS）在內的全棧式 AIaaS 服務。公司目前最大能夠支持需要 4,000 張卡并行計算的千億參數大模型訓練，為 8 家外部大型客戶提供大模型訓練服務，客戶涵蓋互聯網、游戲、商業銀行，科研機構等多個領域。圖表圖表91：商湯大裝置：大模型生產核心平臺，算力已達商湯大裝置：大模型生產核心平臺，算力已達 5 exaFLOPS 資料來源：商湯 2022 年業績會，華泰研究 軟件平

179、臺智慧商業智慧商業22年營收14.6億元占比38%智慧城市智慧城市22年營收11.0億元占比29%智慧生活智慧生活22年營收9.5億元占比25%智能汽車智能汽車22年營收2.9億元占比8%跨行業客戶跨行業客戶云端云端/邊緣端邊緣端人工智能模型人工智能模型SenseCore-通用人工智能基礎設施跨行業反饋推動模型升級跨行業反饋推動模型升級Sense Foundry Enterprise商湯方舟企業開放平臺商湯方舟企業開放平臺AIDC總收入占比總收入占比8%，約，約3.4億元億元智能硬件：Sense Pass、Sense Thunder、Sense Nebula行業產品：工業質量控制、商業空間管理

180、、住宅物業管理、公共設施維護2018年推出，2022年服務客戶數量717個Sense Foundry商湯方舟城市開放平臺商湯方舟城市開放平臺智能硬件：Sense Pass、Sense Thunder、Sense Nebula行業產品：出行及交通管理、城市服務、環境保護、應急響應截至2022年12月31日，累計服務162個城市Sense ME水星智能移動終端平臺水星智能移動終端平臺2016年推出，提供包括SDK、AI傳感器和ISP芯片等全套產品Sense MARS火星混合現實平臺火星混合現實平臺2016年推出，是元宇宙的技術賦能平臺產品包括特效引擎、商湯AI數字人、三維空間重建Sense Car

181、e智慧診療平臺智慧診療平臺產品包括胸部CT智能臨床系統、胸部X線智能分析系統等與16家三級醫院合作Sense Auto商湯絕影智能汽車平臺商湯絕影智能汽車平臺產品包括智能車艙、量產智能駕駛、自動駕駛功能車、車路協同、賦能引擎2021年推出，22年智能車艙和智能駕駛量產交付50萬輛，新增定點超800萬臺。智能車艙客戶：蔚來、廣汽、比亞迪、長安智能駕駛客戶：廣汽、合眾 48 日日新大模型：構建面向日日新大模型：構建面向 AGI 的核心能力，驅動垂直行業降本增效的核心能力，驅動垂直行業降本增效 商湯是國內最早布局商湯是國內最早布局 AI 大模型的企業之一大模型的企業之一，已實現，已實現 CV、NLP

182、、多模態等大模型的全面布、多模態等大模型的全面布局局。2019 年已經發布了擁有 10 億參數的圖像大模型，2022 發布的視覺模型參數量達到 320億，是全球最大的通用視覺模型之一，能夠實現高性能的目標檢測、圖像分割和多物體識別算法等功能。今年 3 月推出多模態大模型“書生 2.5”，具備圖像描述、視覺問答、視覺推理、文字識別、文生圖、文本檢索視覺內容等功能，在國內處于領先地位。2023 年 4 月，商湯在技術交流會中正式發布“日日新 SenseNova”大模型體系，實現 CV、NLP、多模態等大模型的全面布局，并展示了其問答、代碼生成、2D/3D 數字人生成、3D 場景/物體生成等 AI

183、模型應用能力。圖表圖表92：商湯大模型技術路線圖：商湯大模型技術路線圖：CV、NLP、多模態等全面布局、多模態等全面布局 資料來源：2023 商湯技術交流日，華泰研究 1800 億參數“商量”大模型賦能專業知識、代碼生成、醫療等垂直場景。億參數“商量”大模型賦能專業知識、代碼生成、醫療等垂直場景。商湯于技術交流會同時發布 1800 億參數“商量”（SenseChat）語言大模型，主要能力包括：1）長文本理解：相比 ChatGPT，SenseChat 支持財務、法務等專業領域超長文本知識理解，能夠基于用戶上傳的長文本 pdf 進行理解和對話。2）代碼生成：Visual Studio Code 接

184、入 SenseChat插件，根據用戶指令直接生成代碼，在 humaneval 測試集上，一次通過率為 40.2%，據商湯表示該數據高于 Copilot；3）賦能行業：已落地新華醫院“便捷就醫服務”，輔助初步問診、就醫掛號建議等。此外，公司計劃推出面向行業客戶的類 ChatGPT 對話機器人服務。應用：應用：MaaS 模式可能成為重要新趨勢模式可能成為重要新趨勢 商湯日日新大模型開放 API 體系包含自然語言生成 API、圖片生成 API、視覺通用感知任務API 和標注 API。此外，商湯還提供了數據標注、模型訓練及微調等一系列 MaaS 服務。近期，我們注意到，英偉達，百度，商湯等企業都提出了

185、類似 MaaS 的新商業模式，其核心是利用自己已經擁有的通用大模型，幫助企業以專有數據創建專有模型。其中，英偉達提供基于其文字、圖像和生物醫藥模型的大模型訓練服務 Al Foundations，百度推出文心千帆大模型平臺，表示未來云計算商業模式會變成 MaaS。擁有大模型的企業，從“賣算力”走向“賣模型”可能成為 AI 企業發展的一條新商業模式。智譜智譜 AI：依托清華大學技術成果，打造高性能千億級普惠大模型：依托清華大學技術成果，打造高性能千億級普惠大模型 團隊：核心成員與清華大學聯系緊密團隊：核心成員與清華大學聯系緊密 智譜 AI 成立于 2019 年，由清華大學計算機系知識工程實驗室的技

186、術成果轉化而來。核心團隊與清華大學聯系緊密，CEO 張鵬畢業于清華計算機系，總裁王紹蘭為清華創新領軍博士，首席科學家唐杰為智源研究院學術副院長、清華大學計算機系副教授。依托清華大學團隊多年的研發積累和人才優勢，智譜 AI 作為主力參與研發落地了悟道 2.0，并打造了用以支持各類 AI 系統的開發者底層平臺，而后陸續發布以文生圖 CogView 大模型、代碼生成模型 CodeGeeX、雙語千億模型 GLM-130B 等大模型，未來將圍繞平臺形成完善的 AI應用生態。智譜 AI 已于 2022 年 9 月完成數億元 B 輪融資，用于繼續打造高性能千億級普惠大模型。49 模型：智譜模型：智譜 AI

187、致力于打造高性能致力于打造高性能千億級普惠大模型千億級普惠大模型 高精度雙語千億模型高精度雙語千億模型 GLM-130B 于于 2022 年年 8 月發布并開源，模型的部分模型性能優于月發布并開源，模型的部分模型性能優于GPT-3。2022 年 11 月，斯坦福大學大模型中心開展了對全球 30 個主流大模型的全方位評測，GLM-130B 是亞洲唯一入選的大模型。評測報告顯示：GLM-130B 在準確性和公平性指標上與 GPT-3 接近或持平，魯棒性、校準誤差和無偏性均優于 GPT-3 175B。此外，模型僅需 4 張英偉達 RTX3090 就可以運行，實現真正的大模型普惠。圖表圖表93：斯坦福

188、大學大模型中心的測評中，各模型在斯坦福大學大模型中心的測評中，各模型在 NLP 任務中的性能對比任務中的性能對比 資料來源：Holistic Evaluation of Language Models（Liang et al.,2022），華泰研究 圖表圖表94：GLM-130B 與與 GPT3-175B、BLOOM-176B 的對比優勢的對比優勢 資料來源：數源 AI，華泰研究 基礎架構訓練方式量化加速跨平臺能力GPT3-175BGPT-NVIDIABLOOM-176BGPTINT8MegatronNVIDIA自監督預訓練自監督預訓練GLM-130BGLMINT8/INT4Faster Tr

189、ansformerNVIDIADCU910自監督預訓練多任務預訓練海光昇騰申威對比優勢高精度普惠推理：高速推理：跨平臺：:Big-bench-lite:+5.2%LAMBADA:+2.3%CLUE:+24.3%FewCLUE:+12.8%75%3090(4)2080(8)Pytorch7-8.4Megatron2.5節省內存可單臺或單臺進行無損推理比提速倍比提速倍支持更多不同的大規模語言模型的適配和應用 50 2022 年 9 月，智譜 AI 聯合清華、華為發布了開源的代碼生成模型 CodeGeeX，是 GLM-130B大語言模型通過 23 種編程語言的大型代碼語料庫上進一步預訓練而成。Cod

190、eGeeX 能夠完成許多生成類的編程任務，例如注釋與代碼間的互相生成、根據上下文補全代碼、不同編程語言之間的代碼翻譯等。當前基于 CodeGeeX 的 VS Code 插件已上架，所有用戶均可完全免費下載使用。圖表圖表95：CodeGeeX 可以實現跨語言代碼的一鍵式翻譯可以實現跨語言代碼的一鍵式翻譯 資料來源：學術頭條，華泰研究 類類 ChatGPT 對話模型對話模型 ChatGLM-6B 于于 2023 年年 3 月開源發布，可在消費級顯卡上進行本月開源發布，可在消費級顯卡上進行本地部署地部署。ChatGLM-6B 具有 63 億參數，針對中文問答和對話進行了優化，在 1T 的語料訓練和監

191、督微調、反饋自助、人類反饋強化學習等技術的加持下，ChatGLM-6B 已經能生成相當符合人類偏好的回答。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署。不過，由于 ChatGLM-6B 規模較小，目前測試發現具有較多的局限性，如事實性/數學邏輯錯誤、可能生成有害/有偏見內容、較弱的上下文能力等。此外，當前基于 1300 億參數GLM-130B 的 ChatGLM 模型正在內測開發中。VisualGLM-6B 是國內首個能理解圖像的中文開源對話模型。是國內首個能理解圖像的中文開源對話模型。2023 年 5 月，智譜 AI 和清華大學 KEG 實驗室開源了支持圖像、中文和英文的多模態對話模型 VisualGLM-6B，語言模型基于 ChatGLM-6B；圖像部分通過訓練 BLIP2-Qformer 構建起視覺模型與語言模型的橋梁。模型在長視覺問答數據上進行了訓練，能夠生成符合人類偏好的答案。同時，結合模型量化技術，用戶最低只需 8.7G 的顯存就可以進行本地部署。圖表圖表96：VisualGLM-6B 可以進行圖像的描述及相關知識的問答可以進行圖像的描述及相關知識的問答 圖表圖表97：VisualGLM-6B 能結合常識或提出有趣的觀點能結合常識或提出有趣的觀點 資料來源：GitHub，華泰研究 資料來源：GitHub，華泰研究