中國信通院：AI框架發展白皮書（2022年）（42頁）.pdf

1、 AI 框架發展白皮書框架發展白皮書 中國信息通信研究院中國信息通信研究院 2022022 2年年2 2月月 No.202201 （2022 年）年） 前前 言言 AI 助力當前經濟社會步入智能經濟時代。世界正在進入以新一代信息技術驅動發展的重塑時期， 人工智能 （AI， Artificial Intelligence）作為其中重要的使能技術，對激活實體經濟具有溢出帶動性很強的“頭雁效應”，對構筑國家科技影響力具有舉足輕重的意義。人工智能成為了全球各國新的科技熱點， 人工智能基礎設施建設也成為重要抓手與著力點。未來十年是全球發展數字經濟、邁入智能經濟社會的黃金發展期，著力發展人工智能基礎設施，

2、將為我國人工智能產業發展壯大、數字經濟蓬勃發展提供強大牽引力。 AI 框架是智能經濟時代的操作系統。作為人工智能開發環節中的基礎工具，AI 框架承擔著 AI 技術生態中操作系統的角色，是 AI學術創新與產業商業化的重要載體，助力人工智能由理論走入實踐，快速進入了場景化應用時代， 也是發展人工智能所必需的基礎設施之一。隨著重要性的不斷凸顯，AI 框架已經成為了人工智能產業創新的焦點之一，引起了學術界、產業界的重視。 在此背景下， 白皮書致力于厘清 AI 框架的概念內涵、 演進歷程、技術體系與作用意義，通過梳理總結當前 AI 框架發展現狀，研判 AI框架技術發展趨勢，并對 AI 框架發展提出展望與

3、路徑建議。由于 AI框架仍處于快速發展階段，我們對 AI 框架的認識還有待持續深化，白皮書中存在的不足之處，歡迎大家批評指正。 目目 錄錄 一、 AI 框架技術持續演進，已形成較為完整的體系 . 1 (一) AI 框架演進步入深化階段 . 1 (二) AI 框架技術演化出三個層次 . 5 (三) AI 框架重要性愈加突顯 . 13 二、 全球 AI 框架繁榮發展，多元化競合態勢漸顯 . 14 (一) 供給主體方面，企校貢獻最活躍 . 14 (二) 開源生態方面，全球進入活躍期 . 16 (三) 市場格局方面，雙寡頭持續引領 . 18 (四) 支撐應用方面，科研與產業齊驅 . 20 (五) 推廣

4、途徑方面，三條路齊發并進 . 25 三、 應對未來多樣化挑戰，AI 框架有六大技術趨勢 . 27 (一) 泛開發：AI 框架將注重前端便捷性與后端高效性的統一 . 27 (二) 全場景：AI 框架將支持端邊云全場景跨平臺設備部署 . 28 (三) 超大規模：AI 框架將著力強化對超大規模 AI 的支持 . 29 (四) 科學計算：AI 框架將進一步與科學計算深度融合交叉 . 31 (五) 安全可信：AI 框架將助力提升 AI 模型可解釋性與魯棒性 . 32 (六) 工程化：AI 框架將加速 AI 應用產業規模級工程化落地 . 34 四、 AI 框架生態遠未成熟，未來發展空間可觀 . 36 (一

5、) 從硬件適配向算子接口標準化演進 . 36 (二) 強化開源社區打造與開源氛圍營造 . 36 (三) 重視與高?？蒲性核鶑V泛開放合作 . 37 (四) 推進融入 AI 基礎設施布局落地 . 37 (五) 支持深度賦能大模型及科學計算 . 38 圖圖 目目 錄錄 圖 1 AI 框架技術演進 . 2 圖 2 AI 框架核心技術體系 . 5 表表 目目 錄錄 表 1 Github 社區中主流 AI 框架情況（2022.1） . 16 表 2 Gitee 社區中主流 AI 框架情況（2022.1） . 18 AI 框架發展白皮書（2022 年） 1 一、AI 框架技術持續演進，已形成較為完整的體系

6、AI 框架是 AI 算法模型設計、訓練和驗證的一套標準接口、特性庫和工具包，集成了算法的封裝、數據的調用以及計算資源的使用，同時面向開發者提供了開發界面和高效的執行平臺，是現階段AI 算法開發的必備工具。當前，人工智能基礎性算法理論研究創新日益活躍，深度神經網絡日趨成熟，各大廠商紛紛投入到深度神經網絡算法的工程實現并發力建設算法模型工具，進一步將其封裝為軟件框架供開發者使用，這個過程中 AI 框架（業界也稱 AI 開發框架、深度學習框架等）應運而生。AI 框架負責給開發者提供構建神經網絡模型的數學操作，把復雜的數學表達轉換成計算機可識別的計算圖，自動對神經網絡進行訓練，得到一個神經網絡模型用于

7、解決機器學習中分類、回歸的問題，實現目標分類、語音識別等應用場景。 ( (一一) ) AI 框架演進步入深化階段框架演進步入深化階段 結合人工智能的發展歷程和 AI 框架的技術特性來看，AI 框架的發展大致可以分為四個階段，分別為萌芽階段（2000 年初期）、成長階段（20122014 年）、穩定階段（2015 年2019 年）、深化階段（2020 年以后）。其發展脈絡與人工智能，特別是神經網絡技術的異峰突起有非常緊密的聯系。 中國 AI 框架發展白皮書（2022 年） 2 來源：中國信息通信研究院 圖 1 AI 框架技術演進 萌芽階段：受限于計算能力不足，這一階段的神經網絡技術影響力相對有限

8、，因而出現了一些傳統的機器學習工具來提供基本支持，也就是 AI 框架的雛形，但這些工具或者不是專門為神經網絡模型開發定制的，或者 API 極其復雜對開發者并不友好，且這些工具并沒有對 GPU 算力進行支持。這一階段的 AI 框架并不完善，開發者不得不進行大量基礎的工作，例如手寫反向傳播、搭建網絡結構、自行設計優化器等。 成長階段：2012 年，Alex Krizhevsky 等人提出了一種深度神經網絡架構，即著名的 AlexNet，在 ImageNet 數據集上達到了最佳精度，并碾壓第二名，引爆了深度神經網絡的熱潮。自此極大地推動了 AI 框架的發展，出現了 Caffe、Chainer 和 T

9、heano 等具有代表性的早期 AI 框架， 幫助開發者方便地建立復雜的深度神經網絡模型，如 CNN、RNN、LSTM 等。不僅如此，這些框架還支持多 GPU 訓AI 框架發展白皮書（2022 年） 3 練，讓開展更大、更深的模型訓練成為可能。在這一階段，AI 框架體系已經初步形成，聲明式風格和命令式風格為之后的 AI 框架趟出了兩條不同的發展道路。 穩定階段：2015 年，何愷明等人提出的 ResNet，再次突破了圖像分類的邊界， 在 ImageNet 數據集上的準確率再創新高， 也終于凝聚了產業界和學界的共識，那就是深度學習將成為下一個重大技術趨勢。在這一到兩年里，Google 開源了著名

10、的 TensorFlow 框架，它至今仍是機器學習領域最流行的 AI 框架。Caffe 的發明者加入了Facebook（現更名為 Meta）并發布了 Caffe2；與此同時，Facebook AI 研究團隊也發布了另一個流行的框架 PyTorch，該框架拓展自Torch 框架，但使用了更流行的 Python API。微軟研究院開發了CNTK 框架。Amazon 采用了 MXNet，這是華盛頓大學、CMU 和其他機構的聯合學術項目。國內的百度則率先布局了 PaddlePaddle 飛槳深度學習框架并于 2016 年發布。 TensorFlow 和 CNTK 借鑒了 Theano 的聲明式編程風格

11、，而PyTorch 則繼承了 Torch 的直觀和開發者友好的命令式編程風格。Francois Chollet 幾乎是獨自開發了 Keras 框架，該框架提供了神經網絡和構建塊的更直觀的高級抽象。同時各種 AI 框架不斷進行迭代，為框架提供各種面向高效友好開發的核心組件，例如幾乎所有AI 框架都支持的自動微分能力，TensorFlow 提供了分布式版本的AI 框架和支持 iOS 系統的能力， PyTorch 則在完全擁抱 Python 的基中國 AI 框架發展白皮書（2022 年） 4 礎上提供了一整套包括優化器、庫函數、API 工具等支持。AI 框架迎來了繁榮，而在不斷發展的基礎上，各種框架

12、不斷迭代，也被開發者自然選擇。 經過激烈的競爭后，最終形成了兩大陣營，TensorFlow 和PyTorch 雙頭壟斷。2019 年，Chainer 團隊將他們的開發工作轉移到PyTorch；Microsoft 停止了 CNTK 框架的積極開發，部分團隊成員轉而支持 PyTorch；Keras 被 TensorFlow 收編，并在 TensorFlow2.0版本中成為其高級 API 之一。 深化階段：隨著人工智能的進一步發展，新的趨勢不斷涌現，例如超大規模模型的出現（GPT-3 等），向 AI 框架提出了更高的要求。隨著人工智能應用場景的擴展以及與更多領域交叉融合進程的加快，越來越多的需求被提

13、出，如對全場景多任務的支持、對高算力的需求等，這就要求 AI 框架最大化的實現編譯優化，更好地利用算力、調動算力，充分發揮硬件資源的潛力。此外，人工智能與社會倫理的痛點問題也促使可信賴人工智能在框架層面的進步?；谝陨媳尘?，現有的流行框架都在探索下一代 AI 框架的發展方向，如 2020 年華為推出昇思 MindSpore，在全場景協同、可信賴方面有一定的突破；曠視推出天元 MegEngine，在訓練推理一體化方面深度布局。在這一階段，AI 框架正向著全場景支持、超大規模AI、安全可信等技術特性深化探索，不斷實現新的突破。 AI 框架發展白皮書（2022 年） 5 ( (二二) ) AI 框架

14、技術演化出三個層次框架技術演化出三個層次 根據技術所處環節及定位，當前主流 AI 框架的核心技術可分為基礎層、組件層和生態層。 來源：中國信息通信研究院 圖 2 AI 框架核心技術體系 1.基礎層 基礎層實現 AI 框架最基礎核心的功能，具體包括編程開發、編譯優化以及硬件使能三個子層。編程開發層是開發者與 AI 框架互動的窗口，為開發者提供構建 AI 模型的 API 接口。編譯優化層是 AI 框架的關鍵部分，負責完成 AI 模型的編譯優化并調度硬件資源完成計算。硬件使能層是 AI 框架與 AI 算力硬件對接的通道，幫助開發者屏蔽底層硬件技術細節。 編程開發-編程接口 API：開發者通過調用編程

15、接口來描述算法的計算過程。對于開發者來說，編程接口的易用性以及接口的表達中國 AI 框架發展白皮書（2022 年） 6 能力非常重要，對算法的描述會映射到計算圖上。編程接口主要可以分為 3 類：一類是基于數據流圖的編程接口，流行的基于數據流圖的機器學習編程框架包括 TensorFlow、MXNet、Theano、Torch7等；另一類是基于層的編程接口，如 Caffe；還有一類是基于算法的編程接口，主要用于傳統機器學習算法的實現，如 Scikit-Learn。 編程開發-編碼語言：人工智能應用場景眾多，人工智能開發者基于不同場景選擇使用的編程語言多樣，完善的 AI 框架應支持多種不同的語言，例

16、如 Python/倉頡/Julia 等。面向使用不同編程語言的開發者，AI 框架需要提供功能相同、性能可比的開發服務和技術支持。 編譯優化-分布式并行：指數據流并行、模型并行、Pipeline 并行、優化器并行等策略。隨著模型規模的增大，傳統的數據并行無法有效處理，自動并行技術的使用將會是常態。需要將大模型切分到不同的設備上，切分就是將不同大塊計算切分成小塊計算，并將小塊計算發送到不同的計算資源進行計算，最后將小塊計算的結構進行規約合并。而切分策略尋優是很困難的，不同的切分產生的通信量差異巨大，計算利用率也很不一樣，比如 Pipeline 并行往往在計算利用率方面存在較大的挑戰，算子切分的并行

17、則在通信量方面存在較大的挑戰，需要 AI 框架來支持。 編譯優化-自動微分： 自動微分是將一個復雜的數學運算過程分解為一系列簡單的基本運算，每一項基本運算都可以通過查表得出AI 框架發展白皮書（2022 年） 7 來。自動微分有兩種形式，包括前向模式(forward mode)和反向模式(reverse mode)，前向模式是在計算圖前向傳播的同時計算微分，反向模式需要對計算圖進行一次正向計算，得出輸出值，再進行反向傳播。因此反向模式的內存開銷要大一點，它需要保存正向傳播中的中間變量值，這些變量值用于反向傳播的時候計算導數。 編譯優化-動靜轉換： 靜態圖在定義執行前的所有操作和網絡結構，并將其

18、呈現給傳感器流，在訓練期間提供了更高的性能，但這樣做的代價是不易于使用、不夠靈活。動態圖計算是即時執行的，提供了更大的靈活性和更容易的調試， 但這樣做的代價是性能較低。TensorFlow2.0、MindSpore 等均支持動態圖和靜態圖的轉換技術，可以實現計算效率和靈活性的平衡。 編譯優化-模型輕量化：輕量化是指為滿足 AI 模型尺寸小、計算復雜度低、電池耗電量低、下發更新部署靈活等要求下，AI 框架所配置的輕量化技術。一般來說，模型輕量化就是指模型壓縮和加速，其中壓縮重點在于減少網絡參數量，加速則側重在降低計算復雜度、提升并行能力等。算法層壓縮加速主要包括結構優化（如矩陣分解、分組卷積、小

19、卷積核等）、量化與定點化、模型剪枝、模型蒸餾等；框架層加速主要包括編譯優化、緩存優化、稀疏存儲和計算、NEON 指令應用、算子優化等。 編譯優化-圖算融合： 通過自動分析和優化現有網絡計算圖邏輯，并結合目標硬件能力，對計算圖進行計算化簡和替代、算子拆分和中國 AI 框架發展白皮書（2022 年） 8 融合、算子特例化編譯等優化，以提升設備計算資源利用率，實現對網絡性能的整體優化。相比傳統優化技術，圖算融合具有多算子跨邊界聯合優化、與算子編譯跨層協同、基于 Polyhedral 的算子即時編譯等獨特優勢。另外，圖算融合只需要開發者打開對應配置，整個優化過程即可自動完成，不需要網絡開發人員進行其它

20、額外感知，使得開發者可以聚焦網絡算法實現。 編譯優化-內存優化：由于硬件系統的內存資源有限，特別是AI 芯片的內存資源有限，需要有高效的內存優化策略降低 AI 網絡對系統內存的消耗。一般常用的內存優化技術有：靜態內存復用優化和動態內存分配機制。靜態內存復用優化會分析計算圖的數據流關系，基于數據的內存占用大小、數據間的生命周期重疊關系，規劃數據的內存復用策略，從而最小化內存占用。動態內存分配機制是在運行時創建大塊內存，并按照實際算子執行過程中需要的內存進行內存切片提供，當算子執行完且相關數據的引用均已結束時，釋放內存切片，從而實現內存的有效復用。 編譯優化-算子生成：AI 框架會提供基礎常用的算

21、子，但是這些算子往往不能滿足開發者算法不斷演進的需求。因此，需要 AI框架具備針對不同算力設備的統一算子生成和優化的能力，使得開發人員只需要編寫高層編程語言（如 DSL）就可以通過 AI 框架提供的算子編譯生成能力，生成高質量的底層算子，極大降低 AI 框架和硬件平臺的開發和維護成本，拓展應用范圍。 AI 框架發展白皮書（2022 年） 9 編譯優化-中間表示：中間表示（Intermediate Representation，簡稱 IR）是對計算圖和算子格式的定義。完備的中間表示需要支持不同硬件設備算子定義和計算圖的性能優化，支持不同類型的 AI模型網絡結構的靈活表達，支持不同設備間的模型中轉

22、和遷移。 硬件接入-計算算子： 在深度學習領域計算算子特指計算圖中的一個函數節點，一個在張量上執行的計算操作，它接受零或多個張量作為輸入，得到零或多個張量作為輸出，利用梯度、散度、旋度的表達方式進行計算。 硬件接入-通信算子：用于分布式節點通信的函數節點。 2.組件層 組件層主要提供 AI 模型生命周期的可配置高階功能組件，實現細分領域性能的優化提升，包括編譯優化組件、科學計算組件、安全可信組件、工具組件等，對人工智能模型開發人員可見。 并行及優化組件-自動并行： 指對自動并行技術的多樣化組合支持。AI 框架支持開發者進行多種不同并行進行組合，根據需要形成混合并行策略，例如數據流并行和模型并行

23、的組合、數據流和Pipeline 并行的組合等， 支持開發者個性化的選擇自己的并行策略，以更靈活的姿態支持人工智能模型訓練、應用適配。 并行及優化組件-高階優化器：AI 框架支持多種不同的一階/二階優化器，能為開發者提供靈活方便的接口，例如 SGD 優化器、中國 AI 框架發展白皮書（2022 年） 10 SGDM 優化器、NAG 優化器、AdaGrad 優化器、AdaDelta 優化器、Adam 優化器、Nadam 優化器等。 科學計算組件-科學計算（數值方法）：人工智能發展的重要方向之一是科學計算，因此要求 AI 框架向開發者提供科學計算相關的功能支持，通過函數式編程范式為 AI+科學計算

24、提供融合的表達方式，使得開發者以更加接近數學計算的方式進行編程，以緩解當前 AI 框架的編程接口主要面向深度神經網絡設計，但是科學計算中需要大量的數學公式的表達（例如微分方程求解）的情況。 科學計算組件-科學計算（AI 方法）：針對 AI 方法直接替代數值方法取得計算結果的形式，AI 框架需要具備“AI+科學計算”統一的數據底座，將傳統科學計算的輸入數據（如傳統科學計算軟件生成的仿真數據）轉換為 AI 框架的輸入數據（即張量）。針對 AI 方法與數值方法配合取得計算結果形式，除了需要具備統一的數據引擎之外， AI 框架需要支持傳統數值計算的方法， 例如高階微分求解、線性代數計算等，并通過計算圖

25、對傳統數值方法和 AI 方法的混合計算優化，從而實現“AI+科學計算”端到端加速。 安全可信組件-AI 可解釋：AI 框架需要具備三個層面的能力支持可解釋人工智能。建模前的“數據可解釋”，分析數據分布，找出代表性的特征， 在訓練時選擇需要的特征進行建模。 構建“可解釋人工智能模型”，通過與傳統機器學習（如貝葉斯概率編程）結合的方式，對人工智能結構進行補充，平衡學習結果的有效性和學習模型AI 框架發展白皮書（2022 年） 11 的可解釋性。對已構筑模型進行“解釋性分析”，通過分析人工智能模型的輸入、輸出、中間信息的以來關系分析（如 TB-Net 的方式）及驗證模型的邏輯。 安全可信組件-數據安

26、全： 人工智能領域的數據安全問題不僅僅涉及到原始數據本身的保護，還要防止通過模型推理結果反推出數據隱私關鍵信息。 因此， AI 框架本身除了要提供數據資產保護能力，還需要通過差分隱私等方式，保護模型數據的隱私。同時，為了源頭保護數據安全，AI 框架通過聯邦學習等方式進行模型訓練，使得數據不出端的情況下模型得到訓練更新。 安全可信組件-模型安全：訓練模型時樣本訓練不足，使得模型泛化能力不足，導致模型面對惡意樣本時，無法給出正確的判斷結果。為此，AI 框架首先需要提供豐富的人工智能魯棒性檢測工具，通過黑盒、白盒、灰盒測試等對抗檢測技術測試人工智能模型的魯棒性，如靜態結構分析，動態路徑分析等；其次，

27、AI 框架可以通過支持網絡蒸餾、對抗訓練等方式幫助開發者提高模型的魯棒性。 工具組件-訓練可視化：支持訓練過程可視化，可通過頁面直接查看訓練過程中的核心內容，包括訓練標量信息、參數分布圖、計算圖、數據圖、數據抽樣等模塊。 工具組件-調試器：神經網絡訓練中經常出現數值誤差情況，如無窮大等，開發者希望分析訓練無法收斂的原因。但是，由于計算被封裝為黑盒，以圖的方式執行，開發者很難定位其中的錯誤。調中國 AI 框架發展白皮書（2022 年） 12 試器是訓練調試的工具，開發者可以在訓練過程中查看圖的內部結構以及節點的輸入/輸出，例如查看一個張量的值，查看圖中的節點對應的 Python 代碼等。此外，開

28、發者還可以選擇一組節點設置條件斷點，實時監控節點的計算結果。 3.生態層 生態層主要面向應用服務，用以支持基于 AI 框架開發的各種人工智能模型的應用、維護和改進，對于開發人員和應用人員均可見。 套件/模型庫：AI 框架應對領域通用任務提供預訓練模型或者定義好的模型結構，方便開發者獲取和開展人工智能模型訓練和推理，如 CV、NLP 等。 AI 領域擴展庫：AI 框架要能夠提供豐富的領域任務支持，并為相關任務提供典型案例，從而提供更好的應用服務，如 GNN、強化學習、遷移學習等。 AI+科學計算：與 CV、NLP 等傳統信息領域不同，科學計算問題的求解需要具備相對專業的領域知識。為了加速 AI+

29、科學計算融合的研究和落地，AI 框架需要面向不同的科學計算領域（如電磁仿真、科學制藥、能源、氣象、生物、材料等）提供簡單易用的科學計算套件，這些套件包含高質量的領域數據集、高精度的基礎 AI模型和用于前后處理的工具集合。 AI 框架發展白皮書（2022 年） 13 文檔：AI 框架應提供完善的文檔體系，包括但不限于框架說明文檔、框架 API 文檔、框架版本變更文檔、框架常見問題文檔、框架特性文檔等。 社區：人工智能服務發展需要社區支持，AI 框架應該經營或者維護良好的社區環境，好的 AI 框架具備較好的維護性和易用性，同時 AI 框架社區中應該有代表性項目并長期支持基于該框架的項目和應用。 (

30、 (三三) ) AI 框架重要性愈加突顯框架重要性愈加突顯 AI 框架承上啟下，是整個人工智能技術體系的核心。從技術體系中的功能定位看，AI 框架對下調用底層硬件計算資源，能夠屏蔽底層差異并提供良好的執行性能， 對上支撐 AI 應用算法模型搭建，提供算法工程化實現的標準環境，是 AI 技術體系的關鍵核心。除完成 AI 算法的工程實現外，AI 框架還能極大提高人工智能學習效率、強化 AI 算法模型能力，如基于 TensorFlow 的 AlphaGo 在極短時間內學習到戰勝前任 AlphaGo 的技能。 AI 框架是應對智能經濟時代的技術利器。 大規模并行計算及智能應用是未來智能經濟時代的主要特

31、點。 當前硬件計算以 CPU 為代表，軟件棧主要針對串行指令進行優化。由于人工智能算法涉及大量的矩陣計算和并行數值計算，面向智能經濟時代的硬件計算已經顯示出從串行遷移到并行計算的趨勢， 未來可能以 GPU 為代表， 軟件棧主要針對大規模并行計算進行優化，這其中 AI 框架將成為大中國 AI 框架發展白皮書（2022 年） 14 規模并行計算的關鍵調度者。此外，人工智能模型將主導智能經濟時代各行各業細分場景，智能應用將呈現規?；?、深度化等特點，而 AI 框架就是智能應用快速落地的關鍵支撐者。 AI 框架將成為智能經濟時代的操作系統。當前互聯網時代，操作系統是 IT 業的核心樞紐點， 建立硬件和應

32、用軟件之間的聯系， 左右著數字設備的整個生態，通過與通用計算芯片的深度綁定，形成Windows+Intel、 Android/iOS+ARM 兩大穩定的技術體系格局。 智能經濟時代，AI 框架承擔著 AI 技術生態中操作系統的角色，是 AI學術創新與產業商業化的重要載體， 助力人工智能由理論走入實踐，快速進入場景化應用時代?？傮w來說，“AI 框架+算力芯片”的組合在一定程度上決定了人工智能產業應用的主體技術路線，其研發能夠促進生態圈關聯及外圍的芯片、系統、軟硬件平臺等產業發展，從而促進人工智能核心生態圈的建設。隨著價值不斷凸顯，AI 框架已經成為了人工智能產業創新的焦點之一，引起了學術界、產業

33、界的重視。 二、全球 AI 框架繁榮發展，多元化競合態勢漸顯 ( (一一) ) 供給主體方面，供給主體方面，企校企校貢獻最活躍貢獻最活躍 科技企業與頂尖高校對 AI 框架的發展成熟貢獻最為活躍。數字科技企業巨頭與頂尖高校是 AI 框架發展壯大的主體維護力量，打造技術產業生態、營造學術創新氛圍，是兩大主體的源動力。個AI 框架發展白皮書（2022 年） 15 人及開源組織也扮演著重要的角色，是 AI 框架創新性、公益性的重要體現。 數字科技企業巨頭是 AI 框架發展壯大的核心力量。自身 AI 業務場景需求激發 AI 框架的應用，并實現 AI 框架的驗證完善。國際知名數字科技巨頭主導開源 AI 框

34、架技術生態，我國數字科技企業近年來也積極布局并不斷創新。Google、Meta、Microsoft、Amazon等國外數字科技企業巨頭在基礎算法框架研發方面具有先發優勢，依托自身 AI 業務場景以及龐大的數據資源，能夠對算法框架進行有效試驗驗證及功能完善。在此基礎之上，數字科技企業巨頭將原本服務于內部業務場景的 AI 框架進行開源，為產業鏈下游合作伙伴提供底層 AI 核心能力，滿足工業級應用需求，逐步完善整體生態，實現合作共贏。國內數字科技巨頭紛紛布局推出 AI 框架，立足滿足自身的AI應用需求外， 也對外拓展服務， 如華為MindSpore、百度 PaddlePaddle、騰訊 TNN、阿里

35、 MNN、字節跳動 BytePS 以及小米 Mace 等。 高校及科研院所是最早啟動 AI 框架研發的主導力量之一，并持續發揮著積極作用。高校及科研院所擁有強大的人才資源，基于實驗室科研創新需求對 AI 框架開展基礎性理論研究工作，布局整體早于數字科技企業，更易實現革命性突破創新。高校最早推出的Theano、Caffe 等開源框架能夠滿足學術研究需求，并對 AI 框架的整體發展起到巨大推動作用，但在大規模分布式計算等場景下的性中國 AI 框架發展白皮書（2022 年） 16 能不及企業推出的 AI 框架。隨后，高校通過更換維護主體以持續釋放作用價值。例如，MXNet 框架發起于卡內基梅隆大學，

36、后捐贈給 Apache 基金會，現成為 Amazon AWS 最主要的 AI 框架。我國高校日漸重視 AI 框架研發，如清華大學已陸續開發出開源框架計圖Jittor、貝葉斯深度學習算法框架“珠算”等。 ( (二二) ) 開源生態方面，全球進入活躍期開源生態方面，全球進入活躍期 開源本質上是一種人才、智慧的聚合，能夠助推 AI 框架快速升級。茁壯的開源生態對于 AI 框架的發展至關重要。開發者通過在開源社區進行代碼開源、項目托管、協作分享、溝通交流等一系列活動，實現與開源 AI 框架的緊密互動。開源社區是 AI 框架開發者必不可少的學習與交流環境，可以說開源社區在推動 AI 框架發展的過程中起著

37、巨大的作用。開源社區的相關指標，也體現著 AI框架在整個行業內的發展情況。對 AI 框架來說，國外最知名社區是 Microsoft 收購的開源代碼托管平臺 Github，國內知名社區是由OSCHINA.NET 推出的代碼托管平臺 Gitee（碼云）。 表 1 Github 社區中主流 AI 框架情況（2022.1） Rank Framework Commits1 Fork2 Star3 Contributors4 Foreign Framework 1 TensorFlow 124494 86300 163000 3056 1 Commits 代表開源代碼提交的次數，表征開源項目活躍度. 2

38、Fork 代表代碼復刻、分叉，表征開源項目被引用情況. 3 Star 代表點贊數，表征開源項目關注度. 4 Contributors 代表貢獻者，表征開源項目貢獻者規模. AI 框架發展白皮書（2022 年） 17 Rank Framework Commits1 Fork2 Star3 Contributors4 2 PyTorch 43390 14800 53700 2137 3 Theano (Stop Developing） 28127 2500 9500 352 4 CNTK (Stop Developing） 16116 4400 17100 201 5 MXNet 11776 69

39、00 19800 868 Domestic Framework 1 MindSpore 37308 514 2700 267 2 PaddlePaddle 33753 4300 17500 524 3 MegEngine 2282 462 4100 32 4 OneFlow 7621 351 3000 99 5 Jittor 1266 235 2300 31 來源：根據 Github 社區數據整理 Github 作為業內認可度最高的開源社區，也是 AI 框架開發者最關注的代碼托管平臺。從 Github 指標看，國外 AI 框架方面，TensorFlow 的各項指標均高居榜首，并遠超第二名，是全

40、球目前活躍度最高、應用最廣的 AI 框架。近年來在學術領域表現亮眼的后起之秀 PyTorch 緊隨其后，雖在頂會占據了主流地位，但與TensorFlow 相比仍略遜一籌。MXNet 表現也較為亮眼，但與前兩者不在同一量級。我國主體推出的 AI 框架方面，MindSpore 是目前活躍度最高的 AI 框架， 在貢獻者方面也已集聚了一定規模使用群體。百度 PaddlePaddle 開源時間較早，在關注度方面較其他框架有一定優勢。 其余框架中， OneFlow 的活躍度與貢獻者規模處于領先位置。 中國 AI 框架發展白皮書（2022 年） 18 表 2 Gitee 社區中主流 AI 框架情況（202

41、2.1） Rank Framework Commits Fork Star Contributors 1 MindSpore 38549 2400 6100 774 2 PaddlePaddle 32788 195 3600 561 3 OneFlow 7521 2 1 126 4 MegEngine(鏡像） 2280 6 16 35 5 Jittor 1239 3 11 34 來源：根據Gitee社區數據整理 國內最大的開源代碼托管平臺 Gitee 目前主要是我國企業所主導 AI 框架進行發布交流的平臺。 國內知名的框架除曠視 MegEngine尚未在社區上發布外，其他框架均有所布局，也吸引

42、了國內的開發群體。 其中， MindSpore 在 Gitee 中的各項指標都遠超其他 AI 框架，是國內社區中最活躍、關注度最高、被應用最多的框架，處在我國開源生態的引領者地位。 ( (三三) ) 市場格局方面，雙寡頭市場格局方面，雙寡頭持續引領持續引領 全球來看， 國際主流 AI 框架由 Google、 Meta 等科技巨頭主導。目前以 Google、Meta、Amazon、Microsoft 等代表的互聯網科技巨頭，憑借自身的數據、技術和資本等優勢，持續在 AI 框架生態領域發力，引領全球 AI 框架技術創新升級趨勢，并逐步形成了以Google-TensorFlow 和 Meta-PyT

43、orch 為代表的雙寡頭格局。從市場占有情況看，產業界以 TensorFlow 為主，學術界以 PyTorch 為主。Github 中 Star 數表征開源項目流行度，是開源項目在產業界中市場AI 框架發展白皮書（2022 年） 19 份額的生動體現， 據表 1 數據顯示， TensorFlow Star 數達到 163000，遠高于排名第二的 PyTorch（53700） ，且 Google 于 2019 年推出TensorFlow Enterprise， 為大型企業提供 TensorFlow 的優化版本以及長期的技術支持，并與 Google Cloud 服務深度集成，持續鞏固TensorF

44、low 在產業界的領先地位。據 Papers With Code 數據5顯示，2021 全年基于 PyTorch 的論文數量在所有基于 AI 框架的論文中占比高達 58.56%，遠高于排名第二的 TensorFlow（12.38%） ，PyTorch在學術界的領先優勢在持續加強。 國內來看， 雙寡頭并驅態勢下 AI 框架市場格局向著多元發展。我國在 AI 應用方面優勢顯著，相當規模的 AI 應用均構筑在國際主流 AI 框架之上，從底層開源代碼貢獻、底層硬件適配，到中間算子研發迭代、模型庫完善，以及上層算法模型構建，雙寡頭持續為國內 AI 應用生態輸出能力。不僅如此，近兩年國內廠商推出的 AI框

45、架市場占有率也正穩步提升。MindSpore 框架開源后獲得國內外開發者的積極響應，在 Gitee 千萬個開源項目中綜合排名第一，成為國內最活躍的 AI 開源框架。 百度飛槳 PaddlePaddle 開發者規模也在持續壯大， 從 IDC 2021 年調研的 350 份中小企業開發者樣本數據顯示，飛槳開發者認知度占比已超 20%。 5 https:/ 中國 AI 框架發展白皮書（2022 年） 20 ( (四四) ) 支撐應用方面，科研與產業齊驅支撐應用方面，科研與產業齊驅 1.AI 框架賦能學術科研 AI 與超級計算機的結合， 使科研領域的計算能力普遍提升到一個新的高度。2021 年世界排名

46、前 500 的超級計算機中，68.4%采用了 AI 技術進行了加速。美國橡樹嶺國家實驗室利用 TensorFlow 在Summit 超級計算機上訓練了 1.1EFLOP/s 的極端天氣預報模型，用來模擬預測氣候變遷會產生的極端天氣，提升了氣象研究的精準度和可能性。 美國勞倫斯伯克利國家實驗室在基于 CPU 的高性能計算平臺上， 使用 TensorFlow 框架開發了大型科學應用程序 CosmoFlow，利用機器學習插件前所未有的將 TensorFlow 框架擴展到 8000 多個節點，以這種規模處理三維空間數據卷，主要應用在暗物質 N 體模擬實驗中，為科學家提供了一個全新的平臺來加深對宇宙的了

47、解。 TensorFlow 被廣泛應用于學術科研領域。美國航空航天局使用TensorFlow 對開普勒任務中積累的大量數據進行分析，由于機器學習能夠比人類更高效地搜索更廣范圍的信號，發現了一直以來忽視的開普勒-90i 行星， 這一發現使開普勒-90 星系成為了目前所知除太陽系外唯一八顆行星繞一顆恒星運行的星系，取得了天體物理學領域的一項重大突破。 賓夕法尼亞大學研究利用 TensorFlow 解決農業病蟲害問題，通過注釋大量木薯植株圖像來識別和分類疾病，目前在坦桑尼亞部分地區試驗應用，農民們可以通過在木薯葉子前揮動手機，快速實現病株識別，并給出最佳的方式來進行管理。雨林保AI 框架發展白皮書（

48、2022 年） 21 護組織 Rainforest Connection 基于 TensorFlow 開發了世界上首款可自動識別盜伐行為的可擴展、實時監控報警的熱帶雨林環保系統，在亞馬遜雨林試驗應用，通過當地的手機蜂窩網絡向中央云計算服務器發送聲音采樣，依托 TensorFlow 來分析和審計數據，從中甄別電鋸、木運卡車等與非法砍伐相關的聲音，以防止人工監聽遺漏。 我國框架作為后起之秀在學術科研領域已經嶄露頭角?；贛indSpore 的鵬程.盤古作為全球首個發布的千億級預訓練中文大模型，模型規模高達 2000 億參數，MindSpore 采用全自動并行訓練方式支撐鵬程.盤古大模型在 4096

49、 張 NPU 芯片上高效訓練。 紫東.太初是基于 MindSpore 框架構建的全球首個圖文音三模態、千億級參數預訓練大模型，具備跨模態理解與跨模態生成能力。武漢大學運用MindSpore 打造了全球首個專用深度學習遙感框架武漢.LuojiaNet，實現大規模衛星遙感影像的智能遙感解譯。PaddlePaddle 聯合鵬城實驗室發布了鵬城-百度 文心，模型參數規模達到 2600 億，是目前全球最大中文單體模型，在機器閱讀理解、文本分類、語義相似度計算等 60 多項任務取得最好效果。此外，百度基于 PaddlePaddle研發推出量子機器學習工具集量槳（Paddle Quantum），建立起了人工

50、智能與量子計算之間的橋梁，可以快速實現量子神經網絡的搭建與訓練，同時還提供多項前沿量子應用。 2.AI 框架賦能產業應用 中國 AI 框架發展白皮書（2022 年） 22 空客公司使用 TensorFlow 開發的模型進行異常監測， 保障空間站運行安全?？湛凸緸楦鐐惒紝嶒炁摰倪\行及其在國際空間站上的有效載荷提供多項服務，哥倫布實驗艙是歐洲航天局最大的國際空間站項目，裝備有多種實驗設備，能開展細胞生物學、外空生物學、流體和材料科學、人類生理學、天文學和基礎物理學等多方面的實驗，由多個組件組成，能夠產生約 17000 個獨特的遙測參數?？湛褪褂?TensorFlow 開發的模型在數據流監控過程中