《國家人工智能標準化總體組：人工智能開源與標準化研究報告（ 2019）（121頁）.pdf》由會員分享，可在線閱讀，更多相關《國家人工智能標準化總體組：人工智能開源與標準化研究報告（ 2019）（121頁）.pdf（121頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能人工智能開源開源與與標準化標準化研究報告研究報告國家人工智能標準化總體組國家人工智能標準化總體組二零一九年四月二零一九年四月I目錄目錄第一章 概述.11.1 背景及目的.11.2 本報告的價值.21.3 本報告的脈絡梳理與導讀.3第二章 AI 產業現狀及開源面臨的宏觀問題.42.1 AI 產業現狀及產業鏈.42.1.1 基礎層.52.1.2 技術層.62.1.3 行業應用層.72.2 AI 開源所存在的問題.92.2.1 法律道德問題.92.2.2 潛在鎖定風險.102.2.3 安全問題.102.2.4 標準統一問題.102.2.5 版本兼容性問題.112.2.6 行業問題.11第三章

2、 AI 開源生態現狀.123.1 AI 開源全棧（聚焦機器學習及深度學習）.123.1.1 芯片使能.133.1.2 分布式集群.153.1.3 大數據支撐.163.1.4 數據管理.173.1.5 模型格式.183.1.6 深度學習框架.183.1.7 機器學習框架.193.1.8 知識圖譜（知識庫）.203.1.9 強化學習.20II3.1.10 模型中間表示層 IR.213.1.11 端側推理框架.223.1.12 高級 API.233.1.13 開放數據集.243.1.14 分布式調度.263.1.15 可視化工具.273.1.16 模型市場.273.1.17 應用類項目.283.2

3、開源組織.323.2.1 開源中國.323.2.2 開源社.333.2.3 OpenI 啟智開源開放平臺.353.2.4 Linux 基金會. 363.2.5 OpenStack 基金會. 373.2.6 Apache 基金會.383.3 組織/機構參與開源的角色及目的. 39第四章 AI 開源技術目前在落地中存在的問題與差距.404.1 AI 在應用時的總體工作流.414.1.1 概述.414.1.2 經過抽象的工作流實現.444.1.3 實際應用的 AI 工作流應具備的特點.474.2 當前 AI 技術在行業應用中的現狀及問題.484.2.1 交通領域.484.2.2 油氣領域.504.2

4、.3 公共安全領域.524.2.4 工業領域.554.2.5 電力領域.584.2.6 金融領域.604.2.7 醫療領域.62III4.3 問題總結及應對思路.644.3.1 AI 開源軟件的數據支持.654.3.2 AI 開源軟件的算法.664.3.3 AI 開源軟件的分布式基礎設施.67第五章 AI 數據開放及協同.695.1 AI 數據的關系和需求.695.1.1 面對的挑戰.695.1.2 AI 數據開放和協同中的相關方.715.2 AI 數據開放和協同中相關行業分析.725.2.1 政府角度分析.735.2.2 醫療行業分析.745.2.3 金融行業分析.765.2.4 交通行業分

5、析.775.2.5 物流行業分析.785.2.6 制造行業分析.805.2.7 教育行業分析.815.2.8 石油行業分析.825.3 AI 數據開放和協同的可行性.835.3.1 頂層設計.835.3.2 法律法規.845.3.3 數據治理.855.3.4 開源數據平臺建設.855.4 潛在解決方案.865.4.1 中心化模式.875.4.2 混合型模式.895.4.3 去中心化模式.905.4.4 沒有初始數據的模式.92第六章 AI 領域開源與標準的關系.936.1 開源與標準聯動的案例.93IV6.1.1 容器.936.1.2 大數據文件格式.946.1.3 OPNFV（網絡功能虛擬化

6、）. 956.2 AI 領域開源與標準聯動的思考.966.3 本次標準機遇研究的范圍與內容.976.3.1 行業應用標準.986.3.2 AI 平臺標準.986.3.3 安全標準.1046.3.4 應用智能化水平評估.1056.4 制定人工智能標準中要考慮的因素.1066.4.1 倫理與社會關注.1066.4.2 監管與治理因素.1076.4.3 把握開源與標準平衡，促進創新與產業發展.108結 語.109附錄 A.110表 A.1 AI 開源項目社區活躍度指標統計.110附錄 B.113表 B.1 第五章技術術語表.113表 B.2 第六章技術術語表.1151第一章第一章 概述概述1.11.

7、1背景及目的背景及目的自 2013 年以來，隨著深度學習技術的不斷發展，引發了新一輪人工智能熱潮，諸如：AlphaGo、刷臉支付、無人駕駛、AR、無人超市等應用層出不窮。大量資本和并購的涌入，加速了人工智能和產業的結合，人工智能甚至有可能成為是繼蒸汽機、電力和計算機之后，人類社會的第四次革命。人工智能（Artificialintelligence，AI）是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。在歷史上，人工智能有過很多個定義，但是迄今為止沒有一個官方的、統一的、正式的定義。人工智能最早由麻省理工學院的 John McCarthy 在 1956 年

8、的達特矛斯會議上提出的： 人工智能就是要讓機器的行為看起來就像是人所表現出的智能行為一樣。世界各國紛紛將發展人工智能作為搶抓下一輪科技革命先機的重要舉措。 隨著人工智能領域國際競爭的日益激烈，2017 年國務院印發新一代人工智能發展規劃，提出我國新一代人工智能發展的指導思想、戰略目標、重點任務和保障措施，為部署構筑我國人工智能發展的先發優勢，加快建設創新型國家和世界科技強國構建了基礎。本報告中的開源指源碼公開、源數據公開及其他成果形式（如軟件、系統或平臺架構等）的公開。近年來開源技術蓬勃發展，諸如計算機視覺開源社區OpenCV、開源數據集 ImageNet、開源智能終端操作系統 Android

9、 和其他大量開源工具及平臺，無不表明開源創新與協同有力推動了產業進程。同理，人工智能尤其是深度學習相關的開源蓬勃發展， 也將對我國人工智能相關產業產生積極影響。第一，人工智能開源有助于支撐人工智能領域形成高端產業集群優勢，逐步引領世界前沿技術的發展。第二，人工智能開源有助于吸引更多人才進入人工智能產業，建設多層次人才培養體系。第三，人工智能開源有助于推動人工智能廣泛應用，加快推動人工智能與各2行業的融合創新和賦能。1.21.2本報告的本報告的價值價值本報告旨在為政府及行業的政策制定者、企業業務決策者、技術決策者提供參考，促進經濟社會各領域智能化轉型，加速人工智能技術在全行業應用落地。（1）促進

10、人工智能產業的發展提升報告集成了各行各業在人工智能領域的經典案例， 提供了豐富的知識積累和發展經驗，可以幫助決策者快速形成發展思路（包括實現方法和風險評估），促進行業的發展提升。（2）加速人工智能技術的應用落地報告描述了機器學習、深度學習開源技術全棧，通過介紹開源工具平臺及基準的方法論，降低行業人員學習和應用人工智能的技術門檻，提升研發速度，降低研發和運維管理成本， 使前沿技術和新興算法能快速運用到具體領域業務中并創造價值。（3）推動人工智能生態圈建設報告所描述的人工智能領域的經驗和需求能夠促進人工智能生態圈的良性發展，促進企業的技術創新。標準與開源的聯動能使產業發展更加健康。（4）推動產業以

11、更開放的心態進行協同創新報告所倡導的開源開放的業態有助于推動中國人工智能開源走向更深層次，例如數據開放協同的文化及平臺建設、開源分享思維和隱私保密需求的平衡等。報告會給出開放數據平臺的構建思路及四種可供參考的方案。3圖圖 1 本報告的本報告的四四大價值大價值1.31.3本報告的脈絡梳理與導讀本報告的脈絡梳理與導讀本次報告分為如下幾個部分:第二章對 AI 的產業現狀及人工智能開源落地行業的宏觀問題進行描述。首先分析了國際國內當前 AI 產業集聚情況，從基礎層、技術層和行業應用層等三個層次深入描述了 AI 產業鏈現狀，提及了工業、醫療、電商等典型領域的應用場景，然后對 AI 開源面對的法律道德、壟

12、斷風險、標準統一等系列問題進行了深入探討。第三章主要對人工智能開源現狀及相關生態做一個全面的分析， 包括人工智能開源項目（聚焦機器學習、深度學習）的全棧圖，并給出全棧各層的定義。其次從各層挑選一些典型的項目來分析其技術及生態特點、 主要的發起及參與的公司及個人。此外也介紹相關的開源組織，包括國內的組織如開源中國、國際組織如 Linux 基金會及 Apache 軟件基金會，然后分析各組織、公司在重要開源項目中的角色及目的。第四章首先介紹了 AI 在應用時的總體工作流，然后系統化地分析當前基于開源的人工智能技術在解決行業具體問題時還有哪些不足、開源起了什么作用、還有哪些短板、在全棧中還有哪些缺失等

13、，試圖從技術生產者及技術消費者兩個緯度來闡述人工智能開源技術是否可以解決所有問題。第五章主要闡述新一代數據驅動的人工智能將給傳統以代碼為核心的開源4理念帶來哪些挑戰，從政府角度以及一些典型行業出發分析 AI 數據開放和協同中存在的問題，從頂層設計、法律規范、數據治理、開源數據平臺建設說明 AI數據開放和協同的可行性，最后給出四種可行性技術架構推動新一代開源運動(Open Source Movement) 的升級，實現“開放生態圈平臺”（Open EcosystemPlatform）的愿景。第六章將著重闡述人工智能領域開源與標準的關系和相互促進。 首先介紹在云計算、大數據、電信網絡等幾個成功的開

14、源與標準聯動的案例，隨后闡述人工智能領域開源與標準的相互關系和聯動建議， 并針對人工智能落地過程中的問題梳理出標準的機會，最后闡述在標準制定中可能遇到的問題以及相關思考。第二章第二章 AI 產業現狀及開源面臨的宏觀問題產業現狀及開源面臨的宏觀問題2.12.1AI 產業現狀及產業鏈產業現狀及產業鏈現有 AI 開源產品在行業中的應用越來越多， 一些企業利用自身的技術優勢，重點打造 AI 應用開放平臺，提供語音引擎、視覺引擎、自然語言處理引擎等眾多 AI 基礎技術；圍繞開放平臺，構建人才生態和行業生態，全面覆蓋教育、金融、家電、醫療、手機、汽車、安防等領域，在內業已產生巨大的經濟價值和社會價值。伴隨

15、著應用場景的快速發展，數據開源會成為新的趨勢，數據收集和標注的標準化需求也會越來越迫切， 業內也產生了一批從事數據收集和標注的初創公司和平臺。目前，全球涉及人工智能的企業集中分布在美國、中國、加拿大、德國等少數國家或地區，且在美國和中國的企業數量已占全球的半數以上。美國和中國依靠其卓越的技術研發機構及融合豐富應用場景的各類實驗室， 協同領銜全球人工智能的發展，奠定了雄厚的技術基礎。中國當前具有多個人工智能聚集中心和地方特色人工智能發展產業，其中以北京與天津、上海與杭州、深圳與廣州為重點城市群抱團發展的產業格局逐步顯現，形成三大人工智能聚集中心。圖 2 是我們制定的人工智能參考框架圖， 圖 3

16、是人工智能領域目前在產業界應用的全景圖。在產業全景圖中的“基礎設施”層對應了參考框架中的“數據”與“算力”，產業全景圖中的“關鍵技術”層對應了參考框架中的“算法”，產5業全景圖中的“智能系統”及“行業應用”對應了參考框架中的“產品與服務”。圖圖 2 人工智能參考框架圖人工智能參考框架圖圖圖 3 人工智能產業生態圈全景圖人工智能產業生態圈全景圖人工智能產業鏈宏觀上由基礎層、技術層和應用層等三個層次組成，其中基礎與核心技術的研究主要分布在大企業及科研機構， 而應用層的研究測試在大中小企業均有涉及，形成了全面開花、全行業覆蓋的局面。2.1.12.1.1基礎層基礎層芯片研發作為基礎層的核心，已成為人工

17、智能發展的關鍵因素。芯片在技術架構方面可分為通用類芯片（如 CPU、GPU 等）、半定制化芯片（如 FPGA 等）、6全定制化芯片（如 ASIC 等）和類腦計算芯片。目前 GPU 是深度學習訓練平臺的主流配置，而 FPGA 的靈活可編程特點可以使得在算法未完全成熟時切入市場，同時其低功耗特性也被大型數據中心所青睞。 在專用人工智能芯片領域， 自 2016年 Google 發布了 TPU 芯片后，這一市場熱潮不斷。國內如寒武紀、地平線、華為海思等公司也紛紛研發出可規模商用的人工智能專用計算芯片。隨著物聯網技術的不斷發展，傳感、計算、通訊、AI 等功能的集成變得尤為重要，若每個功能均依靠單一芯片，

18、不但效率低下，而且能耗和成本都很高，因此將不同的功能整合在一起，構建異構芯片，會極大緩解上述問題。由 AMD、ARM、華為、HXGPT、高通、IMAGINATION 和三星等公司組成的全球異構系統架構(HSA) 聯盟在 2017 年成立了中國區域委員會(CRC)。CRC 的任務是以構建 HSA生態系統為側重點，提高對異構計算的意識認知，并促進 HSA 在中國的標準化進程。新一代人工智能依賴于海量數據的處理、存儲、傳輸，因此離不開云計算。云計算是把大量的計算資源封裝抽象為 IT 資源池，用于創建高度虛擬化的資源供用戶使用。通過動態整合、共享硬件設備供應來實現 IT 投資的利用率最大化，降低了使用

19、計算的單位成本及 IT 運維成本，促進了人工智能產業的商業化進程。2.1.22.1.2技術層技術層目前技術層中的核心技術主要由科技巨頭企業掌控，如微軟、亞馬遜、Google、Facebook、百度、阿里、騰訊、京東、小米、商湯等。此外，一大批初創企業和開源組織也陸續加入其中。它們共同探索和推進 AI 技術的發展，催生出了一批在業內有深遠影響力的開源項目，如 TensorFlow、PaddlePaddle、Caffe、CNTK、Deeplearning4j、PyTorch 、Mahout、MLlib。這些科技企業，通過招募 AI高端人才及組建實驗室等方式加快關鍵技術研發， 并通過開源技術平臺構建

20、生態體系。技術層面， 包含機器學習、 知識圖譜、 自然語言處理、 虛擬現實或增強現實、計算機視覺、生物特征識別、人機交互等技術與應用場景相結合，從而衍生出大量的智能化產品與服務，包括智能家居、智能機器人、智能搜索引擎、智能問答系統、一體機 VR、無人駕駛汽車、人臉識別系統、智能客服等。72.1.32.1.3行業應用層行業應用層人工智能是制造業數字化、網絡化、智能化轉型發展的關鍵引擎，是促進實體經濟發展的重點方向。 近年來各國政府和產業界紛紛采取行動推進基礎性研究及產業實踐部署，人工智能的各種應用如機器人、無人駕駛、智能客服等百花齊放，大中小企業均有涉及，形成了全行業全覆蓋的局面。本次報告的寫作

21、單位涉及了如下行業：工業制造、醫療、電商、公安、金融、消費電子、交通、物流、航空、能源、政務等，因此下面報告中不論是行業案例還是痛點分析等主要以它們為主。同時這些行業也是在 AI 應用中訴求比較明確的領域。2.1.3.12.1.3.1工業工業人工智能在工業領域深度融合新一代信息通信技術與先進制造技術， 貫穿于設計、生產、管理、服務等制造活動的各個環節，引導具有自感知、自學習、自決策、自執行、自適應等功能的新型生產方式。人工智能在工業領域進一步融合拓展的應用方向還有機器視覺檢測分揀、人機交互、可視化及 AR/VR、行業知識圖譜及知識自動化等，支持工業設備能耗預測與優化，增強工業設備預測性維護和智

22、能故障診斷，為企業生產個性化需求、企業運行優化及產品生命周期控制提供輔助決策，進而提升制造質量水平和企業經濟效益。2.1.3.22.1.3.2醫療醫療基于圖像分析技術的影像輔助診斷和醫學病理分析相結合， 提供了更準確的臨床診斷，同時提升了醫療服務的效率。在健康趨勢分析、疾病預測、影像輔助診斷等領域引入人工智能技術，可以有效預測疫情并防止其進一步擴散和發展，提供患者預前和預后診斷和治療的評估方法和精準診療決策， 有效提高醫護人員工作效率和診斷水平， 從而在整體上為醫療健康領域向更高的智能化方向發展提供了非常有利的技術條件。82.1.3.32.1.3.3電商電商在電商領域，無人店、無人貨架紛紛引入

23、人臉識別、貨物識別等先進技術，實現無人值守，融合人工智能的倉儲機器人，實現了貨物的識別、揀選和自動搬運等功能，極大解放了生產力。通過對消費者歷史購買行為的深入分析，提供了更精準的目標客戶營銷和商品推薦。2.1.3.42.1.3.4公共安全公共安全在安防領域，通過支持前端提取信息，如采用在復雜場景下的人車混合多特征結構化信息技術，提取人臉屬性、人臉軌跡、車牌車型等特征屬性，利用人工智能對視頻、圖像進行存儲和圖像比對分析，建立危險人數圖像庫，從而識別危險隱患并進行安全處理，是構建未來智慧城市安防體系的基礎，在反恐維穩、犯罪預警、案件偵破和網絡音視頻監管等領域具有重要應用價值和廣泛的應用前景。2.1

24、.3.52.1.3.5金融金融在金融領域可以借助大數據， 以人工智能為內核支持金融行業的用戶畫像識別、資產信息標簽化、智能獲客、身份認證、智能化運維、智能投顧、智能理賠、反欺詐與智能風控、大數據征信、網點機器人服務等應用場景，對于提高金融系統管理效率、拓展金融新業務、防范金融風險等方面意義重大。2.1.3.62.1.3.6智能終端智能終端/個人助理個人助理以住宅為平臺，基于物聯網技術，由硬件、軟件系統、云計算平臺構成的家居生態圈，實現遠程控制設備、設備間互聯互通、設備自我學習等功能，并通過收集、 分析用戶行為數據為用戶提供個性化生活服務。通過人機交互應用在多種服務行業的咨詢、指引、查詢、講解和

25、業務辦理等應用場景；與 APP 連接，實現硬件控制、日程管理、信息查詢、生活服務、情感陪伴等。92.1.3.72.1.3.7交通交通借助移動通信、寬帶網、射頻識別、傳感器、云計算等新一代信息技術作支撐，利用攝像頭監測交通路況和車輛信息，聯通各個核心交通元素，廣泛應用人工智能技術、統計分析技術、數據融合技術、并行計算技術等處理海量交通信息數據，實現信息互通與共享，以及交通元素間彼此協調、優化配置和高效使用，形成人、車和交通的一個高效協同環境。2.1.3.82.1.3.8物流物流利用智能搜索、推理規劃、計算機視覺、智能機器人、大數據分析以及射頻識別、 自動感知、 全球定位系統等先進的物聯網技術，

26、應用于物流業運輸、 倉儲、配送、包裝、裝卸等基本活動環節，實現智能物流系統的線路規劃、人車資源調配、自動化運作和高效率優化管理，提高物流效率，提升物流行業的服務水平，降低成本，減少自然資源和社會資源消耗。2.1.3.92.1.3.9航空航空利用機器學習、知識圖譜、自然語言處理、人機交互、計算機視覺、生物特征識別、AR/VR 為基礎的感知與認知、決策執行與控制、交互與協同、檢測與維護等內容，應用于人臉識別安檢、智慧航顯、航空發動機預測健康管理及航空大數據分析、路徑規劃、任務規劃、集群管理、目標識別、戰術決策、毀傷評估、質量評估和可靠性實驗檢測等方面。 不論民用還是軍用航空領域， AI 可以實現人

27、與機器智能的結合，全面提升觀察-調整-決策-行動（OODA）環的運行速度和運行質量。2.22.2AI 開源所存在的問題開源所存在的問題2.2.12.2.1法律道德問題法律道德問題隨著人工智能的發展，其已經逐漸涉及到違法犯罪的黑色領域，被大肆用于10詐騙、色情、犯罪、甚至未來的戰爭中。例如，無人車、無人機等設備可以在不依賴人的情況下自主做出決策，做出危及人身安全的動作。這些新的情況將會帶來倫理、道德和法律上的一系列危機，亟待相關專家給出合適的解決方案。高質量、大規模的數據一般會認為是企業的重要資產，開源或開放后可能導致喪失競爭優勢，缺少讓數據開源貢獻者獲得合理回報的機制。另外，數據和模型很難保護

28、自身知識產品不被競爭對手抄襲，甚至直接使用，這對企業進行數據開源形成了很大阻力，因此需要建立合適的政策保護機制。2.2.22.2.2潛在鎖定風險潛在鎖定風險目前雖然有大量的開源技術和軟件可以使用，但是背后的廠商如谷歌、Facebook、亞馬遜、蘋果對這些開源技術也掌握著絕對話語權。一旦使用開源軟件的某些廠商利益跟上述公司相沖突， 不排除被取消軟件授權或者相關軟件不再更新的可能性。企業基于自身的相關考慮，將相關項目進行開源，然而由于企業自身存在大量業務開展，因此導致其開源的相關項目的維護不及時，一旦項目停止維護，項目的使用者則面臨進退兩難的困境，平臺遷移成本太高，但若不遷移平臺，業務也無法得到平

29、臺新的支持。2.2.32.2.3安全問題安全問題AI 開源工具雖有開放、共享、自由等特性，企業在享受開源技術帶來的便利的同時，也存在巨大的安全風險。由于源代碼公開，所有發現的漏洞都會被第一時間公布，因此也容易被攻擊者利用；由 AI 開源技術形成的軟件，其最終使用用戶往往得不到最及時的更新，并且在軟件開發和驗收過程中，不易準確判斷軟件里包含哪些開源組件，容易造成安全隱患。另一方面，AI 開源代碼在社區中一般由相應的團隊或個人開展維護工作， 缺乏對應的激勵機制保障代碼查找漏洞或及時更新，也會導致用戶疑慮，降低 AI 開源技術及產品的推廣使用。2.2.42.2.4標準統一問題標準統一問題不同于其他開

30、源軟件，當前 AI 開源模式不夠充分，僅限于開源 AI 框架，數11據開源力度不足，對 AI 技術的應用形成了壁壘。深度學習方面，AI 已開源框架、工具缺乏基本的統一標準， 造成不同框架下的模型算法兼容困難； 硬件優化方面，AI 開源軟件大多在 X86 和 GPU 上進行優化，很少有在其他體系結構上進行優化的項目；數據格式方面，AI 開源目前多是針對深度學習的開源項目，而深度學習需要大量的訓練數據，數據問題將許多公司卡在門外；模型算法方面，從數據和模型研究到形成產品方案之間存在明顯差距。很多開源的 AI 算法，僅在所限定的理想條件下有效，難以適應復雜的實際應用環境，且在大規模分布式計算與存儲環

31、境下效果不佳。2.2.52.2.5版本兼容性問題版本兼容性問題不同開源工具的兼容性問題導致整合困難， 同一開源工具的不同版本之間也存在兼容性問題。開源社區涌現了一批以 Caffe、MxNet、TensorFlow、Torch 等為代表的熱門 AI 開源開發框架，這些框架簡化了 AI 技術的工程實現難度，但是每個框架之間接口不統一，模型格式不一致，在一定程度上造成了在各個框架之間遷移成本較高的問題，使得模型的復用較為困難，同時也增加了用戶的學習成本，為在不同場景下使用不同開發工具造成了一定的障礙。即使對同一 AI 開發框架， 接口調整較頻繁， 每次升級都會導致不少額外工作量； 變化內容較為激進，

32、項目自身向上兼容能力較差，導致企業/個人在更新開源軟件時帶來極大風險，同時也增加了用戶的學習成本。2.2.62.2.6行業問題行業問題雖然當前 AI 已開始逐步應用，但各行業因為自身的屬性，均面臨一些棘手的難題，制約著 AI 朝更深入、更廣泛的方向應用。由于前期研發周期較長，相關領域技術人才缺乏，且雇傭成本較高，實際經濟回報難以預估，許多企業不敢冒險嘗試。另外，智能制造領域中的人工智能標準及開源代碼仍然相對較少，無法滿足當前人工智能技術的標準化需求，并制約著我國人工智能應用的有序、規范、健康發展。傳統金融機構歷史包袱重，多數核心系統難以迅速采用開源 AI 技術；金融行業注重客戶的數據隱私保護，

33、 數據的使用制約限制了人工智能相關模型的有效12性；既懂金融業務、又懂開源 AI 技術的人才也極度稀缺。航空航天行業背景特殊，需要有針對性地進行開源。目前完全出于航空航天領域考慮的 AI 框架少，技術架構不明晰，且軍事領域由于出于安全問題考慮，公共技術移植也較少；此外，在民用領域，從飛控系統的開源開始，就不斷打開了無人機的進入門檻，但是對于開源的安全性和穩定性還有待考慮，對于開源的質量評定等還處在探索階段。第三章第三章 AI 開源生態現狀開源生態現狀3.13.1AI 開源全棧（聚焦機器學習及深度學習）開源全棧（聚焦機器學習及深度學習）人工智能標準化白皮書（2018 版）中對 AI 技術棧分為：

34、智能芯片、智能傳感器、機器學習、知識圖譜、自然語言處理、人機交互、計算機視覺、生物特征識別及虛擬現實/增強現實等?？紤]到目前 AI 領域開源主要是在機器學習，尤其是深度學習領域，而且這也是目前 AI 技術創新與落地的主要領域，本報告總體上聚焦分析深度學習中的開源技術、所面臨的問題以及相關的技術創新、標準化的機遇等?；谌缟峡紤]，后續除非特別指出，在本報告的語境中，AI 主要對應的是機器學習/深度學習這一領域。圖圖 4AI 開源全棧示意圖開源全棧示意圖13上圖是目前比較活躍的機器學習及深度學習的開源社區及項目所形成的開源全棧示意圖，整個開源全棧被分為四個層次：（1）基礎設施AI 芯片是為 AI

35、計算設計的高性能芯片，業界有 AI 芯片設計、指令集、編程框架等開源芯片使能項目；同時 AI 工作負載（訓練、推理、數據準備與治理、生命周期管理等）計算量大，對存儲、網絡傳輸等要求高，需要依賴分布式部署和承載的軟件平臺。這兩部分構成了 AI 框架的基礎設施層。（2）深度學習/機器學習（DL/ML）引擎深度學習/機器學習（DL/ML）引擎主要指深度學習/機器學習框架，包括訓練與推理，以及與二者相關的模型格式、框架內數據格式等，同時也包括訓練及推理之前的數據準備與數據管理。（3）應用使能應用使能包括數據科學家、 AI 算法工程師在準備數據與使用訓練框架之外的所有周邊工作，主要包括任務視角的集群管理

36、、數據可視化、框架易用性，以及模型/數據市場及端到端的生命周期管理。（4）AI業務AI 業務主要指基于 AI 基礎及通用能力之上構建的領域 AI 服務，涵蓋視頻、語音、圖像文本等。以下是各組成部分的主要分類、描述和相關項目（按圖中數字標識順序）：3.1.13.1.1芯片使能芯片使能深度學習需要大量重復執行矩陣乘法、激活函數（如 sigmoid、tanh）等計算過程。通用 CPU 執行上述計算的性價比較低，需要采用專用的計算芯片。適合 AI 計算的芯片包括 GPU、FPGA 或者 ASIC 方案，它們通過把 AI 中常用函數計算硬件化來提升硬件計算速度、降低功耗。其中熱門的開源技術包括開源的指令

37、集、開源硬件實現方案、異構計算框架和編譯器等。DLA 是 NVIDIA 基于 Xavier SoC 的一個深度學習開源加速平臺， 適合于端側推理場景的芯片 SoC。DLA 是一個卷積神經網絡加速器（只能推理，并不能進行訓練），它還需要外部的 CPU 和內存單元才能完整驅動整個加速器，CPU 通過14中斷和 CSB 總線控制 NVDLA 加速器。鏈接：http:/nvdla.org/RISC-V 是基于精簡指令集計算(RISC)原理建立的開放指令集架構(ISA)。 RISC-V是開源的指令集，可以免費地用于所希望的設備中，允許任何人設計、制造和銷售 RISC-V 芯片和軟件?；?RISC-V

38、指令集架構可以設計服務器計算芯片、家用電器計算芯片、工控計算芯片和比指頭小的傳感器計算芯片。鏈接：https:/riscv.org/LLVM 是構架編譯器(compiler)的框架系統， 用 C+編寫而成。 項目啟動于 2000年，最初由美國 UIUC 大學主持開展發起的一個開源項目，目前 LLVM 已經被蘋果 IOS 開發工具、Xilinx Vivado、Facebook、Google 等各大公司采用。鏈接：https:/llvm.org/OpenCL 當前由 Khronos 集團管理，是一個為異構平臺編寫程序的框架。此異構平臺可由 CPU、GPU 或其它類型的處理器組成。OpenCL 由一

39、種用于編寫kernels（在 OpenCL 設備上運行的函數）的語言（基于 C99）和一組用于定義并控制平臺的 API 組成。鏈接：https:/www.khronos.org/opencl/Vulkan 也由 Khronos 集團開發，使軟件開發人員能夠全面獲取 RadeonGPU 與多核 CPU 的性能、效率和功能，大幅降低了 CPU 在提供重要特性、性能和影像質量時的 “API 開銷” ， 而且可以使用通過 OpenGL 無法訪問的 GPU 硬件特性。鏈接：https:/www.khronos.org/vulkan/Cyborg 是 OpenStack 社區中的一個官方項目， 能夠提供異

40、構加速硬件通用管理框架。Cyborg 提供面向異構加速硬件的基礎生命周期管理能力(CRUD 操作)，通過抽象通用的數據模型與統一的管理操作 API，為用戶提供統一的異構計算資源使用體驗，而無需針對每一種異構加速硬件特別構建管理模塊。同時，Cyborg提供異構加速硬件管理元數據的標準化， 使得資源描述和業務需求之間的映射關系更加準確， 在調度上可以更加通用與便捷。 作為通用的異構計算資源管理框架，Cyborg 提供了如下標準化接口： 掛載與卸載異構計算設備 創建異構計算設備 刪除異構計算設備 更改異構計算設備15 查詢異構計算設備 可編程異構計算設備的燒寫 異構計算設備的租戶配額控制基于以上的標

41、準化接口，用戶可以通過云計算基礎設施平臺為其 AI 業務分配合適的異構計算資源， 從而避免 GPU 資源調度不均、 新的異構計算設備(如 ASIC等)接入困難等平臺相關的難題。鏈接：https:/wiki.openstack.org/wiki/Cyborg3.1.23.1.2分布式分布式集群集群云計算平臺對人工智能的基礎支撐包括異構計算的部署和開發工具兩個方面。在異構計算方面，GPU 已成為深度學習訓練平臺的主流配置；FPGA 的靈活可編程特點可以使得在算法未完全成熟時切入市場并方便地進行迭代， 同時其低功耗特性也被大型數據中心所青睞；2016 年 Google 發布了 TPU 芯片，為機器學

42、習提供定制化加速。在開發工具方面，現階段業界有很多機器學習開發框架，云平臺將這些框架服務化并進行針對性的優化， 極大降低了人工智能開發的準入門檻。當前，AI 訓練平臺的部署已經形成以容器技術為基礎的自動化部署趨勢。各種 AI 公司或者互聯網公司的 AI 部門都在嘗試如何在 Kubernetes (K8s)上運行 TensorFlow、Caffe/2+PyTorch、MXNet 等分布式學習任務。不同的 AI 平臺對集群分布式部署有不同的需求，也帶來了配置難題。針對這些問題，各種部署工具也應運而生。Google KubeFlow 正在不斷完善 TensorFlow 在 K8s 集群上的部署、運維

43、、參數調優等功能支持，并且已經有 TNN 等公司向 KubeFlow 貢獻特性。鏈接：https:/ IBM 發起的 FfDL 是針對 TensorFlow、 Caffe、 PyTorch 等多個 AI 平臺在 K8S進 行 部 署 的 工 具 ， 目 前 只 實 現 了 基 本 的 部 署 功 能 。 鏈 接 ：https:/ Paddle 非常推崇在 K8S 上進行 AI 平臺的部署，Paddle EDL 項目在 K8S上 提 供 了 資 源 利 用 率 、 彈 性 調 度 、 容 錯 等 部 署 能 力 。 鏈 接 ：http:/www.paddlepaddle.org/OpenStac

44、k 社區也加強對 GPU 等硬件的支持，同時也出現了一些支持 AI 平16臺部署的項目。鏈接：https:/www.openstack.org/3.1.33.1.3大數據大數據支撐支撐Apache Hadoop 已經成為大數據處理領域事實上的標準。Hadoop 作為一個完整的大數據處理生態圈，包括多個組件：分布式文件系統 HDFS、并行化計算框架 MapReduce、非關系型數據庫 HBase、分布式協調系統 Zookeeper 等。國內外知名的 IT 公司，例如 Yahoo、亞馬遜、百度、阿里巴巴等，都利用 Hadoop 集群批量處理上 PB 級別的數據。鏈接：http:/hadoop.ap

45、ache.org/Hadoop 技術為大數據技術的應用提供了很好的支撐環境，優勢主要體現在以下幾處： Hadoop 本身是開源社區，方便定制； 擴展性好，安全性高； 社區活躍，得到多個大公司的支持； 成本低，開發周期短，技術成熟。Apache Spark 是一個快速、通用、開源的集群計算系統，是適用于大規模數據處理的統一引擎。它可提供 Java、Scala、Python、R 語言的高級 API，能夠高性能執行圖計算，支持諸如 Spark SQL、結構數據處理、機器學習、圖計算、流計算等多種高級工具。Spark 既可以單機方式運行，也可通過 YARN 在 Hadoop 集群上運行，它可兼容 Ha

46、doop 數據，能夠處理任何 HDFS、HBase、Cassandra、Hive以及其它 Hadoop Input Format 的數據。Spark 既可運行批處理作業，又可處理流計算、交互查詢、機器學習等新型作業。Apache Hadoop YARN （Yet Another Resource Negotiator， 又一種資源協調者） ，作為一個開源的通用資源管理系統，是一種新的 Hadoop 資源管理器，為上層應用提供統一的資源管理和調度，為集群在利用率、資源統一管理和數據共享等方面帶來巨大好處。YARN 的基本思想是將資源管理、任務調度與監測分散到不同的進程中。資源管理器（RM）掌控全

47、局，每個應用有自己的應用主控器（AM），應用要么是單獨作業，要么是有向無環圖作業。YARN 是 Hadoop 的擴展，它不僅可以支持 MapReduce 計算，還能管理諸如 Hive、Hbase、Pig、Spark/Shark 等應用，從而使得各種類型的應用互不干擾地運行在同一個 Hadoop 上面，并通過17YARN 從 系 統 層 面 進 行 統 一 管 理 ， 共 享 整 個 集 群 資 源 。 鏈 接 ：https:/hadoop.apache.org/3.1.43.1.4數據數據管管理理作為 AI 訓練的前置需求，數據發現一直是企業在實施 AI 過程中消耗資源最為巨大的部分。Data

48、Catalog 作為解決數據發現難題的手段，被主流廠商和社區所重視。DataCatalog 旨在通過對復雜場景下的多數據中心、多種數據源進行元數據（MetaData）統一管理來解決數據邏輯統一、物理分布的數據共享問題。在開源社區領域，作為大數據端到端的數據治理方案包括： Apache Atlas （元數據治理）、Avro（統一數據交換格式）。伯克利大學的 RISELab Ground 項目也是專注于 Big Meta Data 管理，通過管理數據上下文，解決數據使用效率低下、治理困難等問題。Apache Atlas（元數據治理）是一個可擴展核心數據治理服務集,支持數據分類、集中策略引擎、數據血

49、緣、安全和生命周期管理，該項目支持管理共享元數據、數據分級&分類、審計、安全性以及數據保護。使企業能夠有效地和高效地滿足數據的合規性要求。鏈接：https:/atlas.apache.org/Apache Avro 可以將數據結構或對象轉化成便于存儲或傳輸的格式。Avro 設計之初就用來支持數據密集型應用，適合于遠程或本地大規模數據的存儲和交換。avro 支持跨編程語言實現（C, C+, C#，Java, Python, Ruby, PHP）。avro 依賴于一套可定義的 Schema，通過動態加載相關數據的 Schema，可以有效減少寫入數據的開銷，使得序列化快速輕巧。鏈接：https:/a

50、vro.apache.org/RISELab Ground 是一個數據湖（data lake）context 管理系統。它提供了一個RESTful 服務的機制，讓用戶去推論他們擁有什么數據，數據從哪里來向哪里去，誰在使用數據，數據何時變化，為什么會有這種變化等。通過管理數據上下文，解決數據使用效率低下、治理困難等問題。Ground 提供了一個通用 API 和追蹤信 息 的 元 模 型 ， 可 以 和 很 多 數 據 儲 存 庫 一 起 工 作 。 鏈 接 ：https:/rise.cs.berkeley.edu/projects/ground/183.1.53.1.5模型格式模型格式ONNX