《中國移動&中國聯通&華為:2023運營商AI先進存力白皮書(35頁).pdf》由會員分享,可在線閱讀,更多相關《中國移動&中國聯通&華為:2023運營商AI先進存力白皮書(35頁).pdf(35頁珍藏版)》請在三個皮匠報告上搜索。
1、運營商AI先進存力白皮書匯聚產業新動能,共創AI新時代匯聚產業新動能共創AI新時代-2023年-匯聚產業新動能,共創AI新時代匯聚產業新動能共創AI新時代-2023年-本白皮書版權屬于中國移動通信有限公司研究院、中國聯合網絡通信集團有限公司、中國人工智能產業發展聯盟、華為技術有限公司和中國科學技術大學,并受法律保護。轉載、摘編或利用其它方式使用本白皮書文字或者觀點的,應注明“來源:中國移動通信有限公司研究院、中國聯合網絡通信集團有限公司、中國人工智能產業發展聯盟、華為技術有限公司和中國科學技術大學”。違反上述聲明者,編者將追究其相關法律責任。版權聲明編寫委員會顧 問陳國良、周躍峰指導委員會劉景
2、磊、赫罡、魏凱、龐鑫、顧雪軍編 委陳佳媛、閆晗、童俊杰、李誠、靳震、曹曉峰、董昊、曹峰、丁志彬、何雨今、王振、王旭東、周宇、楊小林、紀燁、韓茂、蔣海林、鐘毅、蔡釗、易恩來、藍文海、譚華、茍欣、沈榮鋒、孫睿、江軍航、郭洪星、黃維恩、阮政委、孫曉藝、宋天宇、段芳成、鐘昭、宋建嘉主編單位中國移動通信有限公司研究院、中國聯合網絡通信集團有限公司、中國人工智能產業發展聯盟、華為技術有限公司、中國科學技術大學序 言人類社會正在跑步進入通用人工智能時代。從AlphaGo 到 ChatGPT,人工智能領域的里程碑事件不斷涌現,GPT-4 首次展現極強的語義理解能力、內容生成能力和持續對話能力,這是一個新時代來
3、臨的標志。產業界紛紛加強大模型相關領域的研究,并推出一些新產品和新應用,傳統信息產業生態正在被重塑。運營商作為 ICT 基礎設施建設的主力軍,迎來 AI 發展的新機遇。從對內網絡業務角度看,大模型將會加速運營商網絡智能化升級。首先,利用人工智能的分析、策略優化與預測等能力來賦能網元、網絡等業務系統,有助于提升電信網絡的智能規建、智能運維、智能管控能力。其次,通過人工智能設計套餐,將人工智能嵌入用戶流量管理中,有助于提升網絡運營、市場營銷、客戶服務的效率。同時,借助大模型還可能對 6G 智簡網絡以及云網融合的研究提供幫助,促進 6G 技術迅猛發展。從對外政企業務角度看,大模型也將助力運營商賦能千
4、行百業智能化升級。結合運營商的數據優勢、算力優勢、行業使能經驗優勢,運營商將成為數字經濟智能化的關鍵一環。一方面,將運營商的大模型能力外溢至行業客戶,面向政務、教育、醫療等推出行業大模型新應用,這也是當前運營商重點發力的方向。另一方面,結合運營商算力、網絡等資源優勢,為大模型創業者和研發機構提供智算服務,做 AI 淘金時代“賣鏟人”。運營商要抓住大模型的發展機遇,首先需要構建領先的 AI 基礎設施,尤其是數據存儲能力,也即存力。在大模型場景中,先進數據存力尤為重要。大模型的參數和數據規模都呈指數級增長,對存儲的擴展性、穩定性、性能、時延等都提出更高要求。比如一個訓練批次前后的數據加載和保存階段
5、,如果存取性能不足,會導致計算資源(如 CPU、GPU 等)的浪費。存力是算力價值的前提和基礎,只有數據存得好、算得快、傳得穩,整個 AI 基礎設施才能夠更好發揮算力的作用。本白皮書重點研究了運營商如何構建 AI 先進存力,一是分析目前運營商行業 AI 場景的總體發展態勢與應用現狀,展望了運營商作為國家數字經濟發展引擎的重要作用。二是分析支撐大模型應用的 AI 基礎設施存在的挑戰,分析得出 AI 先進存力是構建領先 AI 基礎設施的關鍵一環。隨著 AI 與通信產業的深度融合,AI 大模型不僅會賦能網絡的泛在智能能力,還將助力運營商推動千行百業智能化升級。前行不綴,未來可期。通用人工智能奔涌而來
6、,賦能數字經濟的全面智能化升級。運營商引領時代潮流,智算底座將成為千行百業創新變革的重要基石。陳國良中國科學院院士在大模型席卷全球的熱潮中,人們已經深刻認識到人工智能作為經濟社會發展中一項革命性技術力量,將驅動全球產業實現巨大飛躍甚至跨越式發展,深刻影響未來世界的競爭格局。通信行業作為信息通信基礎設施的建設者和運營者,既為 AI 的發展提供基礎設施支撐,又將會是 AI 應用落地的先行者。大模型時代,數據決定 AI 智能的高度。更多的訓練數據是 AI 模型迭代升級的前提,更高的數據質量也決定著大模型訓練的效果。國內要發展人工智能,并使這一產業得到高速的發展,一定要重視數據和信息的數字化記錄。如今
7、,國內建設了大量的數據中心,算力相對較多,但存力較少,很多高價值的信息都沒有被記錄下來。作為數據的載體,數據存儲成為AI大模型的關鍵基礎設施。構建 AI 先進存力是構建領先 AI 基礎設施的核心條件之一。大模型的持續創新突破,需要從數據的角度對 AI全流程進行優化。首先,數據歸集階段要高效處理多地域、多分支收集 PB 級多樣化的原始數據;其次,在模型訓練階段需要對海量小文件的隨機讀取以及模型數據集快速保存;最后,在模型推理階段需要快速檢索增量源數據和向量數據。這些挑戰都需要創新的 AI 存儲解決方案,比如通過智能數據編織,實現跨系統、跨地域的全局統一數據視圖和調度;通過近存計算,卸載部分數據預
8、處理能力,減少數據搬遷,縮短數據準備時間;通過全閃存分布式存儲,實現存儲節點千萬級每秒讀寫次數(IOPS,Input/Output Per Second)和數百 GB/s帶寬,提升訓練效率;通過向量存儲,實現高性能向量檢索能力。華為公司在數據存儲產業上的大規模投入超過十年,提供專業 AI 存儲支撐大模型蓬勃發展,助力運營商引領新時代。通過與業界專家、客戶和伙伴深入交流,中國移動研究院、中國聯通、人工智能產業發展聯盟、華為和中國科學技術大學聯合編寫了本白皮書。白皮書詳細闡述了 AI 先進存力對運營商 AI 先進基礎設施的支撐作用,建立了一套綜合的評估 AI 先進存力的特征體系,可有效牽引對人工智
9、能計算中心的科學規劃。我相信這是一次非常有意義的探索,將凝聚更多的行業力量共同推進運營商 AI 產業的發展。凡人微光,匯聚成炬。華為愿與產業各方更加緊密攜手努力,匯聚產業力量,共創運營商 AI 新時代。周躍峰 博士華為公司副總裁前 言圖1 數據-模型-迭代全生命周期.03圖2 AI大模型全流程存儲需求分析.13圖3 算力中心架構到存力中心架構.18圖4 多業務接口的統一存儲邏輯圖.19圖5 傳統文件系統架構向并行文件系統架構發展.21圖 目 錄CONTENTS目 錄AI 發展概述 011.1 AI 基本概念.011.2 AI 發展階段.021.3 我國AI大模型發展現狀.0401運營商是助推
10、AI 強勁發展主力軍 052.1 運營商高度重視AI發展.052.2 運營商應用AI的主要方向.0902運營商 AI 存力挑戰 113.1 AI存力是運營商發力大模型的基礎.113.2 運營商AI存力面臨的主要挑戰.1303AI 先進存力發展趨勢 174.1 AI先進存力內涵.174.2 AI 先進存力關鍵技術.1804運營商 AI 先進存力產業發展建議 2505參考文獻 2701AI 發展概述運營商 AI 先進存力白皮書AI 發展概述1人工智能(AI,Artificial Intelligence)是指通過計算機技術和算法模擬人類智能的一種技術。它可以讓計算機像人一樣思考和學習,從而實現自主
11、決策的智能化行為。AI已在計算機視覺、智能語音、自然語言處理等應用領域迅速發展,開始像水、電、煤一樣賦能于各個行業。AI 主要分為分析式 AI 和生成式 AI。傳統分析式 AI 主要用于分析式應用,即對輸入內容進行分析和判斷,生成輸出分析結果,如推薦系統、圖像識別、智能語音等。在傳統的分析式 AI 時代,只能根據已有的數據進行學習和預測,無法處理新的、未知的情況。1.1 AI 基本概念02AI 發展概述運營商 AI 先進存力白皮書生成式 AI 主要用于內容生成,即使用 AI 生成新內容,如文本、圖片、音頻、視頻等。生成式 AI 在學習歸納已有數據的基礎上,學習數據產生的模式,并創造數據中不存在
12、的新樣本,實現了從數據分析到內容創作的跨越式發展,打開了 AI 應用新市場,已在文字創作、代碼生成、圖像生成等多場景實現了應用落地。自人工智能科學誕生至今 60 多年的發展歷史過程中,人工智能經歷了三次發展高潮,分別是1956 到 1970 年代,1980 到 1990 年代和 2000 年代至今。1959 年 Arthur Samuel 提出了機器學習,推動人工智能進入第一個發展高潮期。此后 70 年代末期出現了專家系統,標志著人工智能從理論研究走向實際應用。80 年代到 90 年代隨著美國和日本立項支持人工智能研究,人工智能進入第二個發展高潮期,期間人工智能相關的數學模型取得了一系列重大突
13、破。1997 年,IBM 深藍戰勝了國際象棋世界冠軍Garry Kasparov,是一個里程碑意義的事件。這個時期的 AI 訓練數據多為結構化數據,存儲方式以本地盤存儲形式為主。當前人工智能處于第三個發展階段,2006 年加拿大Hinton 教授提出了深度學習的概念,極大地發展了人工神經網絡算法。隨后以深度學習、強化學習為代表的算法研究的突破,算法模型持續優化,極大地提升了人工智能應用的準確性。這個時期的 AI 訓練數據多為文本、圖片、音頻等單模態數據,存儲方式為本地盤或存儲池形式的外置存儲。1.2 AI 發展階段03AI 發展概述運營商 AI 先進存力白皮書圖 1-數據-模型-迭代全生命周期
14、基礎模型 L0科研機構行業模型 L1科研機構+行業伙伴細分場景模型 L2科研機構+行業場景化專家沉淀行業 Know-how違約風險識別3C 質檢流行元素標注舞弊動機識別汽車制造巡檢輔助設計財務異常檢測紡織質檢門店半定制+行業知識經驗反饋靈活適配細分場景 需求、數據、經驗結構化表示沉淀反饋智 慧 醫 療自 動 駕 駛金 融 風 控近年來深度學習發展高潮迭起,Transformer 大模型的問世推動深度學習模型參數量從幾萬躍升至數千億甚至更大,模型層數從開始的個位數逐步發展到成百上千,原始數據集也達到 PB 級,為滿足大模型對存儲的性能和容量需求,外置存儲進一步升級為“性能型存儲+容量型存儲”。大
15、模型實現了更好的泛化能力和更高的性能,正在成為 AI 發展的新范式。一方面,大模型實現了多場景覆蓋、精度限制突破、泛化能力增強和研發能力自動化,成為了 AI 走向產業化應用的重要途徑。另一方面,大模型也改變了 AI 模型的開發方式,客戶無需針對單個場景再開發單獨的 AI 模型,而是由 AI大模型廠商開發基礎的 L0 層模型,由行業 IT 供應商開發 L1 層的行業模型,應用場景 IT 供應商提供 L2層的細分場景模型。04AI 發展概述運營商 AI 先進存力白皮書自2020 年起,我國的大模型在數量和技術水平上都有明顯提升,涵蓋了智能語音、計算機視覺、自然語言處理等多個領域,并在能源、金融、航
16、天、制造、傳媒、城市、社科以及影視等領域應用落地。從大模型的布局體系來看,科技大廠在算力層、框架層、模型層、應用層進行了四位一體的全面布局。華為、百度均從芯片到應用進行自主研發的全面布局,如華為的“昇騰芯片+昇思框架+盤古大模型+行業應用”、百度的“昆侖芯+飛槳框架+文心大模型+行業應用”。垂直行業企業和科研院所,主要以大模型算法研發和細分領域應用為主。從大模型參數量看,科技大廠和頭部科研機構已上線的大模型參數量普遍在千億級以上,如阿里通義千問大模型參數在 10 萬億級以上、騰訊混元大模型和華為盤古大模型參數量均在萬億級以上、百度文心一言大模型參數量在 2 千億級以上,上海人工智能實驗室書生浦
17、語大模型參數量在千億級別。從大模型業界評價看,國內大模型處于百花齊放狀態。綜合實力方面,頭部科技大廠如華為、百度、阿里、騰訊等在大模型研發投入、技術能力和人才團隊方面均有較強實力。商用推進方面,頭部科技大廠均依托現有業務領域進行大模型應用推廣,更容易形成大模型的規?;瘧?。1.3 我國 AI 大模型發展現狀05運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書運營商是助推 AI 強勁發展主力軍2電信運營商作為 ICT 基礎設施的建設者和運營者,擁有全國跨域網絡互通、云網融合統一納管的資源優勢,也擔當著全社會數智轉型主力軍的重任,因此在人工智能產業飛速發展的過程中,也在抓住新機遇加快
18、構建新一代 AI 基礎設施,提供澎湃算力、先進存力、品質運力,賦能千行百業。2.1 運營商高度重視 AI 發展06運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書中國移動在 2013 年開始人工智能領域戰略布局,現已形成從算法、平臺、到規?;瘧玫漠a業級智能化服務能力。其九天平臺已具備在計算機視覺、自然語言處理、智能語音、網絡智能化等多領域的AI 能力,躋身央企“AI 國家隊”。中國移動已發布九天海算政務大模型和九天客服大模型。依托九天海算政務大模型,政務服務系統將具備強大的政務事項理解能力、多維度的信息關聯能力、面向復雜事項和復雜流程的多元交互能力。九天客服大模型既可根據用戶提
19、供的自然語言描述,解析用戶問題并提供答案,又可以與人工客服協作,為人工客服提示回復建議,形成“大模型人工坐席用戶”的三方溝通場,極大提升人工客服的工作效率。AI 技術也已經在中國移動的多個業務領域實現規?;瘧?,助力管理、服務等多方面能力提升。例如智能客服月交互量從 5000 萬提升至 2.1 億,準確率達 92%;反詐騙系統月度攔截電話量超過 1400 萬,準確率高達 98%;聲紋識別防欺詐防騷擾電話準確率已達 98%。中國移動正在圍繞智慧網絡構建國家新一代人工智能開放平臺,加速“通信網絡+人工智能”的關鍵技術突破。一是圍繞網絡規劃和運維業務,建設智能化仿真實驗環境。利用人工智能技術,提供覆
20、蓋優化、多目標天線優化、大話務量業務保障、無線CSI 壓縮及反饋等業務。二是面向社會開放多場景AI 基礎設施,如對 ICT 企業、高校、科研機構、行業組織等提供算力、數據、算法、平臺等資源。同時,中國移動在 2023 年 8 月發布的中國移動NICC 新型智算中心技術體系白皮書中對“新存儲-挖掘數據價值”做了詳細闡述,通過計算與存儲的交互過程總結出智算場景存儲面臨的性能,容量和調度關鍵挑戰,最后提出多協議融合存儲貫通異構數據,全局統一存儲打破單體局限和基于計算總線構建統一內存池等解決方案。1.中國移動 AI 戰略布局07運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書中國電信在
21、2019 年到 2020 年期間,確定了云網融合人工智能發展戰略,先后發布了中國電信人工智能發展白皮書、云網融合 2030 技術白皮書,同時圍繞業務中臺、數據中臺、安全中臺、原子能力平臺和云網技術底座提出“三中臺一平臺一底座”的數字化平臺頂層架構,明確了云網藍圖?;谠凭W融合優勢以及天翼云多年的技術沉淀,中國電信推出智能計算平臺“云驍”,提供智算、超算、通算多樣化算力服務。依托天翼分布式架構云底座,“云驍”可提供軟硬一體的解決方案,實現高階算力供給、資源高效利用,助力行業數字化轉型,降低企業創新成本。中國電信于近期推出星河通用視覺大模型 2.0,旨在為狀態檢測、動作事件、工業生產等場景提供服務
22、。星河大模型參數量已從 10 億提升至 100 億,并融入圖像、視頻、語義多源信息,其語義理解能力、視覺感知能力、精細分割和空間交互關系能力均得到進一步提升。天翼云智能計算平臺還為客戶提供大模型訓練和微調服務。通過“云驍”平臺提供分布式訓練一站式解決方案,進一步縮短模型交付周期、提升 AI 訓練開發效率。此外,針對技術合作伙伴,中國電信提出了“云創計劃”,云存儲是云創計劃的 5 個領域之一。云存儲重點解決多場景存儲問題,聚焦數據存儲搭建、融合存儲合作。2.中國電信 AI 戰略布局08運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書中國聯通的 AI 應用戰略包括兩部分。一是對內提供
23、智能化運營,如 5G+AI 智能運營平臺,利用 AI提供網絡故障定界問題能力。二是對外提供一站式創造服務,如一站式 AIGC(Artificial Intelligence Generated Content,人工智能生成內容)創造工廠。中國聯通已經發布鴻湖圖文大模型 1.0,其具備以文生圖、以圖生圖、視頻剪輯等功能。隨著移動互聯網的快速發展,用戶對于個性化、原創性的內容需求也越來越高,傳統的圖像、視頻生成方式無法滿足用戶的需求,鴻湖圖文大模型的推出填補了這一空白。通過該模型,運營商可以為用戶提供豐富、有趣的圖文內容,進一步提升其增值業務的競爭力和用戶體驗。鴻湖圖文大模型的應用潛力巨大,可被廣
24、泛應用于媒體、廣告、娛樂等多領域。媒體領域,鴻湖圖文大模型可以幫助媒體機構高效、快速地生成新聞稿件配圖;廣告領域,鴻湖圖文大模型可為廣告公司提供廣告創意和廣告圖像;娛樂領域,鴻湖圖文大模型可以為用戶創造豐富多彩的虛擬世界。聯通還在全力打造 uniVerse 元宇宙平臺,推出一站式 AIGC 創作工廠聯通元宇宙 AIGC 平臺。該平臺是聯通面向 AI 商業落地布局的重要一環,包括 AI跨模態檢索、AI圖片驅動、AI音樂、AI主播、AI繪畫、AIGC 3D 數字人等多種功能。此外,聯通云7.0面向HPC/AI場景推出文件存儲系統,目標是做 AI 時代的良田沃土。相對傳統存儲顯著進步的地方有三點,一
25、是更高的性能,包括高吞吐量以及部分計算場景下要求非常低的時延,以減少計算集群等待時間,讓平臺持續高效的運轉;二是可擴展,AI 時代下,存儲的性能可擴展、容量可擴展成為承接巨量數據、高增速、高性能計算要求下的硬性要求;三是多接口,包括 POSIX、S3、ISCSI 等協議接口。3.中國聯通 AI 戰略布局09運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書AI 應用與運營商現有業務結合,實現業務效率提升。通信網絡側,AI 技術可以快速定位網絡故障、簡化網絡優化流程,讓運營商網絡更加安全、穩定、可靠??蛻舴諅?,AI 技術可以幫助運營商更好地滿足客戶服務需求,增加客戶參與度,提升用戶
26、體驗。依托人工智能的語音識別、自然語言處理、人臉識別、知識工程等技術,運營商可以讓 AI 技術與現有業務結合,大幅提升運營、運維效率,改善用戶體驗。1.對內融入現有業務,提升業務效率網絡優化方面AI 能夠在移動網絡和固定網絡“規-建-維-優”的各個環節得到應用。網絡智能配置方面,人工智能技術結合網絡歷史數據,將專家經驗數字化,通過對網絡性能的預測和自動化操作配置,有望實現移動站點智能規劃、基站業務快速開通、智能路徑規劃和光傳送網自動化部署等應用。網絡智能運維方面,人工智能技術可實現物聯網端到端質差識別定位、無線網絡異常小區發現、IPRAN 故障分析定位等應用,可有效減輕運維人員負荷、提升運維故
27、障處理效率。網絡智能管控方面,人工智能技術可基于網絡歷史數據實現多種應用,如智能頻譜管理、智能切片管理、智能負載均衡、智能緩存管理、智能路由、自適應傳輸功率控制與傳輸質量管理等。網絡智能優化方面,人工智能技術可實現網絡的主動優化和全局優化,包括移動性管理增強、智能基站節能、無線網策略參數智能優化、智能路徑優化等??蛻舴辗矫鍭I 技術可以降低人工客服中心的負載,減少客服中心的成本,提高客戶滿意度。同時,AI 能夠在智能語音助手、坐席助理、智能推薦、自助服務、社交媒體管理、個性化服務等多個場景提高客戶服務的質量和效率,滿足客戶日益增長的個性化需求,幫助企業更好地服務客戶,提高競爭力和盈利能力。以
28、 ChatGPT 為代表的大模型技術的出現,將會加快智能客服的發展,在語義理解、情感識別、知識搜索定位、客戶體驗等方面提升效率和體現。2.2 運營商應用 AI 的主要方向10運營商是助推 AI 強勁發展主力軍運營商 AI 先進存力白皮書AI 大模型作為數據、算力、算法三位一體的產物,對 AI 基礎設施的需求高、投入大。以 OpenAI 為例,根據公開資料,ChatGPT 初期估計投入高達 8 億美元,GPT-3 的訓練總成本也高達千萬美元,一般企業很難承擔如此高昂的基礎設施成本。運營商可以將自己的 AI 基礎設施(AI IaaS)、平臺能力(AI PaaS)、AI 模型(AI MaaS)以服務
29、的方式租賃給AI 創業者和研發機構,幫助企業降低 AI 業務開發的難度和成本。運營商利用自身的網絡、用戶、平臺和數據等優勢,能夠更好的面向企業、政府發揮作用,打開新的市場空間。中國電信啟動了大模型生態合作聯盟。該聯盟將推出數據合作計劃、億元算力扶持計劃、千萬創新激勵計劃、品牌支持計劃、渠道支持計劃、資本賦能計劃六大合作伙伴政策。同時,中國電信表示將依托云網融合優勢,打造四級智能算力體系,圍繞行業應用需求,聯合產業鏈上下游生態合作伙伴,為千行百業量身打造定制化的行業應用大模型,促進各行業數字化、智能化轉型升級。中國移動的九天海算政務大模型首創“政務大模型-信息場-應用”端到端政務服務體系,一網通
30、辦的服務理念將被更加安全、高效地體現在群眾的辦事體驗中。對于政府工作人員,通過大模型和信息場的聯動,快速獲取直觀的數據分析結果,滿足工作人員動態管理、公文寫作等需求,實現跨層級、跨地域、跨業務、跨系統、跨部門的高效政務治理體系。中國移動將構建九天大模型全方位合作生態,聯合頂尖高校、科研機構加速大模型關鍵技術創新,匯聚優秀基礎軟硬件伙伴,打造先進人工智能算力基礎設施,攜手業界龍頭共建大模型,共助千行百業智能化應用創新。中國聯通的鴻湖圖文大模型可以實現文本生成圖像、視頻剪輯和圖像生成圖像等功能。中國聯通還攜手華山醫院、上海超算中心等單位發布了“Uni-talk”醫療算網大模型。該大模型是一款為醫療
31、行業定制的大模型產品,功能類似 ChatGPT,不過更加聚焦于醫療領域的應用。華山醫院會將“Uni-talk”應用于專業醫學文獻檢索,輔助診斷等場景?!八懔?、數據、算法”三位一體的驅動下,運營商有望迎來 AI 與數字經濟帶來的第二增長曲線,AI 發展帶來的流量增加,將會直接帶動運營流量收入上行。運營商作為數字時代的中堅力量,其價值也將進一步凸顯。2.對外賦能產學研用,推動智能升級11運營商 AI 存力挑戰運營商 AI 先進存力白皮書運營商 AI 存力挑戰3當前我國三大運營商均已發布各自的 AI 戰略、AI 平臺、AI 大模型,甚至是行業大模型。運營商在全面擁抱 AI 新機遇時,會充分發揮其既有
32、的數據優勢、資源優勢、行業使能經驗優勢,全力打造領先的 AI 基礎設施,依托算網融合的能力,讓 AI服務無所不達。面向大模型應用的 AI 基礎設施除了對算力有極高的要求外,對網絡傳輸能力和數據存儲的能力也提出了更高的要求。中國工程院院士倪光南指出“存力、算力、運力缺一不可,只有三者平衡配置、均衡發展,才能充分發揮算力的作用”。3.1 AI 存力是運營商發力大模型的基礎12運營商 AI 存力挑戰運營商 AI 先進存力白皮書從運營商對內融入現有業務降本增效來看,需要存力系統具備數據統一調度能力。運營商首先要匯聚各地域的網絡數據,然后基于最新的業務系統運營情況及時更新數據。這些數據可能來自不同地域的
33、業務系統、不同廠商的公有云或私有云、不同的合作單位或生態伙伴。這就需要構建支持全局統一數據視圖的存力系統,以解決跨廠商、跨地域、跨云的數據統一調度問題,為大模型注入源源不斷的數據“燃料”。從運營商對外賦能千行百業智能化升級來看,需要存力系統滿足低時延、大帶寬。運營商需要高效訓練出各類行業大模型并提供敏捷、精準的推理服務。大模型的訓練周期長、訓練數據量大、訓練流程業務模型差異大,需要運營商具備同時滿足極低時延、超大帶寬、混合負載自適應均衡的存力系統,減少計算對數據讀寫的等待,為行業大模型提供動力澎湃的數據“引擎”。從運營商提供大模型服務來看,需要存力系統滿足數據全生命周期的高安全、高可靠。大模型
34、在訓練和推理過程中產生的關鍵節點數據和最終的模型文件數據都是企業的核心資產。一方面需要保障 AI 服務的高可用性,避免被設備故障或自然災害中斷,另一方面還需要保障核心數據資產的安全,避免被病毒勒索等人為攻擊。為此,運營商需要構建端到端基于數據全生命周期的可靠存力系統,為大模型提供堅實可信的數據“護盾”。綜上所述,存力為大模型提供海量數據存儲支撐和高效訓練推理支撐,同時又為安全可靠的大模型服務保駕護航,是運營商發展好大模型最重要的基石之一。13運營商 AI 存力挑戰運營商 AI 先進存力白皮書運營商豐富的AI應用對傳統IT基礎設施帶來了全面的挑戰,運營商依據AI業務流(數據獲取、數據預處理、模型
35、訓練、推理應用)獨立建設存力設施后,設備多、版本多、冗余數據多、數據管理復雜等問題不斷累積,進而出現了數據容量、數據傳輸、數據管理、數據安全、數據節能等維度的 AI 存力難題。3.2 運營商 AI 存力面臨的主要挑戰圖 2-AI 大模型全流程存儲需求分析流程階段存儲需求計算處理流程數據處理流程數據獲取三方收集、網絡爬取、邊緣匯聚推理應用輸入數據+模型-Vector-應用模型訓練原始數據+訓練+調優+評估-模型數據預處理原始數據-訓練數據脫敏、合規、審批、匯聚邊緣存儲邊緣存儲.NAS 協議/S3 協議NAS 協議HDFS 協議POSIXGDSPosix 兼容預處理服務器格式標準化錯誤糾正異常數據
36、清理重復數據清除基礎大模型訓&推理行業模型訓推一體化GPU1GPU3GPU5GPU2GPU4GPU6GPU7GPU8CPU1CPU2GPU1GPU3GPU5GPU2GPU4GPU6GPU7GPU8CPU1CPU2GPU1GPU3GPU2GPU4CPU1CPU2GPU1GPU3GPU5GPU2GPU4GPU6GPU7GPU8CPU1CPU2張量并行模型并行.Node-1Node-12Node-n數據并行原始數據訓練集數據動態混合負載向量存儲加速全域數據管理多協議融合互通大帶寬小文件高 IO協議互通 NAS/S3全局數據管理海量數據持續擴容生態互通 NAS/HDFS原始數據、訓練數據共池海量數據持
37、續擴容Posix 兼容訓練數據集:讀時延滿足 GPU 無 waitCheckpoint:高帶寬,少耗時小文件高 IO 并發業務數據接入生態適配 HDFS/NAS/S3數據安全索引數據向量庫向量庫業務數據小文件、高 IO向量讀取模型加載容量挑戰傳輸挑戰安全挑戰節能挑戰管理挑戰5 大挑戰高性能層14運營商 AI 存力挑戰運營商 AI 先進存力白皮書運營商傳統的 IT 基礎設施主要應用于超算、大數據等領域,無法滿足 AI 大模型對存力平臺的訴求。容量層面主要面臨以下三方面的挑戰,一是靈活性不足,隨著大模型的發展,模型進入萬億級參數、PB 級存儲時代,這使得傳統的單機模式和服務器盤集群建設難以滿足千億
38、級文件系統管理、PB 級存儲持續擴容以及數據響應性能要求。二是開放性不足,多模態大模型需要 AI 存力設施支持多樣性的數據存儲需求,傳統的建設方式需要為每一種新的數據類型配備對應的存儲設備,這限制了系統的開放性和靈活性。三是建設難度大,AI業務流在數據獲取、數據預處理、模型訓練和推理應用的各個階段對數據存儲的訴求差異極大,傳統的獨立業務域存儲建設模式難度極大。因此,新型的 AI 存力一方面需要同時支持 NAS/S3/HDFS/POSIX 等傳統數據服務接口,另一方面需要持續創新,支持訓推階段向量信息的新型存儲格式。數據格式多協議互通互享,可以有效降低數據存儲空間,并提高數據管理效率和向量數據訪
39、問性能。1.容量挑戰(1)數據跨域調度運營商在發展 AI 大模型業務時,需要獲取來自不同機構的多樣化數據,包括互聯網、企業內部、合作機構和省分公司等。為了最大化利用存儲能力,需要實現高吞吐和大容量數據傳輸。然而,傳統的建設模式選擇不同的計算資源、網絡資源和存儲資源構建基礎設施底座,多樣性的設備帶來了業務難遷移等問題,使數據難以流動。因此,新型的 AI 存力一方面需要建設統一的數據湖存儲實現大容量的數據傳輸。(2)數據高效流動大模型訓練任務對內存和顯存帶來較大挑戰,數據需要在計算、Cache、高帶寬內存(HBM,High Bandwidth Memory)、DDR內存設備之間頻繁移動,缺乏統一內
40、存空間的尋址會導致編程模型變得復雜,也會限制設備之間的協作,增加了開發難度和錯誤率。同時在DDR內存和HBM之間數據需要多次轉換,異構設備既無法直接共享數據,也無法充分發揮各自的優勢,這些因素都限制了系統整體性能的提升。因此,需要引入統一的內存引用方式和服務調用接口總線技術,如靈衢總線(UB,Unified BUS)或CXL(Compute Express Link)等技術。這種總線技術提供了基于內存語義的數據中心資源池化和高效共享機制,允許程序地址的直接引用,并支持分布式執行的遠程功能調用,從而滿足了包括 AI 大模型、大數據分析和云超算等在內的多種緊耦合、大規模、高性能計算需求,有助于數據
41、中心高效率編程,從而極大地提高了數據中心的性能和效率。2.傳輸挑戰15運營商 AI 存力挑戰運營商 AI 先進存力白皮書大模型從單模態走向多模態,多樣化的數據類型給數據存儲管理帶來了巨大的挑戰。一是大模型訓練需要復雜的文件讀寫,數據存儲系統不僅需要支持千萬級 IOPS 和數百 GB/s 的帶寬訴求,而且需要在技術和管理方面進行不斷的改進和創新。二是大模型訓練面臨計算處理能力瓶頸。大模型訓練時需要在 CPU 上執行復雜多階段的數據預處理流程,包括提取、轉換、加載等,如何通過存儲系統管理降低CPU 的數據預處理負擔是新的挑戰。因此,新型 AI 存力需要從數據全生命周期管理的角度解決上述問題。一是基
42、于全域數據管理發現無用數據、冗余數據、熱溫冷數據等;二是提供數據分布視圖并指導用戶進行數據存儲的重新規劃,減少存儲開銷,同時支持數據和模型云邊調度及推送能力;三是構建全局虛擬數據總線,為 AI 平臺提供全局數據空間,以及安全、高效、易用的數據存力網絡。3.管理挑戰運營商的人工智能計算中心是國家的重要基礎設施,是推動科研創新和工業發展的關鍵動力。AI 存力平臺是人工智能計算中心的重要組成部分,在安全保障體系建設過程中,需要滿足供應安全和自主可控,包括國產控制CPU、系統管理芯片、接口卡處理芯片、固態硬盤控制芯片,以及自主可控的數據存儲介質等,從根本上保障 AI 先進存力平臺的供應鏈安全。AI 存
43、力平臺匯聚了海量數據和高價值大模型文件,需要維護數據的機密性、完整性和可用性。一是在應用層提供安全的開發環境,如賬號安全性、數據安全性、權限安全性、編碼安全性等能力。二是在系統層對使用的操作系統、數據庫和中間件容器等進行安全保護。三是在網絡層對網絡設備以及通信提供保護。四是在管理層對系統維護、運作活動進行監管和保障,確保系統安全的連續性。4.安全挑戰16運營商 AI 存力挑戰運營商 AI 先進存力白皮書通過各個層面的分工配合,可以為業務系統提供安全、可靠、穩定的服務,并為客戶提供資產安全保障。然而,對于數據存儲系統來說,還需要進一步做好數據層面的防護。數據安全的威脅主要集中在數據破壞、數據泄露
44、和數據勒索等方面。為了防止數據被破壞、被竊取和被勒索,需要有效地識別攻擊,并在受災后恢復數據。運營商是實現“雙碳”目標的重要力量,電信業務系統的數據遷移會產生能源消耗,在業務全周期內減少數據遷移次數,能夠大幅優化能耗開銷。然而,當前 AI 業務系統內部的多類數據遷移操作相互獨立,缺乏對數據系統級和 AI 作業生命周期級別的數據排布規劃,導致數據遷移的代價較大,嚴重影響了系統效率,消耗了大量的存儲計算資源。因此,如何在系統架構上減少低效數據處理和無效數據遷移所帶來的巨大能耗開銷,是當前面臨的關鍵挑戰。在碳中和目標下,運營商節能減排和綠色轉型勢在必行。面向未來的存力平臺需要結合 AI 業務特征進行
45、能耗優化。一是宏觀架構上存算協同,計算、存儲資源獨立部署,通過高通量全局虛擬總線互聯,虛擬總線統一內存語義訪問數據,實現計算、存儲資源靈活調度和利用率最大化。二是微觀上存算一體,減少數據非必要遷移,在數據產生的邊緣、數據流動的網絡、數據存儲的系統中布置專用數據處理算力,根據業務支持算子下推,將其卸載至 DPU、內存、盤控制器,提升數據處理效率。5.節能挑戰17AI 先進存力發展趨勢運營商 AI 先進存力白皮書AI 先進存力發展趨勢4隨著大模型時代到來,訓練數據量與模型參數呈指數級增加,更復雜的 AI 業務流對 AI 基礎設施的存力提出了更高要求。數據存力朝著大容量、高性能、安全可靠和綠色低碳的
46、方向不斷發展。業界認為 AI 先進存力是一種以“大容量、高 I/O 性能、高帶寬性能”為基礎,以“開放生態、高效架構、先進介質”為支持,具備“綠色低碳、安全可靠”等特征的存儲能力,它能夠實現存儲系統的敏捷擴展,支持數據服務開放共享和數據業務高可用,保障系統可持續發展和數據隱私安全。4.1 AI 先進存力內涵18AI 先進存力發展趨勢運營商 AI 先進存力白皮書以數據為中心,統一存力基座,融合多元異構算力的新 AI 技術架構,已逐步成為人工智能計算中心的主流架構。多種異構算力緊密圍繞在統一的數據底座,改變了過去“數據跟著算力跑”的算力煙囪工作模式,朝著“算力圍著數據轉”的新模式演進。作為數據載體
47、,數據存儲已成為構建 AI大模型的關鍵基礎設施之一。為了構建先進的 AI 存力,需要從存儲介質、架構、設計、安全和低碳等方面發力。4.2 AI 先進存力關鍵技術AI 先進存力可以作為人工智能計算中心存儲能力建設的參考,其至少應該具備以下能力,一是支持大容量的敏捷擴展,包括 PB 級容量的敏捷擴展和大小I/O 混合負載自適應能力;二是支持數據開放共享,滿足 AI 業務不同階段數據管理、數據流動的需求,加強數據服務的開放性和互聯互享能力;三是支持數據的高可用,滿足更強的數據服務可用性要求,保障全生命周期業務;四是支持數據的隱私安全,滿足數據資產和數據隱私的平衡要求,加強全生命周期隱私管理;五是支持
48、存儲的高效節能,通過提升數據處理效率以達成節能。圖 3-算力中心架構到存力中心架構傳統智算:數據跟著算力跑異構融合智算:算力圍著數據轉文件存儲文件/對象存儲HDFS 存儲數 據數 據數 據NVIDIA訓練平臺昇騰訓練平臺數據集處理平臺計算資源計算資源計算資源文件存儲對象存儲HDFS 存儲統一存力基座計算資源計算資源計算資源NVIDIA訓練平臺昇騰訓練平臺數據集處理平臺19AI 先進存力發展趨勢運營商 AI 先進存力白皮書傳統的機械硬盤已經無法滿足快速訪問和處理大規模數據的需求,而固態硬盤在讀寫性能上遠超機械硬盤。單個固態硬盤的 IOPS 提升千倍,同時還具有低延遲和大吞吐量優勢,能夠更好地適應
49、大模型對數據讀寫的高吞吐、低時延需求。數據讀寫性能的大幅提升將減少計算、網絡等資源等待時間,加速大模型的研發與應用。此外,隨著存儲顆粒類型和堆疊層數的突破,固態硬盤單價持續下降,使得全閃存存儲建設成本變低,成為 AI 大模型的理想選擇。先進架構應具備無損多協議互通和數據全生命周期管理的能力。1.先進介質:全面走向閃存,加速數據存取速度AI 業務流主要包括數據獲取、數據預處理、模型訓練和推理應用,為了實現高效的數據共享和處理,需要采用多種不同的非結構化協議,如 NFS 協議、S3 協議、HDFS 協議和 POSIX 高速訪問接口等。傳統解決方案是采用多種存儲協議,由于需要在不同系統間來回拷貝數據
50、,會嚴重影響數據處理效率,浪費存儲空間,增加運維難度。因此,建設數據易共享、高性能、易擴展的統一數據底座來承載 AI 全流程業務,是最好的選擇。這樣可以提高數據處理效率,減少存儲空間浪費,降低運維難度,同時支持多種非結構化協議的使用,滿足不同場景下的需求。2.先進架構:統一數據底座,承載 AI 全流程業務圖 4-多業務接口的統一存儲邏輯圖數據采集數據預處理模型訓練推理應用NFSHDFSPosixS3一份元數據文件系統一份數據DF1F2F3F4D1D220AI 先進存力發展趨勢運營商 AI 先進存力白皮書無損多協議互通,數據訪問透明統一存儲可以承載 AI 全流程業務,并且兼容 AI 全流程工具鏈
51、所需的 NAS、大數據、對象和并行客戶端等協議。同時,該系統要保證各協議的語義無損,達到與原生協議一樣的生態兼容性要求。此外,該系統還需要具備高效的數據流轉能力,以便在不同階段實現數據零拷貝和格式零轉換,從而確保前一階段的輸出可以作為后一階段的輸入,并實現 AI 各階段協同業務的無縫對接,達到零等待的效果。統一命名空間,數據全生命周期管理首先,AI 存儲系統需要同時具備高性能層和大容量層,以便滿足不同應用場景的需求。其次,它應該對外呈現統一的命名空間,方便用戶管理和訪問數據。此外,該系統還需要具備數據全生命周期管理的能力,包括指定數據首次寫入時的放置策略、設置豐富的數據分級流動策略以及數據預取
52、能力等。其中,數據分級流動策略可以根據數據的訪問頻度和時間進行設置,以提高系統的性能表現;數據預取能力可以通過預熱策略來加速計劃性任務的冷啟動速度,提高系統的響應效率。21AI 先進存力發展趨勢運營商 AI 先進存力白皮書一是并行文件系統需要支持高并發、高帶寬、高 IOPS,以提高 GPU/NPU 的訓練推理效率。同時并行文件系統需要具備高擴展性,能夠支持 EB 級的數據量,且性能隨節點數增加而線性增加,保證數據可以均衡分布在所有存儲節點上,業務壓力均衡到各節點,實現訪問無瓶頸,保障規模擴展場景下的系統性能。二是并行文件系統需要近計算加速。存儲為計算節點提供高性能的并行客戶端,讓數據更靠近計算
53、。在并行客戶端上可以構筑豐富的功能,來加速 I/O 性能。首先可以通過智能預取算法將數據提前預取到計算節點本地的高速緩存,同時還可以將各種數據聚合后再傳輸到存儲;其次客戶端不用通過協議服務器,可以直接訪問所有存儲節點傳輸數據,從而避開 I/O 路由瓶頸和性能損耗;另外客戶端支持多鏈路數據均衡方式,可以極大提升計算節點獲取數據的能力。三是分布式并行訓練需要網絡具備無丟包、低時延、高吞吐的能力。采用遠程直接內存訪問技術(RDMA)進行 I/O 數據交換,相比傳統 NFS 使用的 TCP 協議,減少了 CPU負擔和協議開銷,可實現高帶寬、低時延和低資源消耗的效果,RDMA 已成為人工智能計算中心主流
54、選擇。四是大模型在訓練完成后到實際應用中存在一定的滯后性,為了解決這個問題并提高模型應用的及時性和準確性,可以采用將不同格式的文件數據(如 Word、Excel、PDF、圖片等)切片后更新到向量數據庫的方式。這樣,在用戶提問時,可以通過檢索與問題相似度高的向量,并將提煉后的 Prompt 輸入到既有大模型中進行推理,從而實現通用大模型在行業的快速落地。已生成的推理結果會同時記錄在緩存中,供下次提問時快速返回。這種結合向量數據庫的方法有助于將行業最新知識應用于既有大模型推理,提高大模型的準確性和實用性。多模態大模型對 AI 數據存儲系統提出了多樣性要求,如數據獲取、預處理、訓練和推理的過程中,需
55、要存儲系統能提供并行文件系統以提高 AI 芯片的工作效率。并行文件系統應具備以下能力。3.先進設計:并行文件系統,提升數據訪問效率圖 5-傳統文件系統架構向并行文件系統架構發展并行客戶端存儲節點RDMA存儲節點存儲節點NFS 客戶端存儲節點TCP存儲節點存儲節點22AI 先進存力發展趨勢運營商 AI 先進存力白皮書存儲內生安全是一種新興的數據安全理念,它強調在數據存儲系統中內置安全機制,以保障數據的機密性、完整性和可用性。相比于傳統的外部安全措施,存儲內生安全具有更高的靈活性和可控性,能夠更好地適應不斷變化的安全威脅。在大模型的應用中,存儲內生安全通過將安全功能融入到數據存儲系統中實現對數據的
56、保護。這種方式可以避免將敏感信息暴露在外部網絡中,從而降低數據被攻擊的風險。同時,存儲內生安全還能夠提供靈活的安全管理策略,根據不同用戶的需求進行定制化的安全設置,提高數據的安全性和合規性。作為數據的最終載體,存儲設備必須具備安全可靠的內生能力,以增強整個大模型系統的數據防護能力,構建數據安全最后一道防線。從底層硬件角度,存儲內生安全主要包括構建關鍵硬件自主能力、硬件三防(防側信道、防故障注入、防物理攻擊)和可信啟動等技術。從軟件算法角度,重點解決開源軟件的風險治理,數據存儲應采用 AIR GAP 技術來保障數據安全傳輸、一寫多讀(WORM,Write Once Read Many)技術來防止
57、文件被篡改、病毒偵測分析來預防被病毒勒索、執行環境提前檢測來確保數據可信、數據訪問的全路徑和內存加密技術防止數據被泄露。從應用效果角度,通常采用存儲加密及定期備份兩種方案面對突發情況下數據丟失或破壞等問題,使數據的安全性有充足的保障。4.安全可靠:存儲內生安全,保護企業核心資產23AI 先進存力發展趨勢運營商 AI 先進存力白皮書(1)高密存儲硬件,提高單位物理空間的存儲密度普通通用型服務器受限于散熱和空間限制,硬盤數量有限,通常為 1U10 盤、2U24 盤、4U36 盤等。通過設計高密存儲型節點,可以做到 1U32 盤、2U36 盤、5U80 盤、4U80 盤、5U120 盤,密度達到傳統
58、存儲的 2 到 2.6 倍。這種高密存儲型節點相對于通用型服務器,減少了節點 CPU、內存及配套交換機的使用,同等容量下能夠節約 10%到 30%的能耗。(2)大比例 EC,提高存儲空間有效利用率在 AI 場景中,存儲資源利用數據糾刪碼(EC,Erasure Code)技術替代了傳統的三副本方案,使用N 份數據加 M 份校驗的組合可以達到甚至超過 3 副本的可靠性。采用大比例的 EC 機制可以有效提升存儲空間的利用率,例如當 EC 為 2+2 時,存儲空間的利用率可以由 33%提升至 91%。在全球范圍內,節能減排已成為共同使命,各行各業都在積極追求“碳中和、碳達峰”的目標。為了建設可持續發展
59、的運營商人工智能計算中心,構建高效節能的存儲設施至關重要。碳足跡(CFP,Carbon Footprint of Products)是指產品和服務整個生命周期過程引起的溫室氣體排放的集合。對于存儲產品來說,降低能耗需要從碳足跡入手,深入到產品全生命周期的各個環節。為了推動存儲產品的節能減排,需要采取有針對性的碳減排設計和綠色節能技術。AI 先進存力的綠色低碳化需要全面的存儲能力提升,主要體現在以下幾個方面。5.綠色低碳:存儲高效節能,建設綠色存力底座24AI 先進存力發展趨勢運營商 AI 先進存力白皮書(3)數據縮減技術,節約存儲空間通過數據縮減技術,可以在不失真情況下將實際需要保存的數據量大
60、幅減少,以更少的物理容量存放更多的數據,從而降低存儲設備的能耗。目前業界能夠在數據庫、桌面云、虛擬機等業務場景實現 2 到 3.6 倍的數據縮減率,從而節省 50%以上的能耗。這種技術可以有效地提高存儲設備的效率和可靠性,同時也減少了企業的運營成本。(4)硅進磁退,提高全閃存占比,降低能耗在相同容量下,固態硬盤相比機械硬盤能夠降低 70%的能耗,同時節省 50%的空間占用,同時,固態硬盤具有高密度、高可靠、低延遲和低能耗等特點。通過大規模部署全閃存,可以大大降低人工智能計算中心的能耗,幫助運營商實現綠色節能和可持續發展。(5)存儲全生命周期管理,推進綠色節能綠色節能需要貫徹存儲產品的全生命周期
61、,包括原材料選取、制造、運輸、使用到最終廢棄。在生產制造環節,制造工廠使用光伏發電,選擇鋁、錫等可再生材料,同時采用“零波峰焊接”技術和標簽無紙化,以降低能源消耗和減少環境污染。在存儲產品生命周期末端,建立完善的回收系統,以環保的方式處理電子廢物,實現最大化的循環再利用,以減少對環境的影響。這樣的綠色節能措施可以幫助存儲產品實現更可持續的生產和消費方式。25運營商 AI 先進存力發展建議運營商 AI 先進存力白皮書運營商AI先進存力發展建議5為充分使能運營商提供萬物互聯的鏈接優勢,服務千行百業的行業優勢,催生新產業新模式,持續做強做大我國數字經濟,本白皮書針對我國運營商 AI 先進存力發展,提
62、出如下建議:一是重生態,未來 AI 的競爭是全棧能力的競爭,是生態之爭,而運營商作為整個 AI 生態鏈中的核心節點,具備加強全棧能力,做大生態的天然優勢。AI 生態的構建涉及存儲層、網絡層、計算層、資源層、框架層、大模型和智能應用層等,這些決定了 AI 未來發展的根本。大模型是AI時代的“腰桿”,而生態是大模型發展的關鍵。大模型研發需要各個層級生態的緊密配合,缺一不可。當務之急是構建一個大模型生態,這才是未來大模型運營服務和智能應用的強大底座。26運營商 AI 先進存力發展建議運營商 AI 先進存力白皮書運營商要打造先進算力、存力、運力布局,以基礎大模型為橋梁,構筑基礎大模型的多模態能力,帶動
63、多模態算法研發及云邊端芯片研發,形成自主可控的人工智能平臺。在此基礎上,以先進人工智能計算平臺為底座,開發多行業多場景大模型,對內服務公司智慧化運營,對外賦能行業數智化轉型,并最終形成匯融算力、存力、運力及數據資源的國家級人工智能計算體系。同時,打造人工智能基礎模型開源技術體系,助力產出規模和性能國際領先的大模型,支撐工農業生產、社會治理、人民健康等應用創新。二是重發展,在運營商 AI 存儲領域加快先進存力應用,將數據存儲打造為繼 5G 后的國家信息技術新名片。倪光南院士指出,在多年自主創新的基礎上,我國數據存儲產業取得了重大發展,基本上達到了科技自立自強的要求,例如構筑在我國自主核心數據存儲
64、芯片、系統架構和軟件之上的存儲整機和系統已具備國際領先技術水平,其中華為存儲在 2022 年全球存儲市場排名第二,并進入國外金融行業等關鍵市場,成為國際頭部存儲整機廠商,聯想、新華三和浪潮在 2022 年的全球市場占比也進入了前 10 名。目前國產品牌廠商在國內市場占比85%,在全球市場占比 20%,在海外有巨大增長空間。運營商作為 AI 產業的主力軍,有強大的能力來牽引先進存力的發展。能力越強,責任越大,建議運營商在新建 AI 基礎設施時加大安全可信的先進 AI 存力應用,推動我國存儲產業跨越式發展。三是重安全,充分重視 AI 存儲的自主可控和安全可信能力,并設定相應標準,嚴格執行。當前我國
65、存儲產業還存在較大的安全隱患,首先硬件不自主,當前運營商采購中機械硬盤約占80%,全部來自美日兩國的 3 家供應商,存在非常大的安全和供應風險;其次軟件不可信,國內 95%以上分布式存儲廠商采用國外開源軟件,如 Ceph、Luster、Gluster、DAOS 等,多數簡單修改后商用,沒有掌握核心技術。在運營商這樣重要關鍵信息基礎設施中大規模使用國外軟硬件,潛在安全風險非常高。為了加強運營商 AI 存力的安全性,建議率先在運營商實現公平公正的安全測評,重視對數據存儲產品的安全審查,包括供應鏈安全、信息安全、數據安全等。尤其是對于數據存儲整機、主控芯片、存儲文件系統等關鍵核心技術,建議根據第三方
66、測評機構給出的相關結論作為選擇依據。27參考文獻運營商 AI 先進存力白皮書1.Bishop,C.M.(2006).模式識別與機器學習,Springer.ISBN 978-0-387-31073-2.2.我國人工智能大模型發展動態http:/ 智算基礎設施架構研究及關鍵技術分析4.中國移動發布“九天”大模型,https:/ 高科技背后的博弈與風險,https:/ 2.0,https:/ 1.0:中國聯通發布面向運營商增值業務的圖文生成模型,https:/ 8.中國移動 NICC 新型智算中心技術體系白皮書參考文獻27參考文獻匯聚產業新動能,共創AI新時代匯聚產業新動能共創AI新時代-2023年-匯聚產業新動能共創AI新時代