張婷婷—邊緣計算商業化發展的新需求和新突破-張婷婷（for 公開）.pdf

《張婷婷—邊緣計算商業化發展的新需求和新突破-張婷婷（for 公開）.pdf》由會員分享，可在線閱讀，更多相關《張婷婷—邊緣計算商業化發展的新需求和新突破-張婷婷（for 公開）.pdf（18頁珍藏版）》請在三個皮匠報告上搜索。

1、邊緣計算商業化發展新需求和新突破中國移動研究院 張婷婷2023.3邊緣計算發展新趨勢和新需求面向數字經濟的信息基礎設施新布局2021.72022.2四部委：全國一體化大數據中心協同創新體系算力樞紐實施方案，提出國家樞紐集群和城市內部邊緣DC的協同體系工信部：發布新型數據中心發展三年行動計劃，優化布局，算力賦能，加強邊緣DC互聯，提升調度能力，推動算力泛在應用四部委：同意在京津冀、長三角等8地啟動建設國家算力樞紐節點，并規劃了10個國家數據中心集群，正式啟動“東數西算”項目2021.53中共中央國務院印發數字中國建設 整體布局規劃,建設高效聯通的數字基礎設施、提升數據資源規模和質量、推動數字技術

2、和實體經濟深度融合2023.2邊緣計算行業發展新洞察邊緣側應用場景層出不窮，市場增速持續加快，市場規模持續擴大算隨人動、算隨需流促使應用向邊緣遷移成為產業新趨勢計算模式正向云-邊-端多級、高度協同的泛在架構方向發展伴隨數據規模以及智算需求的指數級增加，2030年智算占比將達到70%AI技術廣泛落地，大模型ChatGPT的發布，讓國內迎來智算中心建設熱潮邊緣智能在NLP文本分析、圖像視頻等多模態分布式推理場景下需求猛增工業互聯網、人工智能、大數據等應用對算力的專用化、差異化需求凸顯GPU、FPGA、AI芯片、DSA等異構算力需求增長迅猛異構算力發展進入繁榮期，與通用計算一起構成堅實的算力底座4邊

3、緣應用場景激增，泛在算力需求大量釋放算力結構持續演進，智能算力占比持續增加計算需求呈差異化，異構算力發展不斷繁榮邊緣計算行業發展新趨勢數字經濟時代，網絡與算力關系更加緊密，深度融合發展：算讓網更智能，網讓算更強勁，邊緣成為算網智融合錨點和觸點數字經濟的發展，對網絡連接提出更高要求行業發展新變化，智能化場景加速算力向多樣性、泛在性變化要求優化網絡架構，推進省域/區域內3ms以及城市內1ms低時延產業數字化轉型升級對網絡確定性提出更高要求網絡與算力進一步融合演進，催生網絡應用感知能力算力內核包括通用算力和異構算力，呈現多樣化特征算力形態隨著數據處理向邊端擴散呈現云、邊、端分布，呈現泛在化算力結構趨

4、向智能化5中國移動邊緣計算新發展中國移動大力推動網、邊、云一體的協同服務，智能加速，助力行業數字化轉型 優化資源，加快推進“東數西算”工程建設 加快建設“信息高速”打通經濟社會發展信息大動脈“4+N+31+X”數據中心布局，落實“東數西算”工程部署；移動云收入503億元人民幣，公有云市場份額國內增速Top1；合作伙伴1500+，聚合2500+優質應用；110+萬基站，全球5G基站占比約30%，實現全國100%市縣城及重點鄉鎮覆蓋5.57億+5G套餐用戶；支撐8600+行業示范項目；發布首條5616km最長距離400G光傳輸現網技術網絡（浙江、江西、湖南、貴州），45個光放段6網邊云以網帶邊云邊

5、協同云網融合邊緣廣域、局域場景充分協同點面結合，各有側重 1000+個邊緣節點，覆蓋300+地市；支持通用算力、部署；具備通用平臺能力、5G網絡能力及IoT、工業識別、區塊鏈等行業能力智加速靈活邊緣智能技術挑戰和發展實踐邊緣智能算力需求激增，即將成為分布最廣算力國內智算中心建設遍地開花武漢合肥南京天津西安嘉興許昌哈爾濱上海北京騰訊合肥慶陽海南河北青島沈陽大連成都徐州克拉瑪依無錫昆山深圳廣州長沙計算機視覺元宇宙，AIGC 自然語言處理、智慧語音現狀：模型相對成熟、應用較廣泛趨勢：數據集變大、訓練速度更快、精度越高現狀：理論有一定基礎，巨頭正在PK大模型，應用剛剛落地巨大的技術綜合系統，應用快速繁

6、榮：沉浸式體驗大量數據高速連接人機交互內容生成.AI發展趨勢，模型巨量化、訓練速度和精度要求更高以算法為驅動，提升AI效能為目標是應用迫切需求邊緣側多樣性異構算力是主流，開發生態體系繁多，如何高效融通多樣算力，是邊緣算力發展關鍵規劃中的智算中心已建成的智算中心邊緣智能業務協同需求芯片使能層軟件平臺層智算硬件設施層芯片使能層芯片軟件棧軟件平臺層應用開發框架TensorFlowPyTorch昇思飛槳九天AI使能平臺文件對象塊分布式融合存儲異構計算資源CPUNPUGPUDPU高速無損網絡高性能以太網DPU浪潮 AI station華為 ModelArtsROCmCUDACANN.智算硬件設施層ROC

7、m芯片軟件棧CUDACANN應用開發框架TensorFlowPyTorchONNXTensorRT九天AI使能平臺外接分式存儲服務器本地存儲異構計算資源CPUNPUGPU網絡高性能以太網DPU浪潮 AI station華為 ModelArtsASIC存儲.OpenPPL.中心訓練邊緣推理模型傳輸至邊緣部署反哺、優化模型目前，邊緣智能業務有高帶寬、低時延等要求，依賴于中心、邊緣數據中心深度協同。中心級、邊緣智算中心的軟硬件基礎設施不同，高效服務于模型訓練、推理、部署。邊緣智能硬件池化平臺攻關業界GPU利用率不足30%的技術難題，革新 通用算力+異構算力 單池調度、本地綁定的分配方式，以軟件定義為

8、核心，使能軟件精細化分配，通用算力+異構算力 分池調度、跨機整合，促進資源利用率提升VM1VM2資源碎片GPUGPUGPUGPU無法削峰填谷任務1任務2X1/2、1/4、1/8基于OpenStack/K8S技術的本地靜態綁定空閑資源少量GPUGPU1/2、1/4、1/8傳統的資源管理技術下GPU平均利用率不足30%基于裸分配或虛擬切割再分配的方式，資源碎片多、利用率低管理節點智算節點智算節點智算資源池化平臺調度器任務載體(如:容器)AI任務調度AI任務AI所需算力任務算力API代理GPUGPUGPUGPUAPI 捕獲重定向到遠程重定到本地聚合a%+bMB智算新型池化技術可有效促進GPU利用率提

9、升算力調用重定向可突破物理上的限制，促進資源有效分配、充分利用依賴硬件1/2n粒度靜態綁定 軟件定義 1%粒度 跨機整合 動態分配高速互聯網絡卡、服務器間高速互聯，支持大模型并行訓練多元融合存儲多協議互通，為智算池提供統一存儲底座高性能總線級網絡端網協同的高性能以太網絡體系邊緣跨架構軟件平臺芯合 算力原生硬件層應用層1 體 適 配 中國移動 芯合 算力原生平臺算力原生Pytorch.1 次 開發融通 云、邊、端 等多樣泛在異構算力生態豎井，使能原生應用一次開發、一次構建，跨架構即時遷移部署關鍵技術一：跨架構編譯優化技術混合異構并行優化，生成可流轉遷移的標準原生程序關鍵技術二：算力抽象技術異構資

10、源形成統一算力抽象模型及相匹配的編程模型與接口關鍵技術三：原生運行時技術實現原生程序加載及與算力平臺硬件的互映射執行機制中國移動 芯合 算力原生平臺打破 AI框架+工具鏈+硬件 單棧鎖定的生態豎井，構建多模態、跨架構的統一編程模型和運行環境，使能應用跨架構無感遷移執行，探索以軟件為核心的產業鏈牽引模式，繁榮AI 芯 生態 創新運營模式，實現全要素全場景體系化運營開放服務體系架構開放內容數據算力算法 公開數據集：圖像類、語音類、文本類等 多種算力規格：CPU、vGPU、單卡、多卡等 特色數據集：網絡域、客服域數據等 視覺、自然語言處理、語音、智能數據分析等多種能力，匹配多種框架和芯片平臺 深度學

11、習平臺，提供訓練環境，提供AutoML、AutoCV、分布式訓練、聯邦學習等多種功能 能力平臺，提供推理環境中國移動九天人工智能平臺智能云服務算網大腦數據開放平臺開放算法開放實驗環境開放 測試驗證服務 AI技術測試驗證 網智類、語音類、視覺類能力 深度學習訓練平臺、AI能力平臺 公開數據集、網智數據集、行業數據集互聯網絡互聯網絡人工智能計算中心人工智能邊緣節點開放服務體系賦能智慧企業建設，促進千行百業數智化轉型視聽游戲體育家居政務醫療工業教育通訊交通全要素全場景九天九天“攬月攬月”合作生態合作生態將算力、網絡、數據、AI模型、AI能力等多種智能化要素作為運營對象，通過整體性的規劃、建設、維護、

12、優化等實現智能化要素的融合管理，基于一體化編排、調度實現智能化服務能力的構建和輸出，達到一點接入、全要素供給，提供無所不及的智能服務創新-面向邊緣智能場景的協同計算架構基于云邊端協同的模型訓練基于云邊端協同的模型推理云數據中心學習模型場景模型數據模型多出口模型優化與分發任務卸載針對邊緣智能協同訓練與協同推理優化問題，設計了協同計算架構，實現了高效能的云邊端融合計算案例實踐云邊端協同的視頻實時物體追蹤實踐解決方案：綜合考慮圖像幀中區域處理難度不一致問題，設計圖像區域分類網絡，在線進行原圖像幀的切分與難度判斷，自適應選取追蹤網絡進行推理，并利用邊緣計算協作推理框架，減小任務推理延遲應用效果：本地推

13、理的平均響應時間為2129.74ms，分布式推理的平均響應時間為672.58ms-1756.85ms，其加速比高達3.17x難點：城市攝像頭的大規模部署使得多目標跟蹤等視頻分析任務需求增大，而多MOT任務因其任務復雜且模型計算量大，在終端上部署高精度MOT任務模型，難以滿足時序性要求圖像分類器分類案例實施云邊協同的文本情感分析應用實踐解決方案：通過在邊緣側部署智能客服應用及文本情感分析AI能力，并針對特定硬件環境進行的模型優化，在損失少量精度的情況下提升處理速度，縮短用戶響應時延。應用效果：線上平均響時間縮小到 10ms，滿足如智能搜索、智能交互等實時性要求嚴苛的業務難點：文本情感分析能力通過

14、深度學習 AI 算法智能識別文本內容的情感傾向，加強對用戶反饋問題的處理效率及偏好挖掘。但對于多業務線條的客戶服務，客服處理業務量較大，給中心服務器帶來巨大壓力。云數據中心邊緣資源池泛在調度平臺中心控制面文本情感分析模型北部資源池中部資源池智能客服應用文本情感分析模型智能客服應用文本情感分析模型訓練數據處理基于CFITI算力網絡創新試驗網LFE Akraino CFN項目孵化驗證中心化算力總計不會超過12%分布式算力超過88%，端側的海量算力未得到有效利用算力并網社會空閑算力、超算、智算等多樣化算力吸納，提升算力規模實現跨地域、跨運營主體算力資源交易，盤活存量算力，降低單位算力使用成本和門檻場景訴求展望基于語音、圖像、多模態的任務式服務正在培養和大量激發用戶需求，未來2-3年將是應用爆發期（ChatGPT 日活2873w）AI任務式服務集中訓練拼算力、算法和模型邊緣智能將進一步加速分流本地用戶，實現海量用戶訪問加速17云游戲、XR極致服務等為代表的元宇宙“全沉浸、全場景、臨場感”高質感虛擬世界元宇宙AICG算力運營企業、AI企業、內容制作企業、終端企業的發展機會要求超強算力、超強存儲、超強網絡、超級終端、智能調度邊緣智能，乘風而上！