《中國信通院:云原生加速數字創新的新質生產力(2023)(16頁).pdf》由會員分享,可在線閱讀,更多相關《中國信通院:云原生加速數字創新的新質生產力(2023)(16頁).pdf(16頁珍藏版)》請在三個皮匠報告上搜索。
1、中國信息通信研究院云計算與大數據研究所云原生加速數字創新的新質生產力2023年12月1日數字經濟高速發展,在國民經濟中的地位進一步凸顯。2021年我國數字經濟總量達到45.5萬億元,占GDP比重達到39.8%同比名義增長16.2%,遠遠高于同期GDP的3.4%,成為經濟穩定增長的關鍵動力。背景:數字經濟成為我國經濟增長的核心動力數據來源:中國信通院3.4%16.2%4.819.4916.1627.1731.2935.8439.22008201120142017201820192020數字經濟占GDP比重36.2%34.8%32.9%26.1%20.3%15.2%38.6%GDP名義增速2021
2、年,數字經濟增速是GDP的4倍多,數字經濟為推動國民經濟持續增長發揮了重要作用。我國數字經濟規模(單位:萬億元)數字經濟保持高位增長新格局:云原生將軟件開發從“農耕時代”推升至“工業時代”集裝箱的發明開啟了以現代運輸體系為標志的全球化時代集裝箱的發明加速了造船設計即走向標準化,集裝箱化作業容許船貨更快速裝卸,在航運的生產力上引進了十倍速的改變,逆轉了節節升高的成本趨勢,開啟了全球化的現代運輸體系,引發了全世界貨運港口的重新洗牌。大多數單體應用具有強依賴性需要停機更新手動本地交付依賴系統環境甚至是硬件職能分工界限明顯存在溝通障礙傳統軟件開發到了數字經濟時代,計算機產業發展得如火如荼,人們迫切需要
3、探索出一種新的信息資源運輸方式,而云原生,就是計算機領域的集裝箱。云原生軟件開發交付:更靈活簡單全球化交付無地域限制模塊化架構,通過標準可進行持續的地待更新、集成和交付標準化自動化具有良好的可移植性跨職能溝通與合作順暢,應變能力強架構:更解耦內聚更新:更高頻穩定運維:更自動化依賴:更標準統一組織:更扁平化云原生的出現開啟了軟件行業全球分工協作、標準化流水作業的工業時代政策:云原生逐步向地方/行業滲透,加速全產業賦能國務院關于促進云計算創新發展培育信息產業新業態的意見(國發20155號)指出發展云計算,有利于分享信息知識和創新資源,降低全社會創業成本,培育形成新產業和新消費熱點,對穩增長、調結構
4、、惠民生和建設創新型國家具有重要意義。國務院國家創新驅動發展戰略綱要建設超算中心和云計算平臺等數字化基礎設施,形成基于大數據的先進信息網絡支撐體系。工信部云計算發展三年行動計劃(2017-2019年)到2019年,我國云計算產業規模達到4300億元,突破一批核心關鍵技術,云計算服務能力達到國際先進水平。發改委推動企業上云實施指南(2018-2020)2020年,云計算在企業生產、經營、管理中的應用廣泛普及,全國新增上云企業100萬家。發改委、網信辦印發關于推進“上云用數賦智”行動 培育新經濟發展實施方案提出支持在具備條件的行業領域和企業范圍探索大數據、人工智能、云計算、數字孿生、5G、物聯網和
5、區塊鏈等新一代數字技術應用和集成創新。南京市加快開源軟件發展三年行動計劃(2023-2025年)指出,面向云原生、大數據、人工智能、操作系統、區塊鏈等重點領域,推動骨干軟件企業布局培育一批具有技術先進性和生態競爭優勢的開源項目。上海市數字經濟發展“十四五”規劃大力發展云原生產業,支持打造“網絡+平臺+應用”靈活彈性、智敏安全的云開放平臺,滿足新型業務應用需求。加快突破容器、微服務、服務網絡等云原生核心分支技術,夯實通用組件和低代碼開發應用,提高企業業務云原生化轉型效率。山東省關于加快構建山東省一體化大數據中心協同創新體系著力發展云原生技術能力及應用實踐,以混合云為重點培育行業解決方案、系統集成
6、、運維管理等云服務產業,培育一批高層次云服務供應商。證券協會證券公司網絡和信息安全三年提升計劃(2023-2025),企業級應用上加強業務一體化服務平臺建設,核心系統的技術架構向分布式、低時延、開放技術架構轉型,向分布式云、云原生架構升級。工信部印發新型數據中心發展三年行動計劃(2021-2023年)提出加快新型數據中心運營管理等軟件層,以及云原生和云網邊融合等平臺層的關鍵技術和產品創新,提升軟硬件協同能力。云計算云原生價值:云原生重塑軟硬件架構,拓展數字技術的融合邊界云原生技術自身不斷創新演進,同時也不斷突破影響域,持續為軟件、硬件、數智算領域創造價值。新型云原生應用構建模式,使用戶聚焦于價
7、值密度更高的業務邏輯函數即服務serverless微服務應用Serverless容器關注點上移,云原生簡化應用構建模式業內首個函數計算產品AWS Lambda函數計算服務的調用頻率在2021 年初達到 2019 年的 3.5 倍,使用量激增。2021年,微服務+serverless的需求爆發,騰訊云發布彈性微服務TEM,華為云發布云應用引擎CAE。2021年10月,阿里發布了基于ARM架構的倚天710云原生處理器芯片以及搭載倚天710的磐久云原生服務器。2021年11月,騰訊云發布全域治理的云原生操作系統遨馳。云原生向下定義硬件與操作系統,建設全新的軟硬協同體系芯片服務器操作系統云原生 加速賦
8、能,云原生技術與各領域融合發展云原生向上向下向云生傳統架構計算存儲耦合擴容難,缺彈性數據來源廣,難管理搭建、部署、運維成本高傳統架構云原生湖倉一體化方案存算分離,極致彈性,具備異構數據的存儲挖掘能力云原生云數融合,改變數據“倉儲”、流通方式云算融合,改變超高算力的獲取、分配方式云智融合,改變AI應用和算法的開發、優化方式HPC計算任務存在明顯的波峰波谷,資源利用率低對算力的調度效率低傳統架構云原生HPC根據負載情況動態調整云上資源,高效調度混合資源、異構算力卡云原生AI算法模型對底層資源的消耗大算力供給不足技術門檻過高,AI應用場景難下沉傳統架構算力層面,提供面向AI場景的彈性高性能異構算力應
9、用開發層面,提供面向AI應用場景的低門檻開發平臺云原生分水嶺:云原生顛覆式技術創新趨于平穩,規?;瘧觅x能成為趨勢過去十年,云原生發展在經歷短暫的萌芽期和發展期后迅速進入爆發期。云原生技術全線爆發,對傳統技術棧產生顛覆性變化,重塑了企業的技術架構、軟件架構、設計理念、組織結構實現了云計算技術的換代升級。未來,云原生作為數字基礎設施,其技術變革已經趨于穩定,云原生進入規?;瘧玫男聲r期,技術融合、行業賦能成為主要發力點萌芽期:一種范式特點:基于云的軟件架構和管理理念發展期:底層核心技術成熟特點:以容器、K8S為中心的交付技術技術創新期:云原生技術爆炸,對傳統技術棧產生顛覆性變化技術架構、軟件架構
10、、設計理念、組織結構重塑2013年,Pivotal 的工程師Matt Stine在推特推廣云原生理念,它是一個思想的集合,包括DevOps、持續交付、微服務、敏捷基礎設施、康威定律等,以及根據商業能力對公司進行重組。2015-20172013-20142018年Service Mesh取得廣泛共識,Istio開啟服務網格元年,微服務成為主流,治理相關技術快速發展。2019年Serverless爆發,函數計算、Serverless服務形態顯著增多。2020年邊緣計算需求攀升,云原生集群部署擴展至邊緣,云邊協同相關技術快速發展。2021年穩定性成為熱點,業務系統復雜性提升帶來穩定運行風險,加速可觀
11、測性、混沌工程、全鏈路壓測等技術突破。2022年多云管理、云原生中間件、云原生數據服務.2015年容器及容器鏡像的發展在一致性部署方面帶來顛覆性體驗,云原生技術開始廣受關注。2017年Kubernetes擊敗眾多容器編排項目,容器及其編排技術的統一,為上層技術生態的繁榮奠定了基礎。爆發期:上層技術生態的爆炸性發展特點:面向應用,更高級的抽象,更豐富的場景;2018-2022年云原生安全云原生系統穩定性分布式云原生云原生+行業.技術賦能期:云原生基礎設施成為共識云原生技術的創新賦能作用凸顯技術融合、能力聚合、行業結合2023-?容器:標準化應用交付需求推動容器技術走向普惠技術萌芽期:1979年,
12、UNIX引入了chroot,他被認為是最早的容器技術之一,這是文件系統級別進程隔離的開始。2000年,FreeBSD 4.0版本中引入了Jail,為chroot文件隔離提供了額外的進程和網絡資源隔離。2006年,Google推出Process Containers,并第二年就進入了Linux內核主干,并正式更名為 Cgroups2008年,通過將 Cgroups 的資源管理能力和Namespace的視圖隔離能力組合在一起,一項完整的容器技術 LXC出現在了Linux內核中技術迸發期:2013年,dotCloud公司開源其容器項目Docker,創新性的定義了分層鏡像格式2014年,Google
13、基于Borg 系統創建了開源項目Kubernetes用于解決大規模集群的容器部署、運行、管理。2015年,Docker牽頭發起OCI,旨在制定并維護容器鏡像格式和容器運行時的正式規范,其核心產出是容器運行時規范,鏡像格式規范,和鏡像分發規范。商用探索期:經過5年的技術發展,容器技術基本成熟,云原生體系也具雛型。從 2017 年開始,各大云廠商均已具備提供較為完善的商業化容器解決方案的能力。ChrootJailOpenvzcGroupLXCDockerLMCTFYK8sContainerdOCI/CRI/CNIKata ContainersAWS ECS/EKSGoogle GKEMicroso
14、ft GKEAlibaba ACK/ASKHuawei CCI/CCETencent TKEfirecracker-containerd Google Cloud SandboxAlibaba Cloud SandboxMicrosoft WSL2Huawei StratoVirt技術萌芽期1979-2012技術迸發期2013-2017商用探索期2017-2018應用拓展期2019-至今容器技術本質上為應用解決了兩個核心問題:應用的資源隔離限制應用的可移植性本地與云上協作更緊密本地與云上協作更緊密容器:技術熱潮推動容器技術探索新領域Docker AIDocker AI的目標幫助開發人員在其應用
15、程序中快速、安全地利用 AI/ML 的強大功能Docker AI 在開發者編輯 Dockerfile 或 Docker Compose 文件、調試本地 docker build 或在本地運行測試時,為開發者提供特定上下文的自動指導,使開發者能夠更多地專注于他們的應用程序,而不是工具和基礎架構。GenAI StackDocker容器已經成為幾乎所有訓練和推理的生成式 AI 應用最主流的部署方法,進一步降低生成式 AI 應用的開發門檻。通過將 Docker 與 Neo4j 圖數據庫、LangChain 模型鏈接技術和用于運行大語言模型(LLM)的 Ollama 相集成,新一代GenAI Stack
16、能夠顯著簡化整個AI訓練和推理流程Docker致力于通過一系列工具將本地開發的響應能力和便利性與云的按需資源、連接性和協作結合起來Docker Build:之前的Docker Build通常在本地機器完成,開發團隊成員日均要花一個小時來等待容器鏡像構建完成;下一代 Docker Build 利用云端來加速構建,構建速度提高了39倍。Serverless:計算形態的跨越式變革9服務器無感知(Serverless)架構是云原生技術體系的核心組成部分,這是一種將基礎設施資源抽象成按需使用的服務,用戶只需關注應用邏輯,而無需管理復雜的基礎設施運維工作的應用設計模式。200020052010201520
17、2020252030虛擬化(焦點是資源匯聚)IaaS/PaaS(焦點是虛擬資源管理調度)容器云(焦點是標準化的應用部署環境,不同狀態的應用的自動化編排調諧)Serverless(聚焦業務價值,將基礎設施剝離下沉)面向應用面向基礎設施計算形態的演進趨勢業務邏輯資源成本人力成本物理機虛擬化Serverless容器不關心關心高低高l根據Gaterner在2021年的預測,容器服務的未來演進方向是分布式云和ServerlesslServerless 是云計算發展的必然結果,代表著生產力的解放,極大的提升了用戶使用云的效率。l從組成來看,Serverless架構由FaaS(應用的服務端邏輯由開發者完成、
18、被事件驅動、完全由第三方管理)和BaaS(以API的方式提供應用依賴的后端服務)共同組成。l從行為來看,Serverless架構描述了一種更細粒度的部署模型,其將應用程序打包為一個或多個功能,上傳到平臺,然后執行、擴展和計費,以響應當時確切的需求。l從特性來看,Serverless服務必須具備具備彈性伸縮和按量付費的特點Serverless:企業數字化轉型凸顯核心價值從用戶的角度看,Serverless基于大量成熟的云服務能力構建應用,客戶的技術決策點更少,實施復雜度更低。從云服務商的角度看,Serverless有助于云服務商建立更寬廣的差異化競爭優勢;提高資源利用率,加速硬件創新;形成良好的
19、用戶結構。啟動成本低,快速試錯有利于創新發展免運維極致彈性快速交付提質增效精益成本推進創新無需提前規劃容量,無需管理基礎設施,極大降低運維成本專注業務邏輯,引導用戶構建天然的云原生應用自動彈性伸縮,快速實現擴容以應對峰值壓力按需使用,按量付費加快應用上線速度提升商業敏捷度優勢降低多方成本從資源角度,按需使用避免閑置,提升資源利用率從開銷角度,無前期建設成本,后期按量付費,啟動成本低從人員角度,開發量減小,幾乎無需運維供給“無限”算力算力資源集約化,平臺集中算力資源,構建龐大的資源池算力調配自動化,平臺通過對資源池的再規劃,自動化分配最優算力算力獲取極速化,根據使用需求快速獲取,用戶層面幾乎無算
20、力瓶頸提高社會生產力聚焦主要矛盾,關注上層業務邏輯,把有限的精力放到最重要的環節復用成熟能力,平臺提供完善的底層實現方案,提高生產效率加速價值實現,以最快速度實現敏捷迭代,加速生產力躍升事件生產者事件總線事件事件消費者f1(X)f1(X)f1(X)f2(X)f2(X)f3(X)f3(X)f3(X)f3(X)突發事件敏捷滿足初期的快速研發需求彈性承載后期的用戶規模降本降低構建成本聚焦代碼邏輯只需關系核心業務代碼,無需管理底層基礎設施極致彈性事件驅動,可根據業務需求調整資源,幾乎可無限擴容細粒度按需計費計費粒度最小可到毫秒級別,不使用不計費核心需求Serverless重要特性分布式云原生:云原生加
21、速分布式云一體化,開啟分布式云原生新時代分布式云原生是指采用云原生技術統一多云技術棧,通過一致性的云服務提供業務價值的設計模式。驅動因素:越來越多的企業在上云過程中采用多個云提供商,管理成本大大增加建設目標:解決多云多集群場景下的管理復雜性與差異性問題核心價值:打破資源和業務邊界,釋放全域生產力產業界全面發力EKS Anywhere分布式云原生服務UCSAnthosACK Anywhere容器服務Arc分布式云原生操作系統遨馳開源社區生態繁榮云原生邊緣多云多集群管理分布式云原生管理跨云跨集群容器網絡分布式云體現了一種將云服務按需部署到不同地理位置,提供統一管理能力的云服務理念Gartner在2
22、020、2021連續兩年將分布式云列入戰略技術趨勢,并于2022年預測分布式云將在5-10年內進入穩定發展期,到2025年超過50%的組織將在其選擇的地點使用分布式云需求、技術、市場多方驅動,分布式云是云時代的必然選擇云原生AI:云+AI加速云計算技術迭代與升級,云上應用服務迎來新生機在已有的IaaS/PaaS/SaaS三個層面上,新增了MaaS層(Model as a Service),推動云計算的整體架構體系的演進升級。向上重塑應用服務模式,廣泛應用于聊天機器人、虛擬助手、文本生產、文本摘要、語音識別等多個領域,加速孵化創新應用場景。向下顛覆算法模型構建與異構算力調度的方式,以Tensor
23、Flow、PyTorch等為代表的AI開發框架,能夠通過云計算平臺API服務,提升AI大模型的訓練效率、降低算力成本。集成GPU、TPU、NPU等不同架構的芯片,能夠更高效的支撐AI大模型進行各類復雜任務的訓練及應用國內外云服務商強化智能云服務重點服務AI大模型通義千問異構算力加速異構算力資源CPUGPUTPUNPU統一資源融合調度關鍵資源虛擬化存儲、網絡優化TensorFlowPyTorchPAIModelArtPaddleAI基礎算法庫神經網絡算法強化學習算法TransformerAI工程框架AI大模型BERTGPTAlphaFoldAI大模型法律、教育媒體、制造辦公搜索重塑應用服務模式,
24、加速孵化創新應用新場景顛覆算法模型構建方式,強化模型的易用性改良算力資源調度方式,多元異構算力的靈活調度微軟推出Azure ML平臺云服務,助力OpenAI大規??v向擴展和橫向擴展能力亞馬遜AWS推出SageMaker,助力OpenAI對大規模部署能力和ML平臺管理能力阿里云PAI服務平臺為智能應用提供靈活、安全的一站式的模型訓練服務騰訊云 TI 平臺構建AI應用開發的產業落地全流程鏈路浪潮云AIStation為智能云服務中的海量數據進行全生命周期管理,提供數據安全保障應用服務層(SaaS)模型服務層(MaaS)平臺軟件層(PaaS)基礎設施層(IaaS)云原生AI:AI賦能的云上應用服務增益
25、顯現,拉動云原生第二增長曲線云計算能夠推動客戶終身價值,提高凈收益留存率,并減少用戶流失。這能夠有效控制用戶獲取成本,并推動客戶終身價值(LTV)/客戶獲取成本(CAC)比率達到4倍以上。過去三個季度中,生成式AI對云計算增長率的影響效果顯著,大幅超過整體IT支出速度。服務商基于AI重塑云計算技術和服務體系,開辟出全新服務場景和服務內容,帶動云服務新一輪高速增長。得益于人工智能應用的超大算力需求,大規模云平臺的增長速度繼續超過企業私有化部署增長速度的4-5倍。美國的三家云巨頭圍繞AI都開啟了云計算領域的優化,AI對云服務的影響已經出現在損益表上。微軟在AI方面的領先優勢已經體現在數據上,由于采
26、用AI技術,Azure的收益上升了3%。阿里云在大模型領域的布局相對三大云巨頭較晚,AI帶動效應尚未顯現,與巨頭的增長差距明顯。圖2:云計算領域布局AI的主要競爭者圖2顯示的是凈得分或支出速度(縱軸),X軸顯示的是在該領域的存在。該數據篩選了ETR數據集中的1,165個云計算帳戶。然后,它通過買家部署的ML/AI平臺削減數據。40%的紅色虛線表示平臺上的消費速度很高。圖1:科技公司最新支出意向調查云計算支出增幅AI支出增幅數據來源:StatistaAI帶動用戶云計算預算保持高增長Azure對AI的深度支持顯著提升用戶對云服務的支出AI帶動頭部云服務商新一輪高增長OpenAI的行業領先地位和Az
27、ure大膽的戰略使這兩家公司處在絕對領先地位。Google在大模型領域的積累,加速Google Cloud平臺用戶的預算支出,但是模型成熟度限制所需處理數據的量級,平臺用戶支出不及OpenAI和Azure。圖1中的 N 是指超過 1,700 名信息技術決策者或 ITDM。Y 軸是某個部門的凈得分或支出速度,X 軸是該部門在數據集中的普遍性。通過波浪線顯示 AI 在 2022 年 10 月(ChatGPT 宣布前一個月)從低點反彈。2022 年 10 月(ChatGPT 宣布前一個月)企業用戶對AI的支出從低點反彈,保持高速增長。過去10個月云計算的預算變化也呈現出高度正相關性,呈現出快速增長現
28、象。云原生AI:云計算+AI顯著提升云上應用服務競爭力,加速業務創新云計算+AI合力催生創新型公司,收益成效斐然,引領產業智能化發展云計算+AI的組合帶來非凡收益,云服務成為企業應用AI技術的一大入口,OpenAI基于云計算構建AI能力、Snowflake將云服務與AI能力結合獲市場積極響應;100%的西方企業計劃將AI應用和基礎設施遷移至云中國內品牌同樣受益于云計算與AI的組合力量,引領企業發展成為世界級品牌。國內品牌以云計算+AI穩健根基,賦能業務,占據全球領先地位海外品牌利用云計算+AI獲得巨額投資,全部計劃建設云上AI 發布兩個月獲得1億用戶 2023年4月,獲得103億美元新融資 公
29、司估值達到290億美元51%33%16%0%0%0%20%40%60%Already on cloudThis yearNext yearIn 5 yearsNo plans西方公司計劃將AI應用和基礎設施遷移至云中占比 上市兩分鐘即熔斷,收盤飆升11%,市值達到707億美元 創軟件公司史上最大規模IPO紀錄人工智能科研公司 云計算 全球新能源電池市場占有率第一名 營收5年增長超過5倍 全球份額預計突破40%數據來源:Statista 2022全球應用下載量第一名 用戶數量已經超過20億 遍布全球超過150個國家和地區谷歌云計算平臺提高應用程序性能、加速內容交付和改善用戶體驗。大數據和人工智能
30、技術來識別用戶偏好和需求 2023全球應用下載量第九名 2023年韓國下載量第一名 2023年英國月活數量第三名“寧德時代-騰訊云AI聯合創新基地”建設數據中心、私有云、AI算法平臺,打造體系化全流程AI生產力調用阿里云資源進行計算,通過AI匹配私有數據及共有數據,滿足消費者的需求軟件及服務(SaaS)公司 AI單體架構分布式架構云化架構系統穩定性:分布式架構引入復雜度,帶來運維壓力和穩定性挑戰據不完全統計,2021年宕機事件多達20起,造成巨大的安全事故和經濟損失。云服務的穩定運行成為保障云上安全生產和業務系統連續性的必要前提。系統上云后面臨的穩定性挑戰集中式與分布式系統并存業務系統規模龐大
31、,子系統眾多系統/微服務間關聯復雜分布式事務多、一致性、冪等性難度大交易鏈路增長交易量大系統復雜交易規模多層架構運維復雜度增大傳統災備能力不足問題定位、分析困難。運維難度10月23日微軟Azure云產品出現Windows虛擬機全球性故障,用戶服務中斷6個小時。故障頻發7月13日美國云計算公司Fastly出現長達1小時的服務故障,導致全球數千家政府、網站受到影響。12月7日AWS由于云服務容量問題導致網絡擁塞和性能下降而宕機近4個小時。11月16日,Google Cloud服務器由于網絡配置問題造成負載均衡中斷,引發全球宕機數小時,影響波及全球用戶。新的系統穩定性保障技術涌現混沌工程可觀測性全鏈
32、路壓測云原生降本:混部和彈性調度技術成為企業的降本利器Serverless實例vs普通實例不同請求量的價格對比2000萬臺美國數據中心能源使用報告指出,2020年全球數據中心的服務器總量達到1800萬臺,并且正以每年100萬臺的速度增長。12%國內公有云服務商統計數據顯示,公有云環境,虛擬機平均資源利用率僅為12%。10%部分私有云環境下,虛擬化集群資源利用率不足10%。30%Flexera2021云狀態報告數據顯示,企業上云后的平均資源浪費率在30%左右?;觳勘举|是將原有運行在獨立基礎設施環境中的不同優先級的業務應用,在共享基礎設施上進行混合部署,實現“降本增效”。在離線混部成為有效路徑云原生平臺能力打通混部“任督二脈”云原生彈性調度技術通過多種靈活的彈性策略,實現基于預測和事件驅動的彈性伸縮,最大程度的提升資源效能。彈性是指基礎設施資源按需規?;臄U容、縮容能力;調度是指根據特定目標通過相應算法對資源進行統一調配的能力;彈性調度是指通過彈性與調度應對變化的負載、實現資源的精細化按需分配、充分保障業務質量。