《阿里云:2023云存儲應用白皮書(75頁).pdf》由會員分享,可在線閱讀,更多相關《阿里云:2023云存儲應用白皮書(75頁).pdf(75頁珍藏版)》請在三個皮匠報告上搜索。
1、前言云存儲應用白皮書(以下簡稱“白皮書”)由阿里云存儲團隊編寫。白皮書作為云存儲行業首個全景式文檔,在基礎設施云化、核心技術互聯網化、應用數據化和智能化的時代背景下,以云存儲的技術能力和產品通用能力為基礎,以當前存儲密集型行業的應用場景以及阿里云多年實踐為切入點進行全面解讀,同時聯動計算、數據庫、容器等產品。白皮書旨為數字經濟從業者提供具有指導性、操作性的參考資料,希望能夠在各個行業的數字化轉型過程中提供有效賦能。在編寫的過程中,需要感謝阿里云多個業務及技術團隊對白皮書涉及內容進行的修訂,還要感謝在阿里巴巴內部或外部平臺發布各類文章的技術及業務專家們,正是你們的貢獻豐富了這本白皮書的內容。推薦
2、語存儲是 IT 行業的三大關鍵技術領域之一,是 IT 系統的感知輸入記錄和 IT 大腦的思維記憶所在,其基礎性和重要性不言而喻。云存儲作為將儲存資源放到云上供行為對象任意時間、任意地點,只要有網絡連接即可存取的技術,依托其便利性和彈性按需的低成本優勢伴隨著云計算技術一起迅猛發展,勢不可擋。阿里云存儲伴隨著阿里云技術的成長,從誕生之初就植入了多種創新自研技術,在業界保持著很高的市場占有率。通過云存儲應用白皮書我們不僅可以全面了解阿里云作為一家云服務商的存儲產品與解決方案,也能從“上帝視角”對整個存儲技術領域有一個清晰的輪廓。我相信這是一份對 IT 組織和 IT 從業者具有啟發和借鑒意義的文檔。祝
3、愿阿里云在云存儲技術領域產出更多的創新成果,造福行業組織,創造更大的經濟效益與社會效益。北京郵電大學網絡空間安全專業負責人災備技術國家工程實驗室副主任博士生導師 辛陽當今社會運行信息已經表現出高度數據化、數字化,每一個組織,每一個個人都是一個數據集。以云存儲為代表的存儲正在成為這些數據集的統一管理平臺,并且為國家和地方政府治理、企業日常運營提供了新的技術支撐。針對數據的分析、管理正在成為存儲技術的重要實踐。云存儲應用白皮書結合了當前云存儲的現狀及阿里云長期積累的存儲實踐,詳細介紹了阿里云存儲產品的特點與能力。相信這本白皮書可以為企業組織的數字化轉型提供有效賦能。貴州大學副教授公共大數據國家重點
4、實驗室辦公室主任陳玉玲數據已成為關鍵的生產要素,存儲作為儲存數據的關鍵基礎設施,其重要性不言而喻。阿里云存儲緊跟時代需求應運而生,在多年巨大的電子商務交易壓力下,將云存儲產品持續完善,目前已實現了在“穩定、安全、可靠、易用”上的突破。隨著企業組織數據和業務上云的需求不斷增加,對云存儲產品的保障和應用服務也提出了新的要求。本白皮書介紹了阿里云存儲在保障數據穩定、安全、可靠、易用和高性能的過程中所使用的主要關鍵技術,并多方面介紹了阿里云存儲的應用實踐,能給相關行業的用戶起到較好的參考作用。希望阿里云存儲能持續做好技術支撐服務,保障客戶的數據安全和業務連續,更好地發揮數字經濟基礎設施的重要作用。國家
5、電子計算機質量監督檢驗中心 總工程師中國計算機學會信息存儲技術專業委員會 委員陽小珊 博士Forrester 認為,為了更加有效地應對市場不確定性,全球企業決策者將通過戰略籌劃積極應變,構建自適應企業(Adaptive Enterprise),而以混合云環境下的云原生技術為代表的下一代云計算平臺將成為構建自適應企業的重要基礎。另一方面,包括數據中心、人工智能、工業互聯網等在內的新型基礎設施建設,也將成為中國經濟發展新舊動能轉換的關鍵抓手,而不斷推陳出新的云存儲技術也將在這一轉換進程中發揮重要作用。阿里云推出的這份云存儲應用白皮書,從存儲行業的變革歷程入手,在自身從研發到賦能的有效實踐基礎上,深
6、入淺出地闡述了變革時代之下云存儲的核心技術趨勢,剖析了阿里云存儲產品與解決方案的關鍵能力,為中國相關領域的技術決策者與實踐者提供了面向行業應用場景的重要參考。Forrester VP 研究總監戴鯤序存儲一直是 IT 設施中最重要的一環。在數字經濟高速發展的背景下,為了實現阿里云“數字經濟的基礎設施”的宏大愿景,存儲必須擔負起更大的責任,為企業數字化轉型提供核心價值,促進基礎設施云化、核心技術互聯化和應用數據化和智能化的升級。經過二十年的技術演進,阿里巴巴實現了統一存儲的目標,以“飛天盤古“系統作為統一的底座,通過標準化、服務化和開放化的方式建立了完整的存儲產品和服務體系,統一服務內部和外部的客
7、戶。一方面,經過歷年的阿里巴巴”雙 11“的錘煉,打造了滿足大規模業務場景超高要求的技術競爭力和產品差異化能力,為客戶提供了更好的服務;另一方面,我們也不斷在向阿里云上的數百萬客戶學習,學習客戶的業務架構,了解客戶的需求,不斷精進存儲技術和打磨產品,為客戶創造更多價值?!耙允袌鰹閷?、以產品為核心、以技術為基礎”是阿里云的戰略方針?!胺€定、安全、可靠、易用”是存儲的立身之本。這本云存儲應用白皮書通過對市場和行業的分析,存儲產品矩陣的總結,典型解決方案實踐的介紹和存儲技術的總結,展示了我們是如何執行阿里云的戰略方針,如何踐行存儲的立身之本。期待這本白皮書能夠幫助大家更全面地理解阿里云存儲、更高效
8、地用好阿里云存儲,進而實現業務的快速發展。吳結生 博士阿里巴巴集團高級研究員阿里云智能存儲產品線總經理目錄頁行業綜述.10一、數字經濟時代已經到來.101.基礎設施的云化.102.核心技術互聯網化.113.應用數據化和智能化.12二、存儲行業的變革.131.存儲服務網絡的巨變.132.云原生對云存儲的新要求.143.智能與存儲的交相輝映.16技術產品.18一、強大的技術基因.181.自研分布式存儲技術.182.彈性讓云成為可能.203.軟件的重新定義.224.多種數據災備及加密方式.22二、完善的產品矩陣.241.對象存儲.242.塊存儲.263.文件存儲.284.日志服務.335.表格存儲.
9、356.云定義存儲 CDS.377、云災備.408、閃電立方.429、智能媒體管理.4410、網盤與相冊服務.45應用實踐.47一、本地數據上云方案.471.數據業務遷移上云方案.472.數據歸檔上云方案.48二、云災備解決方案.501.需求背景.502.解決方案.50三、云上數據應用解決方案.521.影視數據存儲與傳輸加速方案.522.物聯網大數據存儲解決方案.533.在線教育數據存儲解決方案.544.數據湖存儲解決方案.565.日志采集在微服務架構中的應用.586.高性能計算存儲在渲染行業的應用.607、可觀測運維解決方案.61四、AI 模型訓練解決方案.631.文件存儲在飛天 AI 加速
10、中的應用.632.智能媒體管理在人臉語音識別中的應用.643.表格存儲在推薦系統中的應用.654.文件存儲在 AIGC 賽道中的應用.66五、混合云存儲解決方案.681.基于混合云存儲陣列的虛擬化平臺搭建.682.視頻監控混合云存儲解決方案.69附錄一:相關英文縮寫釋義.71附錄二:阿里云存儲大事記.74行業綜述10行業綜述一、數字經濟時代已經到來1.基礎設施的云化自人類社會誕生以來,先后經歷了農業經濟、工業經濟、網絡經濟等時代。今天,我們迎來了由 IT 經濟、DT 經濟、智能經濟所組成的數字經濟時代。根據聯合國發布的2022 年數字經濟報告的統計,數字經濟的規模約占全球生產總值的10%。從參
11、與數據驅動的數字經濟并從中受益的能力來看,美國和中國脫穎而出。正如水之于農業經濟時代,電之于工業經濟時代一樣,在數字經濟時代,數據正在成為新的自然資源、新的戰略資源。中國工程院院士、阿里云創始人王堅在其在線一書中認為,數據正在改變商業的本質。根據 IDC 的相關預測,未來五年,全球數據量將會增長一倍以上,這其中,中國本土的數據量會僅次于北美地區,達到大概 56.16ZB 的規模,另外年復合增長率接近 25%,增長率將成全球第一,也就是說,未來幾年中國將會超越北美地區成為全球最大的數據市場。多方數據的匯聚以及對數據“存儲-使用-管理”的全生命周期支撐能力、全方位的數據安全體系和健全的數據生態環境
12、、以數據為中心實現數據價值最大化是以存儲、計算、網絡等基礎設施所需要解決的重要問題。而今天,云計算已經在關鍵技術和應用規模上實現對傳統基礎設施的超越,基礎設施全面云化的進程已然開啟。一方面,新基建、“東數西算”等國家戰略級定位的重點項目敲開了 B 端市場的大門,為云計算發展帶來了大片市場藍海。另一方面,技術融合成為數字經濟重要發展趨勢,云計算與數據中心、人工智能、工業互聯網等的融合碰撞將摩擦出新的火花。行業綜述11行業之間出于業務共性、方案成熟度、部署和維護等方面的考慮,上云的過程中存在較大差異。為了避免行業云的設計方案因人而異或因事而異,需要通過標準將行業云要求清晰準確地列出,做到有章可循。
13、除已發布的和在研的國家標準、行業標準之外,公共云服務商也需要不斷制定自己的相關標準,讓上云更加高效便捷。早在 2020 年 2 月,阿里巴巴集團的首個云計算企業標準行業云建設要求編制完成并發布,標準規定了基于公有云模式的行業云建設要求,包括總體要求、機房選址要求、物理網絡架構要求、云產品部署要求和安全要求等。此外,API 的廣泛應用為標準化上云提供了可能,阿里云存儲已經提供并開放了多個管理與控制的 API,使得客戶可以通過編程靈活調用、管理與監控存儲資源,甚至實現跨平臺的存儲管理。2.核心技術互聯網化作為分布式處理、并行處理和網格計算融合發展的產物,云計算從 2006 年正式誕生,時至今日,云
14、計算已經成為一門獨立的學科。今天,大數據、物聯網和人工智能等技術正在引領云計算的發展。在各行各業不斷擁抱互聯網的當下,在企業組織數字化轉型的當下,在產業互聯網蓬勃發展的當下,需要更加適合互聯網場景的技術升級方案。從成立的第一天開始,阿里巴巴就具有了獨特的互聯網基因,在過去的二十年,阿里巴巴不斷應對互聯網時代的諸多挑戰,從而在今天構建起并梳理了數字經濟時代的底層范式和技術脈絡?;A設施的云化需要一套新的技術體系,需要基于互聯網技術來進行改造。這其中最為明顯的例子就是對象存儲的興起,在最初就將存儲視為一種服務的對象存儲,在應對互聯網數據存儲的規?;?、高增長等問題的時候,提出了具有劃時代意義的全新解
15、決方案。對象存儲面向互聯網、移動互聯網而生,專為大量網頁、視頻、圖片、音頻等數據的存儲行業綜述12和管理等場景而設計。對象存儲采用基于互聯網的訪問接口,其本質是通過互聯網或移動互聯網訪問相關內容,為應用提供了全局、全網共享的數據池化管理,非常適合作為視頻、社交、音樂等互聯網應用的底層平臺?,F在,對象存儲已經擁有了面向海量數據存儲、快速訪問的能力,不但可以構建數據統一分析平臺,還可以進一步挖掘數據的價值,讓存儲更智能?;ヂ摼W經濟的蓬勃發展很大程度上也源自于開源技術的繁榮。開放、開源是互聯網技術的重要基因。阿里巴巴是開源的受益者,也是開源的貢獻者??梢灶A見,下一代技術將構建在基于互聯網技術、開源技
16、術、云原生的云化基礎設施之上,在這一過程中,阿里巴巴已經積累了豐富的經驗和最佳實踐,這套技術體系的可行性和先進性也已經被充分證明。3.應用數據化和智能化數據化和智能化是數字經濟的重要特征,而云計算是應用數據化和智能化的有力保障。隨著技術的不斷發展以及架構的不斷演化,云計算簡化了傳統 IT 產品的供應鏈流程,提升了產品彈性。在實現了平臺和產品分離的同時,通過平臺升級帶動產品升級,實現了產品版本的快速迭代,使產品具備實時發布和實時使用的智能化特征。借助“數據+智能”這個出口,云計算將能夠根據不同企業和組織的規模、類型、行業等為其量身打造上云方案。萬事萬物都將被數字化,都會因為數字化而產生進一步走向
17、全面智慧化、智能化的空間和驅動力。在具體實踐中,數據智能服務已普遍應用在不同業務中來輔助人工決策。決策智能開始逐步代替人工,通過全流程智能化、自動化的升級,從輔助人工決策走向全流程自動化決策。以阿里云存儲為例,在完成了以彈性擴展、靈活高效、降低成本為核心的存儲基礎服務以后,已經實現了支撐集團 100%業務上云的目標,同時還幫助越來越多的客戶實現數據管理的數字化和智能化。在針對不同業務場景上,阿里云發布了智能媒體管理 IMM,為云上文檔、圖片、視頻提供行業綜述13一站式數據處理、分析、檢索等智能管理。阿里云存儲不再是一個單一的底層平臺,而是升級為數據智能管理的平臺。二、存儲行業的變革1.存儲服務
18、網絡的巨變云計算讓原本離散的、依靠渠道實現分發的蒲公英網絡演進為具有更高的服務效率、迭代效率、發現效率、運營效率等四大優勢的平行網絡。這其中,自服務是云計算核心的競爭力之一。傳統 IT 技術所構建的商業模式不再成立,云計算的自服務能力讓企業可以像使用水和電一樣使用云計算產品,在可管理性方面有了極大的提升,也避免落入依賴技術和產品外包的服務陷阱。從這個角度來說,相比于強調所有權的公有云,強調使用權的公共云的概念其實更為貼切。云存儲是基于云計算相關技術延伸和發展而來的全新的產品形態。本質上,云計算不是一種計算,而是服務,云存儲也不是一種存儲,而是一種基于存儲功能的服務。云存儲的內核是應用軟件與存儲
19、設備相結合,通過應用軟件來實現存儲設備向存儲服務的轉變。如同云狀的廣域互聯網,云存儲對使用者來講,不是指某一個具體的設備,而是指一個由多個存儲設備和服務器所構成的集合體。因此使用云存儲時并不是使用某一個存儲設備,而是使用整個云存儲網絡帶來的一種數字化服務。網絡互連是分布式存儲的基礎,隨著半導體存儲介質的發展,存儲網絡的問題越來越突出。盤古針對存儲網絡面臨的低延遲、高吞吐、CPU 占用等問題,提出了新的存儲網絡協議及技術架構。具體包括用戶態 TCP 協議棧 LUNA、增強型 ROCE RDMA 以及全自研 RDMA 網絡協議及軟硬一體技術架構。通過高性能存儲網絡技術的演進,帶來了如下技術創新:解
20、決了分布式存儲互連存在的性能問題,盤古構建了全球最大規模的增強型 RDMA 存儲網絡,解決傳統 RDMA 面臨的 PFC 等問題。在規?;a環境下,端至端 I/O 延遲行業綜述14降低至 100us 以內,造就了全球性能第一的 ESSD 云盤。降低處理網絡協議棧的 CPU 開銷、減少內存拷貝,持續升級數據中心存儲物理網絡技術架構。將數據中心存儲互連提升至 2x100Gbps,網絡帶寬利用率達到 90%以上,并向更高速率的網絡技術發展。自研 RDMA 存儲網絡協議棧,發展 HPCC(high performance control center)絡擁塞控制算法。通過 RDMA 協議提升硬件卸載
21、的效率,降低網絡丟包率,提升存儲網絡利用率,解決存儲場景下面臨的 Incast 等重要問題,促進存儲網絡向高性能方向演進。通過端網協同能力,提升鏈路探測的效率,降低存儲 I/O 的長尾延遲,提升存儲系統的 QoS 能力,為用戶提供極致的 SLA。盤古存儲網絡相關技術在阿里云得到了規?;?,也積累了一系列創新成果,自研的高性能RDMA 存儲網絡(SIGCOMM 2022)、HPCC 流控算法(SIGCOMM 2019)、RDMA 網絡的大規模實踐和優化(NSDI 2021),引領了云存儲進入微秒延遲時代。2.云原生對云存儲的新要求云原生(Cloud Native)的概念在 2015 年開始被提及,
22、主要包括容器、服務網格、微服務、不可變基礎設施和聲明式 API 等技術領域。云原生計算基金會(Cloud Native Computing Foundation)認為云原生技術有利于組織在公共云、私有云和混合云以及新型動態環境中快速構建和運行可彈性擴展的應用。作為下一代云計算的核心技術內核,云原生對于企業競爭優勢的原生放大具有重要作用。全面上云的拐點已經到來:從單次購物節大促到日常業務運營,已經實現了常態化的上云;從邊緣業務到核心鏈路和關鍵業務,已經實現了核心業務的上云;行業綜述15從幾百臺機器到超過十萬臺機器,已經實現了規?;纳显?;從單一技術到全棧技術,已經實現了多樣化的上云,上云已經成為
23、一種必然。除此之外,上云不僅是業務需要面向云端,研發同樣需要面向云端。云原生的出現讓業務獲得了更靈活的部署能力,同時也能夠挖掘出在線數據的更大價值。云原生技術正在深刻改變著應用服務的方方面面,而存儲作為應用運行的基石,也面臨著新的需求和挑戰。云原生場景下,用戶在云存儲基本能力之上又提出了效率、彈性、自治、穩定、應用低耦合、安全等方面的新訴求。數字紅利催化、云原生架構驅動、存儲技術演進,三重背景共同推動著存儲邁進云原生存儲時代。首先,云原生存儲是面向應用的應用層存儲,是云存儲在用戶接口和效率、易用性等優勢的集合;其次,云原生存儲利用云存儲基礎設施紅利,是構建在應用存儲之上的分層存儲;第三,云原生
24、提升了實現效率和自治方面的能力,提升了存儲穩定性,降低了安全隱患。阿里云為國內頭部云廠商,具備提供豐富的云原生能力的基礎,深耕云原生領域多年,從最開始布局容器,到核心系統云原生化,再到 2022 年提出核心云產品全面 Serverless 化,阿里云始終以先行者的視角布局技術,不斷帶給業界新的想象空間。阿里云存儲不斷演進 Serverless 能力,智能適配負載變化,提供智能數據管理能力以及全場景覆蓋不斷發展的新負載。在中國信通院組織的云原生存儲能力要求測評中,阿里云塊存儲 EBS、對象存儲 OSS、文件存儲 NAS 等產品通過了 2022 年度云原生存儲能力首批評估。行業綜述163.智能與存
25、儲的交相輝映人工智能技術的發展讓存儲產品在打破數據孤島,提升數據管理效率等方面有了更多可能。阿里云提供了豐富的數據管理功能,通過數據分析挖掘數據價值。以阿里云日志服務的智能運維分析功能為例,該功能面向趨勢預測、異常發現、智能聚類和根因分析等四個場景,提升了 DevOps 分析和診斷的效率,幫助運維人員提前配置資源,提前預測、發現和解決突發故障。借助人工智能技術,阿里云存儲產品在磁盤、服務與網絡的故障檢測中,可以更加準確地預測到故障的發生:在遇到網路抖動等異常狀況時,可以做到及時規避,大大減少長尾延遲現象;在業務調度中,利用人工智能技術,能夠提前進行負載均衡,避免熱點的不均衡;在數據的放置策略中
26、,可以根據對冷熱數據的分析以及客戶訪問的規則與模式,將不同類型的數據進行分類,執行不同的置放策略,實現更加智能的分級存儲,從而提高總體系統效能。2023 年,阿里云智能數據湖解決方案成功入選第六屆數字中國建設峰會“十大硬核科技”。針對機器學習與人工智能計算的場景,阿里云推出了高性能并行文件系統(CPFS:CloudParallel File System),并廣泛應用于 AIGC、AI 訓練、自動駕駛、生命科學和渲染仿真等場景。靈駿智能計算結合 CPFS 可以實現 TB/s 級吞吐能力的高性能存儲系統、微秒級延遲,它還實現了一份數據多個協議的同時訪問的能力,使得不同的應用可以根據需要用不同的接
27、口進行訪問。同時,在語音、圖像、文本模型訓練以及渲染仿真等領域,很多時候都存在著大量的只讀小文件,其 IO 模式非常固定,但同時又耗時極長,靈駿為此提供了專門的加速工具 KSpeed,行業綜述17對整個數據 IO 作業的流水線進行了重構,通過結合使用高速緩存和數據預處理技術,大大縮短了數據 IO 的時間。為了應對圖片和視頻數據的快速增長,對數據進行智能分析成為剛需,阿里云的智能媒體管理系統(IMM)將先進的分析算法與存儲相結合,通過簡單便利的調用接口,使得中小客戶也可以享用到阿里云以及達摩院強大且先進的人工智能技術服務。技術產品18技術產品一、強大的技術基因1.自研分布式存儲技術1)十年磨一劍
28、的飛天盤古分布式存儲因其支持塊、文件、HDFS、對象多種協議的特性,具有較好的場景適應性。面向云計算的大規模分布式存儲系統,往往需要歷經純軟件技術架構、用戶態技術架構,再到軟硬一體全棧融合技術架構的發展階段。從 2008 年問世以來,飛天盤古作為阿里巴巴集團、螞蟻集團業務的數據存儲平臺,在存儲技術的理解、分析、分類和抽象等方面持續創新,一方面為了適應硬件的迭代更新;另一方面還要滿足大規模及復雜業務場景的存儲需求,主要體現在四個方面,即開放分層的分布式存儲軟件、高性能存儲網絡、硬件適配性和硬件架構創新,以及深度軟硬融合的閃存存儲架構。一個大規模、高性能、高可靠、高可用、可伸縮的分布式存儲平臺,不
29、僅需要為對象存儲、表格存儲、塊存儲、文件存儲等不同存儲產品提供分布式持久化核心存儲層,而且要為上層的大數據處理、數據庫、中間件、日志分析、郵箱、搜索等基礎服務提供底層數據存儲服務。技術產品192)穩定壓倒一切開放分層的軟件架構是飛天盤古在系統架構演進上的重要實踐經驗。飛天盤古數據服務層從上到下分為飛天盤古服務層、飛天盤古分布式功能層、單機存儲引擎層和軟硬件一體化層。飛天盤古分布式功能層是一個公共的基礎核心,提供多副本文件(典型配置為三副本)及糾刪碼文件的文件語義,并支持 Direct I/O 及 Buffer I/O 適應不同業務訪問模式的需求。分布式功能層采用分布式元數據管理,支持單集群的大
30、規模及系統的可伸縮性;提供良好設計的異常處理機制及數據復制機制,保證節點異常的性能穩定性及數據可靠性;采用端到端的 QoS 保證業務運行的 SLA;采用端到端的 CRC 校驗保證數據傳輸和存儲過程中的數據完整性;后臺 CRC 校驗機制保障數據持久存儲的可靠性;支持快速介質與慢速介質構成的混合存儲模式,達到性能與成本的均衡。3)性能是極致追求開放分層架構具備定義穩定和良好的接口,有利于系統自身的快速迭代。不僅如此,飛天盤古針對不同的硬件特點及應用場景進行了深度的優化和設計,包括:技術產品20分布式元數據服務。增強整體系統的元數據服務器能力,支持海量文件規模、靈活伸縮擴展,并摒棄中心節點帶來的不足
31、,提升分布式存儲的可靠性及性能。自研的分布式一致性協議。對軟硬件異常進行容錯,在保證可靠性的基礎之上提升性能。分布式糾刪碼技術將數據冗余從典型的 3 份副本降低至 1.5 份副本以下。全自研的用戶態存儲引擎支持 NVMe SSD 和 HDD 介質,充分發揮 NVMe 的性能,保證后端存儲的 I/O 延時在 10us 以內;通過用戶態存儲引擎挖掘 HDD 磁盤的吞吐帶寬,比基于Ext4 的存儲引擎性能翻倍。全鏈路 SLA 服務保證 I/O 的穩定性,通過異常節點探測算法、異步寫追加等方法來增強端至端的 I/O 服務質量。在網絡互聯方面,飛天盤古針對存儲網絡面臨的低延時、高吞吐、CPU 占用等問題
32、,提出了新的存儲網絡協議及技術架構。具體包括用戶態 TCP 協議棧 Luna、增強型 RoCE(RDMAover Converged Ethernet)、全自研 RDMA 網絡協議及軟硬一體技術架構。在規?;a環境下,端至端 I/O 延時降低至 100us 以內,造就了全球性能第一的 ESSD 云盤。2.彈性讓云成為可能彈性是云計算的核心價值,是每個企業,每個團隊,每個 IT 工作者所追求的目標。阿里云彈性計算首席架構師蔡俊杰認為,從廣義上講,彈性讓 IT 能力輕松跟上客戶的業務發展;從狹義上講,彈性則帶給客戶無與倫比的靈活性。技術產品21從資源利用角度來說,彈性意味著性價比,根據相關數據統
33、計:在實現云端部署之后,綜合成本會下降 50%。彈性是云計算技術中公認的最重要的特點之一。彈性實現了按需增減計算、存儲、網絡等各種資源。阿里云的彈性貫穿于整個產品生態,客戶可以根據業務負載、增長預測、實際應用設置觸發條件,實現資源的動態調整。在 2022 北京冬奧會期間,阿里云支撐賽事運營所需的核心系統 100%上云。這是奧運史上首次由云計算替代傳統 IT,改變了過去奧運重復建設傳統 IT 機房,在賽事短暫使用后拆除的狀況。應用開發和部署流程縮短,IT 基礎設施的成本大幅下降。阿里云存儲在彈性方面實現了按量付費和按實際使用量付費,無需提前一次性投入。同時,自動彈性擴展存儲的容量和文件數目也滿足
34、了 EB 級海量數據存儲的需求。另一方面,隨著公共云、專有云、混合云等平臺之間的數據及業務遷移變得更加靈活和便捷,云計算的外延也不斷擴大并延展到邊緣現場環境中。容器、微服務、服務網格、無服務器計算等新的技術架構不斷涌現、不斷創新,這些也將進一步助力云存儲不斷提升自身的彈性,推動了數字經濟時代組織架構的改變以及文化的變革。技術產品223.軟件的重新定義Gartner 于 2013 年提出的“軟件定義一切”仍余音繞梁,由硬盤、磁帶以及云等存儲介質組成的存儲金字塔架構正在受到越來越多的沖擊,存儲架構進一步簡化,實現了通過數據的使用而不是底層存儲介質來定義數據。軟件創新使等簡化的存儲架構可輕松用于更多
35、的細分市場,例如媒體和娛樂、能源,甚至是中小企業市場。新的簡化模型使組織可以將大部分不活躍的數據從昂貴的存儲主層(由閃存、NVMe 和其他固態技術以及高性能磁盤組成)中移到更為經濟的冷存儲層,或者稱之為永久層。用戶也可以將數據的多個副本存儲在對象存儲、磁盤和磁帶等在內的多種更為經濟的存儲介質上。永久層還可以用于第二存儲、數據分發、備份、存檔和災難恢復等業務上。同時,也可以將永久層設置為根據客戶工作流程的需求進行響應,從而使用戶可以創建響應副本或在云、磁帶上創建災難恢復副本。這些功能,都有賴于軟件對數據存儲、訪問方式的重新定義。軟件與硬件的發展往往是緊密結合的,在這個過程中,既離不開不同介質硬件
36、的自我革新比如 SSD 的普及、比如阿里云自研的神龍服務器;也離不開軟件的不斷創新通過開放接口的方式進一步提升存儲系統效率,借助硬件和軟件產品的集成,確保硬件可以在軟件的支持下得到性能的優化。存儲系統架構經過不斷演進,已經從硬件定義時期演變到軟件定義時期通過軟件的能力在通用廉價硬件基礎之上構建可靠數據存儲系統,最明顯的例子就是 SDS(軟件定義存儲)近幾年的快速發展,它使存儲軟件與底層硬件分離,使企業可以更好的利用標準化硬件從而獲得成本、效率等方面的回報。根據 IDC 數據,2019-2021 三年來,傳統存儲硬件市場份額從 65%下降至 52%,市場份額持續萎縮。照此趨勢,未來數年內 SDS
37、/HCI 硬件市場份額有可能超過傳統存儲,成為企業存儲主流解決方案。新的存儲技術如持久內存(PM)、存儲類內存(SCM)、NVMe oF 等,將進一步推動 SDS 系統的發展。4.多種數據災備及加密方式安全可靠是阿里云始終堅守的重要底線。為此,阿里云執行多層次、全鏈路、全方位的安技術產品23全加密策略,實現業務安全、運營安全、數據安全、網絡安全、應用安全、主機安全和帳戶安全以及底層數據中心安全。此外,還提供了完全托管服務,用戶不再需要自己規劃容量的擴容和備份。與傳統災備服務相比,云災備具有投入成本低、敏捷運維、資源服務化、多系統應用等優勢。早在 2018 年 6 月,阿里云已經正式對外發布了國
38、內第一家云原生混合云備份服務和混合云容災服務,提供云上備份與容災的保護能力,客戶可實現災備方案的分鐘級部署。國內首家發布同城三可用區域部署能力的云上對象存儲,可滿足企業級客戶對于發生機房級災難事件時數據不丟、業務不斷的需求。相比于建設線下同城容災機房,對象存儲同城區域冗余存儲提供 99.95%的可用性 SLA 指標、12 個 9 數據可靠性和一鍵部署云上同城容災服務能力,結合“跨區域復制”能力,可實現機房、同城、跨地域三級完整的容災服務能力。對象存儲的多版本功能,使得用戶可保留、恢復文件的歷史版本,且可設置歷史版本保留時間,防止人為或程序的出錯,提升容錯能力。云盤異步復制是一種基于塊存儲數據復
39、制能力實現跨地域或者跨可用區數據保護的功能,主要用于異地容災的業務場景。通過 ESSD 云盤對數據進行周期性跨地域復制,客戶可以非常方便地在阿里云全球 28 個地域,根據業務需求來選擇生產站點和災備站點,實現高等級、低成本的數據級容災架構。在數據加密方面,對象存儲的多次讀取特性允許用戶以“不可篡改、不可刪除”的方式進行云上數據合規保存。對象存儲的數據加密功能涵蓋客戶端加密、服務端加密,可結合密鑰托管服務,并支持用戶以自有密鑰方式進行加密,大大提升數據安全與合規能力?;旌显苽浞?HBR 提供備份源端加密,并支持基于 SSL/TLS 的 HTTPS 加密傳輸,有效防止數據在云端的潛在安全風險。文件
40、存儲推出的傳輸加密、落盤加密功能,通過托管密鑰、自有密鑰加密充分保證數據在傳輸中的安全性。技術產品24塊存儲通過和阿里云密鑰管理服務集成,用戶可通過云盤加密功能保護數據的隱私性和自主性。二、完善的產品矩陣1.對象存儲產品介紹:阿里云對象存儲 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存儲服務,提供 99.9999999999%(12 個 9)的數據持久性,99.995%的數據可用性。多種存儲類型供選擇,全面優化存儲成本。2023 年 4 月,阿里云對象存儲推出全新預留空間產品(Reserved Capacity),客戶購買一年的預留空間,較按量付
41、費,最高可節省 70%的費用。預留空間適用于多種業務場景下的數據存儲與管理,如互聯網音視頻、數據湖、云相冊、視頻監控等業務場景。無地域屬性預留空間則適用于對數據存儲地域無要求,可接受僅通過外網進行數據讀取訪問的客戶。技術產品25產品優勢:更安全:完善的權限控制與多種加密算法的支持,滿足企業數據安全與合規要求。更可靠:OSS 的多重冗余架構設計,為數據持久存儲提供更可靠的保障。更穩定:提供高達 99.995%的可用性 SLA 承諾,為客戶提供高可用的存儲服務。更智能:提供數據的生命周期管理與數據的智能處理能力,有效滿足企業需求。產品功能:數據遷移:支持 PB 級的在線、離線遷移方案,完成中國互聯
42、網首個單客戶百 PB 級數據的遷移上云案例,提供更安全、更快速的海量數據遷移上云方案。離線數據遷移:閃電立方可將用戶線下數據,安全、高效的遷移至對象存儲 OSS,提供端到端的加密機制,支持 TB 到 PB 級數據遷移上云。在線數據遷移:用戶可使用阿里云 OSS 在線數據遷移服務、OSSImport 工具,將第三方云存儲、自建的線下存儲等各類數據,在線遷移至對象存儲 OSS。HDFS 數據遷移:通過 Hadoop 對阿里云 OSS 的支持,用戶便可以在自建的Hadoop 集群或通過阿里云 EMR,將 HDFS 中大規模的數據遷移至對象存儲 OSS。數據處理:支持圖片、文檔、視頻、CSV 等數據的
43、常用處理和分析能力,提供更智能的對象存儲。圖片處理:支持 jpg、png、bmp、gif、webp、tiff 等多種格式的轉換,及縮略圖、剪裁、水印、縮放等操作。視頻截幀:支持截取視頻中的指定位置生成圖片,完成視頻截幀。人臉識別:支持圖片中多張人臉位置與屬性檢測,如性別、年齡、情緒、頭部姿勢、眼睛狀態、模糊度等。數據管理:支持生命周期、鏡像回源、更豐富的數據上傳與下載方式、事件通知、回調等功能,提供更簡單易用、更便于管理的對象存儲。生命周期:可定義數據的生命周期,將符合規則的對象轉換存儲類型或過期清除。鏡像回源:支持配置用戶源站,當訪問數據不在 OSS 時,OSS 會從源站拉取并寫技術產品26
44、入 OSS。傳輸加速:阿里云 OSS 原生加速產品,依托阿里云數據中心全球的接入點,結合智能探測與調度算法,提供最適合 OSS 用戶的加速服務。容災備份:通過數據跨區域復制以及同城冗余、版本控制等技術,保障數據的高可靠性,防止數據被誤刪或誤覆蓋導致的業務損失??鐓^域復制:提供跨不同的 OSS 存儲空間之間自動、異步(近實時)的文件復制能力,將對象的增、刪、改等操作進行自動復制。版本控制:將數據覆蓋和刪除操作通過歷史版本的形式保存下來。在錯誤覆蓋或者刪除對象后,能夠將存儲空間中存儲的對象恢復至任意時刻的歷史版本。同城冗余:阿里云 OSS 采用多可用區(AZ)的冗余機制,將數據分散存放在同一地域(
45、Region)的 3 個可用區。當某個可用區不可用時,仍然能夠保障數據正常訪問安全合規:OSS 提供多種保證數據安全與合規的技術,包括防盜鏈、數據存儲加密和數據的合規保留策略(WORM)設置等。防盜鏈:通過設置 Referer 白名單的方式限制僅白名單中的域名可以訪問您存儲空間內的資源。數據加密:阿里云 OSS 的數據加密功能,提供服務端加密、客戶端加密等多種數據加密選項。WORM:阿里云 OSS 支持 WORM 策略(一次寫入,多次讀?。?,保護周期內,任何人都不能對文件進行修改以及刪除,滿足行業合規要求。2.塊存儲產品介紹:塊存儲 EBS(Elastic Block Storage)是為云服
46、務器 ECS 提供的低時延、持久性、高可靠的塊級隨機存儲。塊存儲支持在可用區內自動復制您的數據,防止意外硬件故障導致的數據不可用,保護您的業務免于硬件故障的威脅。技術產品27產品優勢:數據持久性:云盤基于多副本機制,提供 9 個 9 的數據持久性。極致性能:ESSD 云盤最高可提供 100 萬隨機 IOPS,4000MB/S 吞吐。彈性擴展:單盤最大支持 32TB,容量和性能均可彈性擴展。安全合規:所有云盤以及快照均支持加密,滿足合規要求。產品功能:豐富的塊存儲產品類型:提供 ESSD AutoPL 云盤、PL1/2/3 云盤、SSD 云盤、高效云盤、NVMe SSD 本地盤、SATA HDD
47、 本地盤等多種磁盤類型,滿足不同業務場景需求。彈性擴容:單盤最大支持 32TB,可根據業務負載自行配置云盤容量以及類型,后續可按需在線擴容以及調整云盤類型,以滿足業務訴求。數據加密:通過阿里云密鑰管理服務(KMS),針對云盤以及快照提供 BYOK 加密能力。加解密操作對于業務性能基本無損。分布式多副本機制:基于分布式多副本技術,為云盤提供穩定、高效的數據隨機訪問能力,規避底層單一硬件故障帶來的數據丟失問題。多元的企業級塊存儲特性:提供云盤加密、彈性擴展、共享掛載、在線變配等傳統企業級SAN 存儲特性,滿足線下業務無縫遷移上云。彈性擴容:單盤最大支持 32TB,可根據業務負載自行配置云盤容量以及
48、類型,后續可按需在線擴容以及調整云盤類型,以滿足業務訴求。數據加密:通過阿里云密鑰管理服務(KMS),針對云盤以及快照提供 BYOK 加密能力。加解密操作對于業務性能基本無損。分布式多副本機制:基于分布式多副本技術,為云盤提供穩定、高效的數據隨機訪問能力,規避底層單一硬件故障帶來的數據丟失問題。極致的云盤性能:ESSD 云盤是阿里云目前性能強勁的企業級云盤規格,基于新一代分布式存儲架構,提供單盤高達 100 萬的隨機讀寫和低至百微秒的單路時延能力。百微秒時延:采用全新架構的 ESSD 系列云盤最低能夠提供百微秒寫時延,可滿足高性能數據庫負載。技術產品28單盤最高提供 100 萬 IOPS:ES
49、SD PL3 規格最高提供 100 萬 IOPS 以及 4000MB/S吞吐能力,能滿足核心交易系統、自建數據庫等重 IO 密集型場景。ESSD 性能變配,秒級生效:ESSD PL1/2/3 規格云盤修改性能等級秒級生效,業務無需等待。簡單高效的數據備份能力:通過自動快照策略或者手工方式針對 ECS 實例、云盤創建快照,以應對數據丟失或錯誤風險。同時利用快照能力可實現批量快速創盤。批量創建云盤:基于新一代快照服務架構,可實現短期內批量創建 ECS 實例或者數據盤,實現業務快照部署??煺諛O速可用:啟用了“快照極速可用”能力的快照能夠在數秒內完成快照創建或者回滾操作??蓪I務等待時間縮短至秒級別。
50、快照跨地域復制:通過手工或者自動快照策略,將快照復制到指定區域,可實現云上異地容災或者新業務快速開服。3.文件存儲1)NAS產品介紹:阿里云文件存儲 NAS(Apsara File Storage NAS)是一個可大規模共享訪問,彈性擴展的高性能云原生分布式文件系統。支持智能冷熱數據分層,有效降低數據存儲成本。廣泛應用于企業級應用數據共享、容器、AI 機器學習、Web 服務和內容管理、應用程序開發和測試、媒體和娛樂工作流、數據庫備份等場景。產品優勢:企業級穩定性:基于分布式架構,提供 11 個 9 數據持久性和 99.95%的服務可用性。云原生:存儲容量隨業務的寫入或刪除動態伸縮,0 成本創建
51、文件系統,無需提前預購容量。簡單易用,快速部署:全托管式服務,控制臺界面快速創建和配置文件系統。技術產品29數據分層:通過生命周期實現 NAS 存儲的冷數據自動遷移至低頻介質,大幅降低數據存儲成本。產品功能:云原生共享文件存儲:通過 NFS/SMB 協議為彈性計算 ECS 和容器 ACK 實例提供跨 AZ、區域和 VPC 的分層目錄結構文件訪問,支持數千個共享訪問鏈接。多協議支持:提供標準的 NFS v3/v4.0 和 SMB 訪問協議,支持主流的 Linux 和Windows 操作系統直接掛載。完全托管&動態彈性:提供簡單的界面,可以快速創建和配置文件系統,為您管理文件存儲軟硬件基礎設施,根
52、據應用所需,動態提供存儲容量和性能。面向應用的數據共享:與容器 ACK 服務深度整合,為容器環境提供數據共享和數據持久化存儲,并通過高性能文件鎖保證數據的強一致性。多種存儲類型:擁有通用型和極速型兩種針對特定場景的 NAS 存儲產品,以及超高性能的CPFS。通用型 NAS 支持數據冷熱分層,提供更具性價比的存儲方式。面向不同場景的通用型、極速型和 CPFS:通用型 NAS 滿足數據共享、高吞吐的常規需求。極速型 NAS 的低延遲和快照技術,為 Devops、金融業務提供專屬優化。CPFS 可以滿足 AI、HPC 最嚴苛的 I/O 要求。從熱到冷多種規格:通用型 NAS 提供性能型、容量型兩種規
53、格,結合低頻介質滿足不同場景下對存儲的性能和成本需求。數據生命周期:支持配置基于訪問時間的自動轉儲規則,將數據轉儲至低頻介質,大幅降低存儲成本。低頻介質上的數據可以在文件系統中隨時訪問。企業級數據管理:提供配額管理、ADACL 權限控制、容量和性能監控等企業用戶需要的高級數據管理功能。配額管理:支持對某個目錄設置某個用戶或用戶組的空間和文件數配額,保障多部門多應用間資源合理使用。容量和性能監控:對接云監控,支持 NAS 基礎服務指標、性能指標和計量指標的監控。及時了解服務運行情況。技術產品30ADACL 權限控制:支持接入 AD 域控,對域用戶進行文件或目錄的 ACL 訪問權限控制。保障企業內
54、多部門間的數據安全訪問。企業級數據保護:提供權限組 IP 隔離、數據加密、數據備份等企業用戶需要的高級功能。權限組:支持基于計算實例的 IP 地址或網段配置文件系統讀寫權限規則,實現不同業務或部門間的數據隔離。數據加密:提供服務端加密、傳輸加密,構建全鏈路數據加密能力,保障端到端數據安全。數據保護:支持回收站,有效防止數據誤刪。與云備份 HBR 服務深度整合,支持靈活的備份策略,周期性自動備份和增量備份。2)CPFS(Cloud Paralleled File System)產品介紹:文件存儲 CPFS(Cloud Parallel File Storage)是阿里云完全托管、可擴展的并行文件
55、存儲系統,支持 POSIXMPI-IO 和 NFS 協議,針對 GPU 和 CPU 計算場景進行了深度優化,提供對數據亞毫秒級的訪問和百萬級 IOPS 的數據讀寫請求,可以用于 AI 深度訓練、自動駕駛、基因計算、EDA 仿真、石油勘探、氣象分析以及影視渲染等業務場景。產品優勢:與 OSS 數據湖融合:支持高速導入 OSS 數據與元數據,為 OSS 提供高速文件訪問能力。高吞吐和超高 IOPS:采用分布式并行架構,基于全閃介質提供數十 GB 吞吐和百萬級 IOPS。簡單易用:30 分鐘創建高性能文件系統,支持 POSIX、NFS 協議互訪。彈性可擴展:支持在線擴容,可快速實現線性增長,滿足更多
56、容量與性能訴求。技術產品31產品功能:高性能計算文件存儲:支持標準的 POSIX、MPI-IO、NFS 協議,高性能計算程序無需進行任何接口適配和性能優化即可高效率執行。兼容 POSIX/MPI/NFS:兼容標準 POSIX/MPI-IO/NFS 協議,高性能應用程序無需進行任何更改,即可直接通過 ECS 或容器 CSI 接口連接 CPFS 讀寫數據。高吞吐,低延時:新一代并行架構,用戶 I/O 在客戶端和存儲節點間完全并行訪問,通過集群聚合,吞吐可以線性增加。同時基于全閃 SSD 介質,提供亞毫秒級時延。并發訪問優化:元數據和數據均采用分布式的并行架構,無懼小文件,支持百萬級IOPS,幾千臺
57、服務器同時并發訪問,適合 GPU 多機多卡訓練。與阿里云計算生態密切整合:與 E-HPC、容器 ACK、無影等計算平臺整合,支持方便的掛載 CPFS 文件系統。用戶可以在云上分鐘級構建高性能計算和分析平臺。與 E-HPC 深度整合:通過 E-HPC 控制臺可以快速創建 CPFS 文件系統并搭建完整的高性能計算平臺。支持容器 ACK CSI 接口:CPFS 支持阿里云 ACK 容器服務。通過 CSI 接口,容器服務可以方便的利用 CPFS 的高速 I/O 能力。同時實現計算力大規模彈性伸縮。支持無影云桌面:CPFS 通過 NFS 協議服務支持無影桌面直接掛載。實現開發調試終端與高性能運算集群的數
58、據共享?;旌显聘咝阅苡嬎阄募鎯Γ褐С謽藴实?POSIX 和 MPI-IO 協議,高性能計算程序無需進行任何接口適配和性能優化即可高效率執行。兼容 POSIX/MPIIO:兼容標準 POSIX/MPI-IO 協議,基于 Linux POSIX 和 MPI-IO編程的高性能應用程序,無需進行任何更改,即可直接運行。高吞吐,低延時:依靠并行架構,用戶 I/O 在客戶端和存儲節點間完全并行訪問,通過集群聚合,吞吐可以線性增加。豐富企業級特性:擁有 ACL/Quota/快照等企業級數據管理能力。技術產品323)HDFS(Apsara File Storage for HDFS)產品介紹:阿里云文件存儲
59、 HDFS 版(Apsara File Storage for HDFS)提供標準的 HDFS 訪問協議,用戶無需對現有大數據分析應用做任何修改,即可使用具備無限容量及性能擴展、單一命名空間、高可靠和高可用等特性的分布式文件系統。產品優勢:易使用:允許像在 Hadoop 分布式文件系統(HDFS)中一樣管理和訪問數據。高性能:高吞吐、高 IOPS,全面滿足大數據分析的性能需求。高可靠:基于多副本技術,可靠性不低于 99.999999999%。低成本:彈性伸縮,降低數據分析業務整體 TCO。產品功能:高性能、高可靠、高可用:基于阿里云新一代分布式存儲和高速網絡。高性能:基于阿里云新一代分布式存儲
60、和高速網絡,提供大數據分析所需的高吞吐能力。高可靠:基于分布式多副本技術,99.999999999%的數據可靠性設計,提供遠高于傳統 HDFS 存儲的可靠性。高可用:基于全分布式設計,所有節點無單點問題,提供高于 99.9%的可用性。海量、彈性的存儲空間:存儲空間按需使用。海量存儲空間:單個文件系統存儲空間無上限。彈性擴展的多層命名空間:單個文件系統的元數據能力隨存儲空間線性擴展。簡單、易用的使用方式:兼容 HDFS 接口,您的 Hadoop 應用無需修改即可上云。簡單、易用:提供標準 HDFS 接口,無論 Hadoop 還是機器學習應用,無需任何修改,即可使用文件存儲 HDFS。技術產品33
61、原子目錄操作:提供高性能元數據操作能力,移動、重命名、刪除即刻完成,提升大數據分析效能,降低整體 TCO。強大、穩定的安全機制:RAM 用戶認證、VPC、安全組的訪問控制,保障數據安全。網絡隔離:支持通過 VPC 鏈路層數據傳輸和訪問隔離。RAM 用戶認證:支持主子賬號授權,滿足大型企業復雜授權模型。4.日志服務產品介紹:日志服務(SLS)是云原生觀測分析平臺,為 Log/Metric/Trace 等數據提供大規模、低成本、實時平臺化服務。一站式提供數據采集、加工、分析、告警可視化與投遞功能,全面提升研發、運維、運營和安全等場景數字化能力。產品優勢:統一接入:Log/Metric/Trace
62、數據統一接入;全面支持云產品日志、開源系統、多云日志、云下日志接入。智能高效:具備秒級分析百億級數據能力;支持完整 AIOps 能力,支持智能異常檢測與根因分析。一站式:支持采集、加工、分析、可視化、告警等一站式日志功能;全面兼容 Flink,Spark 等流批數據分析平臺。彈性低成本:具備 PB/Day 規模彈性伸縮能力;支持按量付費,僅需為實際用量付費,TCO 降低 50%以上。產品功能:數據采集:支持 Log/Metric/Trace 統一采集,支持服務器/應用/移動設備/網頁/IoT 等數據源接入,支持阿里云產品/開源系統/云間/云下日志數據接入。便捷:40+成熟接入方案,多客戶端統一
63、采集,支持內網、公網、全球加速傳輸等技術產品34多種傳輸方式??煽浚喊⒗锝洕w自用基礎設施,歷經多次雙十一,春晚活動考驗。支持斷點續傳,可根據業務流量實現彈性伸縮。開放:多協議(HTTP/Syslog/Prometheus/OpenTelemetry)無縫接入,完整對接開源生態。數據加工:通過靈活語法,在不編寫代碼情況下支持各種復雜數據提取、解析、富化、分發等需求,支持結構化分析。靈活:提供豐富算子、開箱即用的場景化 UDF(Syslog、非標準 json、AccessLogUA/URI/IP 解析等)??蓴U展語法應對各種復雜格式。免運維:全托管云上服務,無須投入額外運維資源。支持自動根據流量
64、彈性伸縮??蓴U展:支持多層嵌套、分流等邏輯,支持復雜的數據分派與編排需求。查詢分析:提供關鍵詞、SQL92.AIOps 函數等多種方式,支持面向文本+結構化數據實時查詢分析,異常巡檢與智能分析。高性能:秒級分析十億級數據,且完整支持 SQL、PromQL 等分析接口,HTTP、Kafka、JDBC、Prometheus 等協議。穩定可靠:企業級設計,多租戶隔離,PB 級容量設計,數萬企業用戶選擇。智能:經過阿里經濟體實踐的 AIOps 能力,支持智能異常巡檢與根因分析。監控與告警:具備豐富的可視化組件,可創建所見即所得的交互式分析大盤。同時支持實時可編排的告警功能,可隨時隨地掌握業務動向。一站
65、式:豐富的可視化組件,可交互式分析報表,靈活告警與多樣的通知能力。靈活:支持靈活監控規則編排,告警策略管理,行動策略管理及多樣化通知渠道。開放:支持 JDBC/HTTP 等多種查詢協議,支持多種可視化標準。日志審計:多賬戶下實時自動化、中心化采集云產品日志并進行審計,支持升級所需合規存儲、查詢及信息匯總報表。自動化:一鍵式配置,支持 30+種數據源自動接入,跨多主賬號自動實時發現新資源并實時采集。合規性:滿足合規、等保、網安法、GDPR 等多種標準,內置近百個安全合規監控技術產品35規則,一鍵式開啟。開放:提供 20+種數據對接手段,與開源、阿里云大數據、第三方 SOC 軟件無縫對接,充分發揮
66、數據價值。投遞與消費:與各種實時計算及服務實時對接,并可以實現自定義消費。支持數據投遞至存儲類服務,支持壓縮、自定義 Partition 以及行列等各種存儲格式。穩定可靠:PB 級容量設計,根據流量變化自動彈性伸縮,提供任務狀態監控及異常告警。免運維:開箱即用免運維,無需編寫代碼,僅需控制臺簡單配置即可完成任務配置。開放:提供 20+種數據對接手段,無縫對接主流(Flink、Spark 等)流計算、數據倉庫平臺與阿里云眾多產品。5.表格存儲產品介紹:表格存儲(Tablestore)面向海量結構化數據提供 Serverless 表存儲服務,同時針對物聯網場景深度優化提供一站式的 IoTstore
67、 解決方案。適用于海量賬單、IM 消息、物聯網、車聯網、風控、推薦等場景中的結構化數據存儲,提供海量數據低成本存儲、毫秒級的在線數據查詢和檢索以及靈活的數據分析能力。產品優勢:Serverless:彈性支持單表 PB 級存儲,自動擴展服務能力,享受免運維、即開即用的使用體驗。支持多級存儲介質,配合冷熱自動分層最大化優化存儲成本。場景化數據模型:針對場景化優化提供多種數據模型,包括寬行模型、時序模型和消息模型。簡化數據模型定義,讓開發更便捷,讓能力更貼合。多元化索引:可便捷的對數據進行實時索引,針對不同查詢場景提供多元化索引。支持二級索引、全文索引和多維數值索引,加速查詢與分析。易集成生態豐富:
68、全面接入開源與云原生大數據生態體系。與 Maxcompute、Spark、Flink 等計算引擎集成,與 Kafka、數據集成等鏈路組件無縫打通。技術產品36產品功能:Serverless:提供 Serverless 服務體驗,零運維,低成本。分布式架構體系,自動負載均衡:單表 10PB 級數據量、萬億條記錄數以及千萬級別的 TPS 能力。自動負載均衡及熱點遷移,無需人工介入。存儲計算分離,多種存儲介質:存儲計算分離架構,計算層與存儲層均可獨立擴展,更靈活更低成本。支持多級存儲介質,配合冷熱自動分層最大化優化存儲成本。支持靈活計費模型:支持純按量模式,享受 0 元門檻產品使用。同時支持預留模式
69、,規劃預留資源、成本可控。靈活選擇滿足不同場景需求。企業級服務,穩定安全:多維度、多層次的安全防護與訪問控制,保障數據安全。企業級安全保障體系:提供表級別和 API 級別的權限管理機制,支持 STS 臨時授權和自定義權限認證及主子賬號功能。同時提供網絡訪問控制能力與數據加密能力。數據高可靠:數據多副本,保證強一致性,按照 11 個 9 的數據可靠性的標準設計。同時支持通過 HBR 來做數據備份與恢復。服務高可用:分布式存儲架構,單點故障快速檢測快速恢復,按照 99.99%可用性設計。場景化數據模型:能夠滿足不同場景不同類型數據存儲。寬行數據模型:無需結構定義,屬性列能夠靈活動態擴展。適用于非強
70、事務、海量在線數據存儲與查詢。時序數據模型:針對時間序列數據的特點進行設計,提供更高壓縮比,支持數據查詢與分析。適用于物聯網設備監控、設備采集數據、機器監控數據等場景。消息數據模型:針對消息數據場景所設計,能夠滿足消息數據場景對消息保序、海量消息存儲、實時同步的特殊需求??梢酝瑫r應用在 IM、Feed 流等消息場景中。多語言 SDK 與 SQL 靈活訪問:支持 SQL、ResultAPI、SDK、客戶端等不同訪問方式。SQL:支持 SQL 查詢。能夠映射關聯不同數據模型的表,能夠自動關聯索引進行查詢與分析優化。多語言 SDK:Restful API 接口,多語言 SDK 支持,滿足不同語言開發
71、者的使用需技術產品37求。開發工具:支持客戶端與命令行工具,支持 Windows、Linux 和 Mac 平臺。能夠便捷的完成所需的運維管理需求。數據檢索與分析:提供多元化索引,滿足不同場景數據查詢與分析需求。多元索引:提供二級索引、全文索引、多維數值索引等多種數據索引。提供不用場景的查詢與分析加速。查詢加速:支持任意字段的組合查詢、全文檢索、地理空間查詢、模糊查詢等能力。加速數據查詢。分析加速:內置統計聚合能力,支持高并發掃描與存儲側算子下推,加速數據分析。開放的計算生態對接:全面接入開源與云原生大數據生態體系以及數據鏈路中間件。計算引擎對接:支持 Maxcompute、Spark、Flin
72、k 等計算引擎直接訪問。數據實時訂閱:能夠實時捕獲表內數據的變化,提供全增量一體數據實時訂閱能力??梢宰远x數據實時處理或對接流計算引擎。上下游數據集成:與 Kafka、數據集成等鏈路組件無縫打通,便于多組件數據架構搭建。同時支持數據實時投遞至 OSS,搭建數據湖架構。6.云定義存儲 CDS產品介紹:云定義存儲(Cloud Defined Storage,CDS)通過盤古全新的 QoS 框架將對象存儲 OSS、塊存儲 EBS、日志服務 SLS 和災備服務 HBR 多個存儲產品融合部署在同一套物理服務器上,與公共云上規?;拇鎯Ψ兆龅搅舜a版本基本一致,彌合了以往混合云版本和公共云版本差距較大
73、的問題。云定義存儲是一個全新的軟件定義存儲,既能夠在定制的存儲服務器上軟硬一體優化輸出,也支持 x86 服務器到各平臺的軟件輸出模式。其中最核心的關鍵詞是“云定義”,具有云原生(Cloud Native)、云規模(Cloud Scale)、云服務(Cloud Service)、云連通(to Cloud)、云部署(on Cloud)以及混合多云(Hybrid Multi Cloud)等優勢。技術產品38塊存儲技術能力:云定義存儲提供了數據塊級別的隨機存儲 CDS-EBS,具有低時延、強持久性、高可靠等特點,采用 CDS-EBS 依托于盤古提供的異步寫、后臺讀等能力,可提供穩定的時延和故障恢復能力
74、。CDS-EBS 在云盤調度和 QoS 等方面經過充分優化,可保持服務器之間和云盤之間流量公平分配,保證用戶穩定的體驗。CDS-EBS 會經過嚴格的故障切換測試和破壞性測試,可在進程掛掉、機器宕機、物理盤損壞、單機網絡故障等場景做到業務流量平穩,同時管控節點宕機可做到持續服務,熱升級可做到用戶無感知。CDS-EBS 提供全鏈路 CRC 校驗能力,可有效校驗出 I/O 傳輸過程中的網絡、CPU、內存錯誤,不會將錯誤數據返回給用戶。同時針對內部一些邏輯如糾刪碼、壓縮、TRIM 進行額外的算法維度的校驗,確保糾刪碼、壓縮和 TRIM 算法不會導致數據錯誤。CDS-EBS 會針對冷數據進行后臺掃描,除
75、了物理介質上存儲的數據 CRC 校驗外,還包括數據讀上來之后進行文件格式解析、解壓后的校驗,以及副本間數據一致性的校驗,經過優化,絕大部分場景可保證 60 天內完成一輪整集群粒度的數據掃描。CDS-EBS 集群規模相比公共云要小很多,最小支持 6 臺服務器集群,目的是降低起建規模,節省用戶成本。CDS-EBS 會在單臺服務器上混合部署不同服務,如元數據服務節點、數據存儲節點等,各服務之間設置了嚴格的 CPU 和內存的隔離,經過了嚴格測試可保證有限資源下業務平穩運行。CDS-EBS 同時針對各服務間做了軟件架構上的 QoS 隔離以及優先級控制,保證各服務在使用飛天盤古文件系統時不會相互干擾。在
76、CDS-EBS 與 CDS-OSS 混部場景,同樣支持不同業務間的資源隔離,確保不同業務的吞吐、空間和性能規格。CDS-EBS 從性能、產能、穩定性、運維、監控告警等方面重新定義了小型化的基線,以更好地適配云定義存儲場景。技術產品39對象存儲技術能力:對象存儲架構從上到下主要分為三層:對象語義服務層 Service Layer(Service Layer)、索引服務層(KVLayer)和存儲持久層,具有如下特點:領先的松耦合分布式架構:對象存儲各個層次的功能松耦合而且是全分布式系統,全分布式服務使得架構沒有單點故障,解耦架構使得各個層次可以單獨靈活擴展,以便支持海量文件存儲。高可靠性和高性能:
77、對象存儲在接入點時根據負載均衡沒有熱點負載,而且無狀態支持快速故障切換,索引層根據字典序打散服務,根據熱點自適應均衡,數據在持久層按塊的粒度全打散副本/糾刪碼備份,故障后數據并發重建,快速恢復數據冗余,保證數據可靠性。各層解耦使得性能可以提高線性擴展能力,而且充分利用固態硬盤的能力實現分層存儲加速,應對海量文件也能做到高可靠和高性能。日志服務技術能力:為了更好地解決存儲系統與業務系統的運維問題,云定義存儲引入了基于阿里云日志服務SLS 構建的可觀測能力,即 CDS-SLS。CDS-SLS 致力于超大規模的 PB 級日志數據的計算存儲,并針對偏計算和偏審計等場景推出專門的機型,更加靈活滿足線下用
78、戶的需求,將計算和存儲資源利用得更加充分。CDS-SLS 秉承提供機制而不是策略(Separation of Mechanism and Policy)和“單一職責(Do One Thing and Do It Well)”的經典 UNIX 思想,各模塊中有大量的后臺參數可以調節,默認值能夠滿足大部分業務場景的需求。CDS-SLS 的數據采集 Agent(Logtail)經過多年百萬機器大規模驗證,在性能、穩定性上都有很好的保證,相比開源軟件,可以大幅降低對機器資源的占用,最高可降低 90%。同時針對云原生場景 Logtail 和 Telegraf 深度集成,針對常用中間件 Nginx、MyS
79、QL、MongoDB、Kafka 的監控數據采集到 SLS 進行查詢分析。針對線下數據中心場景,通過Syslog 和 SNMP 方便地將硬件網絡設備的日志接入分析告警,有效提高運維效率和可視技術產品40化大盤信息。7、云災備1)混合云備份(Hybrid Backup Recovery)產品介紹:混合云備份 HBR(Hybrid Backup Recovery)作為阿里云統一災備平臺,是一種簡單易用、敏捷高效、安全可靠的公共云數據管理服務,可以為阿里云 ECS 整機、ECS 數據庫、文件系統、NAS、OSS、Tablestore 以及自建機房內的文件、數據庫、虛擬機、大規模 NAS 等提供備份、
80、容災保護以及策略化歸檔管理。產品優勢:經濟:對比自建災備系統,節約 80%以上 TCO。高效:數據重刪壓縮比高達 30:1,節約網絡、存儲資源。安全可靠:AES-256/KMS 加密備份數據,定期數據校驗檢查。免運維:主動監控狀態,出錯自動告警。產品功能:數據源豐富:支持阿里云上應用數據和本地數據中心等多種數據源備份。阿里云上應用數據:支持 ECS(文件,MySQL,Oracle,SQL Server,SAP HANA),NAS,OSS,Tablestore 等阿里云上數據源備份。本地數據中心:支持文件,NAS,VMware,主流數據庫等本地數據源備份。其他公共云:可以為其他云服務商上的文件提
81、供備份服務。經濟高效:備份上云,靈活擴展,省存儲,省網絡。領先的重刪能力:備份數據重刪比可達 30:1,節約備份存儲的消耗。技術產品41網絡流量?。罕镜匚募谰迷隽總浞?,源端重刪,全量備份也無懼流量限制。免費的高級功能:本地虛擬機云上恢復功能無需額外付費。簡單易用:云原。生服務,學習曲線幾乎為 0。本地純軟部署:簡易客戶端安裝,備份策略一鍵配置。云上一鍵啟用:無需手動安裝客戶端即可備份 ECS,NAS,OSS,Tablestore,集中控制臺統一操作。運維全自動:備份策略自動執行,出錯短信、電話、郵件多渠道告警,免運維。備份容災歸檔遷移一體化:本地 NAS 系統備份、歸檔上云;本地 VMwar
82、e 備份、容災、遷移上云;ECS 備份、容災一體化。本地 NAS 系統備份、歸檔上云:本地 NAS 系統海量文件智能分析,多維度展現數據特點,熱數據備份,冷數據策略化歸檔,預測數據管理效果。全局檢索,秒級發現歸檔文件。本地 VMware 備份、容災、遷移上云:本地 VMware 虛擬機無代理增量遷移,適合核心生產系統批量上云;支持 LAN 模式與 LAN-Free 模式的 VMware 無代理備份上云,可 on-demand 恢復至 ECS,實現本地系統云容災。ECS 備份及 ECS 整機跨地域/可用區容災:ECS 文件、數據庫備份;ECS 整機跨地域/可用區高性能容災,支持動態增盤、擴盤,實
83、現備份及容災雙重保護2)混合云容災(Hybrid Disaster Recovery)產品介紹:混合云容災 HDR(Hybrid Disaster Recovery)是為企業級應用提供低至秒級 RPO 和分鐘級 RTO 的容災服務。覆蓋本地應用容災上云,阿里云上應用跨可用區或跨地域容災場景,可以有效保障數據安全和業務連續性。無需自建災備中心,云下部署簡單、云上資源全自動管理、控制臺集中管控。技術產品42產品優勢:高性能:秒級 RPO,數據實時復制,分鐘級 RTO,云上快速整機拉起??沈炞C:一鍵演練,10 分鐘完成驗證,多恢復點,可驗證歷史版本。低成本:免機房建設,云上只需極少數計算資源。易運維
84、:無需部署云主機,全鏈路監控,故障自動報警。產品功能:高性能 CDR:滿足高 RPO、RTO 要求的持續數據復制。IO 級實時復制:每個 IO 操作秒級上云,數據丟失量小??焖僬麢C恢復:幾分鐘內云上整機拉起,業務快速恢復。一致性能:任意恢復點演練以及容災切換,都保持分鐘級 RTO。集約化配置:容災資源消耗遠小于生產站點。極低計算資源:無需對等配置計算資源,平時僅消耗云盤和極少量計算 CPU 內存。容災網絡無消耗:云上 VPC,vSwitch,流量完全免費。無需自建災備中心:無需自建災備中心,免去機房運維、硬件采購等成本。一鍵式操作:容災操作一鍵完成。一鍵演練,一鍵切換:最短 2 分鐘內整機拉起
85、,滿足快速演練,快速容災切換需求。多恢復點:直觀選擇歷史恢復點,一鍵拉起 RTO 恒定。全自動管理:云下部署簡單、云上資源全自動管理、控制臺集中管控。8、閃電立方產品介紹:閃電立方(Datatransport)能夠為用戶提供安全、高效、便捷的數據傳輸服務。支持將對象存儲、文件存儲從不同設備、不同云服務商遷移和同步到阿里云。它提供在線遷移和離技術產品43線遷移(閃電立方)兩種遷移方式,致力于解決大規模數據傳輸效率、安全問題等難題。微型閃電立方作為閃電立方的小型化設備,具有超強的抗震、寬溫能力,可運行在自動駕駛、媒體、醫院、工廠、影院等多個邊緣數據遷移場景,讓數據遷移更簡單,更高效。產品優勢:易用
86、靈活:遷移過程實時監控,在線顯示遷移進度;遷移結果提供報告,完成情況一目了然;支持可視化配置頁面,僅需 3 步設置部署任務。安全可靠:傳輸時,采用 HTTPS 數據加密通道;支持 MD5 或 CRC 自動識別源端校驗規范,進行讀寫雙向校驗。傳輸性能高:支持多任務、高并發;支持個性化流控,可指定時間段內的最大流量,避免遷移數據與在線業務訪問爭搶網絡帶寬。擴展靈活,低成本:單臺設備可支持 40TB100TB480TB 的遷移數據能力,可多套同時使用,提升遷移效率;相比傳統 Internet 或者專線接入的方式;成本大幅下降,遷移速度大幅提升。部署方便:為數據遷移而生的專業設備,標準機架和電源,可多
87、套同時部署提升遷移效率;支持多種的數據源類型:本地文件系統、NAS、HDFS、FastDFS 等。安全可靠:采用 CRC 技術對讀寫雙向校驗保障數據一致性;提供端到端的加密機制運輸并上傳數據;數據遷移完畢后,通過阿里云官方數據擦除機制,確保數據不會被第三方獲取。產品功能:支持熱遷移,降低系統遷移過程中的應用停機時間??蓪崿F不停服熱遷移,存量數據遷移完成后,配合使用增量數據遷移功能,定時掃描增量將數據遷移到阿里云目標數據源中,可以將系統遷移過程中的應用停機時間降低到秒級別。技術產品44完善的遷移監控可視化平臺,無運維成本。遷移過程監控:支持遷移進度查詢,遷移流量數據監控。遷移任務報告:支持遷移完
88、成率統計,打印失敗文件列表清單。靈活的遷移管控:支持隨時啟停遷移任務,動態修改遷移限流,重試失敗任務。支持圖形化管理。提供圖形化的配置界面,用于用戶登錄設備,進行網絡、數據遷移任務和遷移參數的配置。從本地機房到阿里云:第 1 步:選擇閃電立方機型,并下單;第 2 步:設備郵寄到用戶機房,上傳數據;第 3 步:設備郵寄回阿里云指定機房,傳輸數據上云。9、智能媒體管理產品介紹:智能媒體管理 IMM(Intelligent Media Management)是一款場景化封裝數據智能分析管理工具。為云上的文檔、圖片數據,提供一站式數據處理、分析、檢索等管控體驗。根據圖片分析、數據存儲等不同應用場景,封
89、裝整合完整的處理能力,讓數據快速流轉。產品優勢:存儲數據無縫貼合:與對象存儲 OSS 等存儲產品直接關聯綁定,自動處理云上數據。無需運維:提供 Serverless 化服務,無需關心業務運維。豐富數據處理:具備業界強大識別、處理能力,為應用提供數據處理、分析、檢索等支持。一站式解決方案:面向場景構建快捷的元數據管理,快速實現應用。技術產品45產品功能:文檔格式轉換、預覽:支持共 48 種文件類型不同辦公文檔的格式轉換與預覽,幫助用戶搭建文檔內容中心。圖片內容識別:支持 25 個主標簽,上千個子標簽,圖片場景快速添加標簽,幫助圖片內容管理。人物識別、聚類:支持照片的人物識別與聚類,能夠為照片添加
90、人物維度屬性,幫助快速查找人物。OSS 云存儲整合:支持通過 OSS 文件的 URL 直接進行數據處理分析,用戶無需額外開發即能讓 OSS 文件支持文檔預覽。10、網盤與相冊服務產品介紹:網盤與相冊服務(Drive&Photo Service)包含企業版和開發者版本,是為客戶提供的面向企業、團隊與個人的數據管理開放平臺,提供一站式數據存儲、分析和 AI 的能力。方便客戶快速高效的構建可支撐海量用戶的網盤與相冊服務,同時針對團隊及個人用戶,支持免開發開箱即用。網盤與相冊服務企業版產品優勢:集中管理,高效協同:開箱即用,實時同步最新文件,用戶在電腦、手機都可以獲取最新文件。360權限管理:靈活的權
91、限管理,支持團隊、企業、集團公司各分支組織配置不同權限。多重安全防護:依托于阿里云高安全防護水位,符合國家信息安全等級保護制度要求??啥ㄖ苹憾ㄖ破髽I名稱、logo,打造企業專屬風格。網盤與相冊服務企業版產品功能:技術產品46多種文件管理功能:統一存放和管理企業重要的文件資料,提供各類文件增刪改查功能,符合用戶在本地電腦管理文件的使用習慣,實現本地與云上無差別管理。統一存儲:提供文件上傳下載、新建文件及文件夾、移動、復制、刪除、排序、收藏、備注等一系列的文件管理能力。在線預覽:提供文檔、圖片、音頻、視頻等十幾種文件格式的預覽。文件檢索:支持按照文件名稱、文件類型、文件內容等搜索,也支持各種排序
92、方式方便查找文件?;厥照荆禾峁┠J保留 90 天的文件回收站功能,90 天內可以恢復文件,90 天后文件自動清除。豐富的文件傳輸能力:實現公網、內網等各種文件內容快速同步,給用戶根據當前網絡狀態管理傳輸狀態的功能,且能在不同群體之間快速共享和分享文件,無需下載和傳輸。文件秒傳:多人上傳相同的文件時,只需其中一人成功上傳,其他人也可自動快速完成上傳,無需等待上傳過程。斷點續傳:可以支持因網絡狀態、電腦狀態導致的文件傳輸到一半失敗后,重新上傳請求時無需重新等待前半段已傳輸成功的文件。共享與分享:支持同組織內文件共享、外部用戶公網文件分享等功能。傳輸狀態管理:提供批量上傳、文件夾上傳、傳輸暫停、取消
93、等傳輸狀態管理功能。完善的安全及權限管理能力:基于阿里云底層存儲提供企業級安全防護,配備靈活、多維度的權限邏輯,同時也支持用戶回溯歷史操作,同步達標 99.9%的可用性 SLA 和99.999999999999%(12 個 9)的持久性。日志審計:記錄用戶的操作路徑,支持線上查詢和導出日志。加密防護:基于阿里云底層存儲提供企業級多層次安全防護,支持加密傳輸、加密存儲、多種鑒權模式。用戶角色管理:新增用戶自定義角色權限組,根據企業內崗位角色分工不同,定義多重維度的權限疊加,具備新增、刪除、查看及成員管理功能。團隊管理:區別于角色的團隊維度權限組,根據團隊組織結構定義權限,具備新增、刪除、查看、團
94、隊空間分配限制及團隊成員管理功能。應用實踐47應用實踐一、本地數據上云方案1.數據業務遷移上云方案1)需求背景企業為了優化內部資產結構,從原來的重資產模式向輕資產模式轉化,以此來節省總體成本?,F有的方式是逐步的淘汰一些到期硬件設備,而采用公共云基礎設施(云服務器、云存儲)來取代,這其中會有大量的業務遷移轉換工作需要完成,包括數據遷移和應用遷移兩種。數據遷移:是指非結構數據(通常指文件)和結構化數據(通常指數據庫數據)遷移;業務遷移:是指應用程序和系統的遷移。2)解決方案針對數據及業務的遷移上云,阿里云主要提供離線遷移和在線遷移兩種形式。遷移的過程中還要考慮數據存量和增量的問題。進行數據存量遷移
95、時,需結合存量數據存儲的位置、源端和目標端之間的網絡情況、遷移的速度要求等多方面因素,具體解決方案包括:應用實踐48存量數據的遷移,一般還會涉及到存量數據的增量數據遷移,即在數據的遷移過程中源端產生的新數據。這部分新增數據的遷移可使用以下方案:對象存儲鏡像回源方式,這種方式適合于互聯網音視頻數據遷移。Ossimport,這是對象存儲在線遷移服務自帶的增量遷移工具,可以指定增量遷移時間間隔等參數。2.數據歸檔上云方案1)需求背景IDC 數據顯示,到 2025 年,全球數據圈將增至 175ZB,其中,企業存儲的數據量將超過全球總數據量的 80%。隨著數量的急劇增長,企業陷入非結構化數據溢出的危險境
96、地。問題不在于企業購置容量來存儲全部數據,而是如何以低成本高效率的方式妥善管理數據以創造商業價值,尤其是長期數據保留。合規和監管要求并非企業長期保留數據的唯一動力:在英國,互聯網服務商必須保留通訊記錄一年以上;在美國,美國聯邦有關研究記錄的準則規定,研究數據在研究工作結束后應至少保留三年,健康保險可移植性和責任法案要求患者數據至少保留 6 年。應用實踐492)解決方案在數據歸檔場景中,可選擇閃電立方上云做異地備份,如果文件想要自動增量同步上云做歸檔的,則混合云存儲陣列的云文件網關的云復制功能或云緩存功能是較好的選擇。對于包括醫療影像、科研數據、金融數據、視頻素材等海量數據的長期歸檔,對象存儲歸
97、檔/冷歸檔/深度冷歸檔存儲類型也可以實現。此類數據都有一些共同的特性:存儲周期長,幾年、幾十年甚至永久;實時訪問要求不高,讀取數據可以接受一定的等待時間;對數據安全性、可靠性要求高,某些數據需要符合特定的行業規范要求;在整個存儲周期內,需要比傳統存儲解決方案更低的存儲單價;對象存儲全面覆蓋從有熱點存在、頻繁訪問的各類音視頻、圖片數據,到低頻訪問的各類備份數據,再到長期歸檔的數據。配合生命周期機制,按照配置的時間周期,將數據轉儲到更低單價的存儲類型上,優化存儲成本。方案優勢:應用實踐50OSS 支持標準、低頻訪問、歸檔、冷歸檔、深度冷歸檔五種存儲類型,可以通過生命周期規則或者 CopyObjec
98、t 的方式隨時轉換文件(Object)的存儲類型。歸檔存儲類型API 支持用戶直接把需要備份的文件存儲到 OSS 歸檔存儲,存儲后的文件名稱保持不變。使用 OSS 歸檔/冷歸檔/深度冷歸檔存儲類型,可以降低歸檔數據的管理難度和相關管理資源的投入。OSS 支持多次讀取特性,支持以“不可篡改、不可刪除”的方式,滿足數據合規保存或防止惡意刪除等要求,并獲得多項合規認證,滿足行業合規要求。二、云災備解決方案1.需求背景根據 Gartner 發布的存儲戰略路線圖所示,越來越多的數字化領先企業正在用新的混合云備份產品替換現有的備份解決方案。阿里云企業級云災備解決方案,來自阿里巴巴多年的 IT 基礎設施云化
99、災備經驗,采用國內首個磁盤級數據持續復制技術,同時支持混合云和跨云的多平臺融合架構,可以為企業提升災備能力,包括用戶數據中心和公共云的相互容災、業務不停機下企業容災演練、最低負載部署支持彈性容災、一鍵容災快速恢復、完善數據加密體系,保證數據安全。2.解決方案阿里云正在憑借自身優勢,讓云上災備更加行之有效。首先是阿里云高標準的基礎設施,服務器本身具備超強的容災能力。不斷電、不斷網,IDC 歷史運行可用性達 99.999%。主要包括不斷電的 IDC,高可用的骨干網絡,3+N 超多線接入 BGP。其次,在備份和容災軟件上,更是基于自研的飛天盤古存儲引擎,實現數據的安全性和業務的高可用,此外,為數據庫
100、用戶提供完整的災備能力。應用實踐51方案優勢包括:部署簡單:數據保護服務即開即用,可快速建立屬于自己的混合云備份庫,降低部署復雜度和運維成本。云端管控:服務提供資源監控、備份、恢復、元數據搜索、加密、壓縮、策略配置、過濾等各項數據保護功能。永久增量:文件初次備份后,后續備份自動增量,上云效率非常高。重刪加密:備份數據經過重刪、壓縮、加密后存儲,高效利用空間,保障安全性。多副本:同時通過云上云下數據塊比對,混合云備份庫提供多副本保留達到 12 個 9 數據可靠性保障,確保備份數據不出錯。應用實踐52三、云上數據應用解決方案1.影視數據存儲與傳輸加速方案1)需求背景截至 2022 年底,全國有線電
101、視實際用戶數 2.00 億戶;高清和超高清用戶 1.10 億戶;智能終端用戶 3745 萬戶。全國交互式網絡電視(IPTV)用戶超過 3 億戶,互聯網電視(OTT)平均月度活躍用戶數超過 2.7 億戶,短視頻上傳用戶超過 7.5 億戶。全國地級及以上播出機構經批準開辦的高清電視頻道 1082 個,4K 超高清電視頻道 8 個,8K 超高清電視頻道 2個。電視高清化超高清化進程顯著加快。在上述背景下,影視數據存儲與傳輸加速的問題急需解決。2)解決方案影視數據不僅存量基數大、數據增速快,還具備檢索實效性弱、存儲時間長、數據利用率低等問題,同時,隨著高清影視數據的需求以及地域分布的現實性問題的存在,
102、傳輸加速也成為一種剛性需求。應用實踐53阿里云對象存儲 OSS 不僅可以滿足海量非機構化數據的集中存儲,而且 OSSBrowser 工具還可以實現影視數據多用戶、多地域分發、匯集以及傳輸加速。方案優勢:跨地域、多角色、分權限文件上傳、下載?;趯ο蟠鎯捌淇蛻舳藢崿F Serverless 文件分發服務,可替換傳統 FTP 服務。利用對象存儲傳輸加速功能,全地域的網絡調度、協議優化能力,提升數據交付傳輸的效率。2.物聯網大數據存儲解決方案1)需求背景阿里達摩院發布的達摩院 2021 十大科技趨勢認為,疫情中數字經濟所展現出來的韌性,讓企業更加重視工業智能的價值,加之數字技術的進步普及、新基建的投
103、資拉動,這些因素將共同推動工業智能從單點智能快速躍遷到全局智能。IDC 預測,到 2025 年,全球物聯網設備數將達到 416 億臺,產生 79.4ZB 的數據量。在中國,到 2024 年,由人工智能自動化、物聯網和智能設備需求驅動的數據量將超過 30ZB;20%的業務將利用它實現實時結果。數據將要求更好的實時采集、傳輸和計算。以自動駕駛為例,1 毫秒延時就可能造成交通事故,對存儲提出新挑戰。2)解決方案ESSD 可以實現數據的快速傳輸與存儲,滿足 AIoT 場景下對存儲性能、讀寫時延等方面的極致要求。其優異的性能得益于阿里云的多項技術自研,底層架構基于自研大規模分布式存儲系統飛天盤古 2.0
104、,存儲芯片采用自研 AliflashSSD,并且依托自研網絡協議 Luna 和增強型 RDMA 數據傳輸協議,結合自研 HPCC 流控算法,深度優化 TCP,大幅降低計算資源消耗及響應延時,使 ESSD 的數據傳輸效率可提高 50%。應用實踐54方案優勢:ESSD 云盤提供穩定低時延、高吞吐能力,滿足核心業務的性能需求。ESSD 云盤具備 9 個 9 數據高可靠性。實現存儲資源隨業務發展而靈活擴展,支持彈性擴容,運維更簡單。3.在線教育數據存儲解決方案1)需求背景在線教育、線上會議都是基于視頻直播的企業日常運營典型業務場景,往往依賴于眾多的IT 系統聯合構建而成,在客觀因素的影響下,在線教育或
105、可迎來一波上云高峰。依托于云計算的技術設施特性,能夠幫助企業避免業務側重復工作、提高資源利用率、降低開發和運維成本。應用實踐552)解決方案阿里云為在線教育機構量身定制了多個場景解決方案,憑借完整的存儲產品和服務矩陣、基于對象存儲 OSS 構建的全流程生態、基于數據生命周期的自動管理以及可靠穩定的系統架構,為在線教育企業在課件文件數據共享存儲、課程錄制與回看、課程質量智能監控等場景提供完善的解決方案。此外,不論是在線教育還是視頻會議,都需要很高的網絡要求,阿里云 OSS 傳輸加速,通過全地域加速網絡調度、協議優化,可提升跨省、跨洋數據訪問效率,同時支持上傳/下載加速,提升遠距離網絡訪問體驗。方
106、案優勢:冷熱分離:標準/低頻/歸檔/冷歸檔/深度冷歸檔類型,滿足從熱到冷不同數據的存儲需求。生命周期管理:自動實現數據從熱到冷的類型轉換,以及過期刪除。傳輸加速:全地域網絡鏈路調度、協議優化,提升遠距離上傳、下載體驗。應用實踐56跨區域數據復制:通過跨區域復制構建兩個區域間的數據同步,一個區域的數據更新操作會被自動同步到另一個區域。故障切換:當出現區域級重大故障,可以將業務和數據切換到災備區域,保障服務連續性。4.數據湖存儲解決方案1)需求背景數據湖已經不是一個新概念,在提出的初期也有不少人對數據湖和傳統的數倉之間的關系感到困惑。簡單來說,數據湖中一般存儲較多的原始數據,包括結構化數據(如關系
107、型數據庫中的表),半結構化數據(如 CSV、JSON、XML、日志等),非結構化數據(如電子郵件、文檔、PDF等)以及二進制數據(如圖形、音頻、視頻等)。數據湖在寫入時沒有模式限制,存儲到數據湖的數據在寫入過程中,對數據格式沒有限制,可以需要讀取數據時,才開始使用各種工具對數據湖中的數據進行分析,相比數倉成本更低,有更高的靈活性。隨著各種數據處理平臺和新技術的不斷發展,用戶對越來越認識到通過挖掘數據價值去支撐業務發展,用戶希望能夠將數據統一化集中管理,能夠使用統一存儲平臺支撐各類計算平臺。2)解決方案數據湖非常適合存儲大量的結構化、非結構化和半結構化數據。如果場景中正在處理大量基于事件的數據,
108、比如應用日志或點擊流,那么以原始形式存儲這些數據并根據基于場景構建特定的 ETL 并對接數據平臺會讓數據處理與分析更為便捷。阿里云對象存儲 OSS 作為非結構化數據存儲池和數據湖底座,為雙十一期間淘寶、天貓、應用實踐57支付寶等應用提供了如絲般順滑的圖片、視頻體驗。方案優勢:消除數據孤島:用戶的數據可以使用同一個命名空間下統一存儲,同一個份數據,可對接多個數據分析平臺,避免孤島以及數據搬遷。不限制數據類型:支持結構化、半結構化、非結構化數據的存儲。計算生態豐富:支持多種數據導入方式,支持對接開源系統、阿里云多個數據分析平臺,和數據消費框架。數據冷熱分層:多種存儲類型組合,用戶可根據數據冷熱,進
109、行數據分層,優化存儲成本。計算與存儲解耦合:存儲空間彈性伸縮,計算的擴縮容與存儲解耦,讓系統架構更加靈活,成本更節約。應用實踐58訪問控制:提供更豐富的存儲訪問控制策略,讓數據更安全。5.日志采集在微服務架構中的應用1)需求背景容器技術在微服務落地過程中的部署、交付等環節給用戶帶來了越來越多的便捷,同時也會存在容器化應用/非容器化應用混合部署的情況,并且 Kubernetes 作為容器編排領域的領導者,正朝著 PaaS 底座標配方向發展。阿里云日志服務(SLS)結合阿里云容器服務 Kubernetes 版(ACK)等云產品為以阿里云公共云產品為基礎構建微服務架構的用戶提供日志采集、消費和查詢分
110、析的能力。2)解決方案阿里云日志服務結合 Kubernetes 日志特點以及應用場景,提供了全方位的容器/Kubernetes 日志的采集解決方案,同時日志服務產品也提供了強大的日志處理分析能力,如 PB 級日志實時查詢、日志聚類分析、Ingress 日志分析報表、日志分析函數、上下游生態對接等能力,以及在容器/Kubernetes 技術落地應用微服務改造過程中的日志采集運維一站式管理能力。應用實踐59方案優勢:日志服務與阿里云公共云產品深度集成,提供便捷一站式的日志統一采集、存儲、分析和查詢的日志運維能力,并提供豐富的報表、告警能力?;诎⒗镌迫萜鞣?Kubernetes 托管版集群與云
111、NAS 構建互聯網微服務應用,高可用及高彈性架構。容器鏡像服務(ACR)提供自動化部署和更新能力,維護應用的最新狀態。數據通過 RDS存儲,提供讀寫分離容災能力。容器化應用和非容器化應用混合部署,技術架構平滑演進。應用實踐606.高性能計算存儲在渲染行業的應用1)需求背景伴隨著 4K、VR、AI 和仿真技術的高速發展,渲染、游戲等行業越來越依賴高性能計算平臺來替代傳統的 IT 分析系統,為業務進入快車道發展爭取更多的時間窗口,而背靠在計算平臺之后的存儲系統是不可忽視的重要一環。渲染屬于典型的數字內容創作高性能計算應用,渲染的關鍵之處在于實現集群計算,讓海量節點來分攤成百上千萬的渲染小時。隨著文
112、娛產業及工業的發展以及顯示器硬件的高清化升級,用戶和 CG 制作者對于圖形質量如清晰度和畫面細節的要求越來越高,行業對于渲染服務的需求規模和質量要求迅速擴大和提高。2)解決方案在渲染前,需要為大規模數據準備足夠容量的存儲設備;在渲染過程中,還需要高性能來完成大量的數據處理工作,以生成最終輸出。所以,渲染業務對吞吐、IOPS 和元數據 OPS等要求都非常高,使用傳統的存儲解決方案將難以滿足客戶需求。為此可使用基于阿里云CPFS(并行文件系統)設計的計算存儲解決方案。目前 CPFS 支持公共云上即開即用,也支持通過阿里云定制的 CPFS 一體化軟硬件服務用戶的線下數據機房。由于渲染涉及的數據資產需
113、要線下存儲,因此本方案實踐是通過線下實施部署的 CPFS 一體機。整體解決方案架構如下:應用實踐61方案優勢:引入協議轉換服務,解決多終端和多協議混用。通過分布式的協議節點和存儲節點,實現節點存儲容量和性能實現彈性擴容。在計算節點、CPFS 客戶端、協議節點和存儲節點劃分一定容量的內存緩存,加速計算過程的數據讀寫。采用 SSD+HDD 混合部署的模式,解決了冷熱數據存儲成本問題。存儲單節點吞吐量達到 2.6GB/s,并隨節點數增加線性增長,最大可擴展到近千節點。7、可觀測運維解決方案1)需求背景企業上云后,可通過云產品的彈性能力、快速創新力,快速構建企業業務的創新迭代。云產品的使用,在企業業務
114、系統架構中發揮著巨大的作用。隨著云上企業使用云產品類型的不斷增加,云產品可觀測性對于構建全棧的可觀測方案尤為重要。2)解決方案應用實踐62Cloud Lens 基于日志服務存儲分析底座,支持對接各種日志、監控指標、云產品 Trace 數據、Trail、關鍵配置計量數據、關鍵事件、多賬號信息等數據源。您可以創建統一的云產品訪問分析、用量分析、異常監測、性能監控、安全分析、數據保護的場景化洞察大盤,用于了解組織范圍內存儲、安全、網絡、流量和數據庫類云產品的使用情況和活動。各個 Cloud Lens 應用提供數據接入管理模塊和通用功能模塊。其中,接入管理模塊包括接入管理、存儲目標庫管理、自動化采集配
115、置。通過日志服務中的 Cloud Lens 入口或云產品控制臺中的入口,可以使用各個 Cloud Lens 應用。方案優勢:統一云產品運維數據的采集:計量、指標、訪問日志、審計日志等數據的跨賬號、跨區域、自動采集。提供更全面的云產品可觀測能力:用量分析、訪問分析、性能分析、異常檢測、安全分析和數據保護。提供靈活訂閱的數據平臺:支持消費組、API、Grafana 等多種數據訂閱方式。應用實踐63四、AI 模型訓練解決方案1.文件存儲在飛天 AI 加速中的應用1)需求背景高性能并行計算的大規模商業化,使得傳統文件系統正面臨諸多挑戰,如存儲資源急劇增長、成本高、運維管理復雜度大、大規模存儲系統的穩定
116、性以及性能無法隨規模進行線性擴展等。阿里云 CPFS(Cloud Paralleled File System)應運而生,CPFS 是一種并行文件系統。CPFS 的數據存儲在集群中的多個數據節點,多個客戶端可以同時訪問,為大型高性能計算機集群提供高 IOPS、高吞吐、低時延的數據存儲服務。2)解決方案在混合云場景中,可以通過自建 Kubernetes 服務,線下集群+云上彈性擴展阿里云 GPU服務實例+飛天 AI 加速工具加速框架,并采用阿里云 CPFS 存儲運行 AI 訓練+AI 推理作業的操作步驟。飛天 AI 加速工具加速框架分為兩個版本,一個用于加速 AI 訓練,一個用于加速 AI 推理
117、。飛天 AI 加速工具訓練框架是阿里云推出的統一分布式加速框架,支持主流的訓練框架。應用實踐64方案優勢:自主選擇:本方案使用了 GPU 云服務器,客戶可以根據自己的需求選擇相應的 GPU 云服務器實例類型。高效的數據訪問:并行文件系統 CPFS 作為共享存儲,提供高帶寬低延遲的數據訪問服務。AI 加速:飛天 AI 加速工具提升訓練速度,提升推理性能。2.智能媒體管理在人臉語音識別中的應用1)需求背景隨著 AI 技術在語音識別、人臉識別等方面的廣泛應用,AI 技術下的數據管理問題也逐漸凸顯。一般在線課程時長在 30 分鐘左右,大多數教師和學生都面對屏幕進行對話,需要基于視頻流的畫面進行分析。以
118、在線教育行業為例,在 1 對 1、K12 教育的場景中,平臺方希望能夠了解課堂互動、學生專注度等信息,以便更全面地、自動化地提升在線課程質量,給家長提供課程反饋,并及時對可能的客戶流失進行預警。2)解決方案阿里云智能媒體管理 IMM 提供人臉檢測、人臉搜索、表情識別、語音識別等功能,再結合存儲海量音視頻的對象存儲 OSS、統一管理訪問身份及權限的訪問控制 RAM,從而在教學過程中識別學生表情、分析學生狀態,課后給家長提供課程分析報告包括對孩子情緒識別(如情緒雷達圖),專注度評價等,從而進行在線教育教學質量分析等 AI 智能分析。應用實踐65方案優勢:簡:開通即用,方便快捷。強:依托于阿里云產品
119、強大的媒體智能分析能力。靈:在 API 調用方面具有更大的靈活性。3.表格存儲在推薦系統中的應用1)需求背景電商、社交、資訊等互聯網應用的良好運營需要一個完善的推薦系統。推薦系統作為業務精細化運營的主要抓手,顛覆了傳統內容輸出方式,成為當前海量信息時代流轉的核心引擎。而一個高效的推薦系統背后需要海量消息存儲與實時、離線分析等功能的支撐。2)解決方案阿里云表格存儲 Tablestore 是基于共享存儲的高性能、低成本、易擴展、全托管的結構化大數據存儲平臺,支撐互聯網和物聯網數據的高效計算與分析,具有極簡的數據寫入、應用實踐66Serverless 服務、強大的數據檢索、完善的計算生態等特特點,同
120、時與對象存儲的數據湖存儲對接,優化整體成本。方案優勢:大規模:存儲量無上限,提供豐富索引和高吞吐掃描。高并發:表格存儲 Tablestore 單表寫入水平擴展,支持億行每秒級別。實時:數據實時寫入,實時可見。分層存儲:數據實時投遞到對象存儲構建的數據湖,表格存儲 Tablestore 只存儲熱數據。4.文件存儲在 AIGC 賽道中的應用1)需求背景隨著 ChatGPT 現象級出圈,AIGC 關注度爆發性增長。AIGC 即 AI Generated Content,是指利用人工智能技術來生成內容(如文字、圖片、音頻、視頻,甚至 3D 模型和代碼),被認為是繼 UGC、PGC 之后的新型內容生產方
121、式,AI 繪畫、AI 寫作等都屬于 AIGC 的分支。國外頭部企業偏向于通用場景下的 AIGC 能力,國內在 AIGC 應用方向更加場景聚焦。另外應用實踐67創業公司中多以 AI 藝術繪畫為應用方向。2)解決方案阿里云文件存儲 CPFS 支持“數據流動”特性。當文件系統啟用該特性后,“數據流動”功能可以實現將對象存儲 OSS 的 bucket 中的數據合并入 CPFS 進行統一命名空間的元數據管理。用戶可以手動或者通過自動 Lazy-load 能力,將 OSS 中的數據復制到 CPFS 中,實現通過 POSIX 文件接口高速訪問 OSS 中的數據,在保持數據在 OSS 中低成本存儲的同時,獲得
122、高性能文件訪問能力,滿足大數據計算場景的需求。方案優勢:應用實踐68訓練加速:文件存儲 CPFS 并行架構,單集群最高可達 TB/s 級吞吐,為算力長期擴容提供強勁的數據讀寫性能。資源專享:存儲資源獨享,實現租戶級資源物理隔離,與計算集群合力為客戶提供專屬的存算服務,保障數據安全與合規性。存儲降本:通過存儲分層方案,將冷數據存儲至對象存儲 OSS 中,幫助客戶降低數據存儲成本。靈活易用:存儲租用時長靈活,可按月付費,免運維,提供比線下交付更快的交付周期。五、混合云存儲解決方案1.基于混合云存儲陣列的虛擬化平臺搭建1)需求背景隨著云計算技術的普及,越來越多的企業開始選擇了部署云計算方案,公共云的
123、靈活性,易用性和可靠性也被大家廣泛認可。但也有很多企業對傳統存儲陣列的依賴度很高,在短期內完全遷移到云端會有諸多的挑戰,可能會涉及到系統的重新構建或者應用程序的開發,對客戶來說改動量很大,也會面臨不小的風險,同時,還有很多客戶對敏感數據的物理存放地有要求。綜上,越來越多的企業開始采用混合云來實現面向未來的數字化轉型。2)解決方案本方案以混合云存儲陣列 SA2600 為基礎構建混合云環境,實現 VMware 虛擬化平臺的快速部署以及混合云環境下虛擬機的部署、擴容、云備份等功能。應用實踐69方案優勢:混合云架構:將傳統的 VMware 虛擬化平臺架構延伸到公有云,有利于和公有云產品結合,充分利用公
124、有云的規模和彈性優勢。兼容性強:存儲陣列/網關提供 OSS、iSCSI、FCSAN、NAS、FTP 等多種常用存儲協議兼容各類上層業務應用??煺赵苽浞荩簩⒅匾到y的快照備份上云,實現了多數據中心備份,提高了容災能力。2.視頻監控混合云存儲解決方案1)需求背景反恐法等政策要求重點目標場所(地鐵、機場、工業園區、學校等)監控存儲時間擴容,同時增加監控點位,攝像畫質高清。這一系列的要求帶來存儲容量的劇增,從而進一步產生如何降低一次性巨額的軟硬件采購成本、海量數據高可靠、彈性擴容、基于視頻統一匯聚存儲之上的 AI 分析等需求。應用實踐702)解決方案在監控視頻上云的場景中,可使用混合云存儲陣列形成混合
125、云模式,同時也可以采用直接上云的方式,也可以純線下輸出與本地專有云打通形成整體解決方案??蛻粢曨l監控數據可以無縫寫入阿里云混合存儲產品,該產品即可純線下輸出又可以混合云輸出?;旌显茍鼍跋?,可實現云上云下的數據流轉,云上無縫擴容。同時,不管在云上還是云下的存儲數據,都可以無縫與我們 AI 產品如達摩院地雀一體機、數據智能 AI 平臺等無縫對接,進行智能分析。方案優勢:宜擴容:混合云方案,節省本地 IDC 機柜空間,降低用電功耗壓力,數據無縫上云,大幅縮短存儲項目擴容周期;省成本:無需大規模前期投入,按月付費減少資金壓力。融合 AI 的存儲:打破數據孤島,統一匯聚之后,結合達摩院、數據智能的能力,
126、為客戶提供相關 AI 分析的能力,有效提升客戶運營效率。高可靠:云上存儲可保證高達 12 個 9 的可靠性。附錄一:相關英文縮寫釋義71附錄一:相關英文縮寫釋義英文縮寫具體釋義英文縮寫具體釋義AI人工智能OSS阿里云對象存儲AIoT人工智能物聯網NAS文件存儲DevOpsDevelopment和Operations 組合詞ESSD超高性能云盤產品VM虛擬機SLS日志服務Kubernetes一種容器調度平臺log日志RDMA遠程直接數據存取Aliflash雙模 SSD 產品IOPS每秒讀寫次數ECS云服務器SLA服務級別協議ACK容器服務AZ可用區(AvailabilityZone)ECI彈性容
127、器BYOK自帶密鑰BCS批量計算SDS軟件定義存儲EHPC高性能計算QoS服務質量CPFS高性能并行文件系統QpS每秒查詢率VPC專有網絡附錄一:相關英文縮寫釋義72API應用程序接口EBS阿里云分布式塊存儲SDK軟件開發工具包MaxCompute大數據計算服務JSON一種輕量級的數據交換格式EMR阿里云大數據處理系統解決方案NVMe非易失性內存主機控制器接口規范RDS阿里云關系型數據庫MD5信息摘要算法Serverless企業級微服務架構GPU圖形處理器PB存儲容量單位ASIC專用集成電路OLTP聯機事務處理過程FPGA現場可編程門陣列RESTful一種網絡應用程序的設計風格和開發方式POD
128、一個或多個容器的組合SPDK存儲性能開發工具集QEMU一種模擬處理器BGP邊界網關協議IoT物聯網VR虛擬現實技術TCP傳輸控制協議PC個人計算機vSwitch虛擬交換機或虛擬網絡交換機CDP持續數據保護RTORTO(Recovery TimeObjective,復原時間目標)是企業可容許服RPORPO(Recovery PointObjective,復原點目標)是指當服務恢復后,恢附錄一:相關英文縮寫釋義73務中斷的時間長度。復得來的數據所對應時的間點。CRC循環冗余校驗HTTPS以安全為目標的 HTTP通道I/O輸入/輸出Spark一種是專為大規模數據處理而設計的快速通用的計算引擎RAM資
129、源授權Flink一種開源流處理框架SSD固態硬盤HDD機械硬盤附錄二:阿里云存儲大事記74附錄二:阿里云存儲大事記2008 年,為探索阿里巴巴集團大規模數據存儲解決之道,阿里云存儲團隊應運而生。2009 年,阿里云分布式存儲引擎飛天盤古 Pangu 1.0 正式發布,為彈性計算虛擬機、阿里金融、郵箱、搜索提供通用存儲服務。2011 年,阿里云對象存儲 OSS 商業化。2013 年,阿里云分布式存儲系統實現單集群 5000 臺服務器規模的部署,服務阿里巴巴電商業務和螞蟻支付寶業務。2015 年,成功實現了單集群 10000 臺服務器規模的部署,擁有云計算產業中最齊全的存儲產品線,成長與效率躍居榜
130、首。同年還打破了 Sort Benchmark 世界記錄,100TB 排序完成時間僅需 377 秒。2016 年,文件存儲 NAS、日志服務 SLS 上線。CloudSort 項目中,阿里云以 1.44$/TB 的成績獲得 Indy 專用目的排序和 Daytona 通用目的排序兩個子項的世界冠軍。2017 年,再次入選 Gartner 云存儲魔力象限,行業地位逐年提升。2018 年,飛天盤古 Pangu 2.0 上線,單集群超 10 萬臺,為阿里巴巴全面上云提供穩定性支撐。2019 年,ESSD 高性能云盤大規模商業化,領跑微秒存儲時代,正式吹響了進軍企業存儲市場的號角。2020 年,對象存儲
131、 OSS 可用性 SLA 提升 10 倍,達到 99.995%,位列全球第一。2021 年,自主研發的分布式存儲系統“飛天盤古”入選世界互聯網領先科技成果。Gartner 發布的 Solution Scorecard 中,阿里云存儲得分全球第一。2022 年,CCF 國際 AIOps 挑戰賽首次引入日志服務 SLS。附錄二:阿里云存儲大事記75論文From Luna to Solar:The Evolutions of the Compute-to-Storage Networks inAlibaba Cloud被 SIGCOMM 主會收錄。在 Forrester Wave 評估中,存儲能力獲得最高分。2023 年,阿里云 4 篇論文被計算機體系結構頂會 USENIX FAST 收錄,涉及分布式存儲架構、云原生存儲、用戶態存儲引擎等多個領域。其中,Perseus:A Fail-Slow DetectionFramework for Cloud Storage Systems一文斬獲大會最佳論文獎。阿里云智能數據湖入選第六屆數字中國建設峰會“十大硬核科技”。附錄二:阿里云存儲大事記76