華為：5G時代運營商數據和存儲架構白皮書(6頁).pdf

1、? 5G 時代運營商數據和存儲架構白皮書目錄 目錄CATALOGUE 5G 時代運營商的機會和 IT 基礎設施的挑戰 1.1 5G 進入規模部署階段，帶來無限可能 1.2 5G 時代運營商 IT 基礎設施的挑戰 1 03 03 03-03 5G 時代，運營商 IT 系統數據量將激增， 數據存儲效率要求更高 2.1 生產域數據增量和訪問模式變化 2.1.1 計費系統話單數據量增長 7.5 倍，計費時延要求更低 2.1.2 2C 業務視頻高清化帶來數據 10 倍增長， 數據讀寫帶寬要求更大 2.1.3 OSS 運維高密度網元和自動化運維使數據量暴增 8 倍， 運維效率要求更高 2.2 分析域數據增

2、量情況大數據分析帶來 5 倍數據增長， 分析效率要求更高 2.3 運營商總數據量增長 2 04 04-05 04 04 05 05 05 5G 時代數據海量增加，需要重定義數據基礎設施 3.1 5G 數據洪流對基礎設施帶來的挑戰 3.1.1 存不下海量數據存儲 3.1.2 流不動數據孤島難題 3.1.3 用不好價值獲取低效 3.2 挑戰應對方法 3.2.1 改變 Silo 模式，重定義數據架構 3.2.2 借力閃存升級，重定義數據性能和可靠性 3.2.3 軟硬雙管齊下，重定義數據密度 3.2.4 打破數據壁壘，重定義數據價值 3 06-09 06 06 07 07 08 08 08 09 09

3、 1 5G 時代運營商數據和存儲架構白皮書 2 目錄 總結 5 22-22 5G 時代運營商數據基礎設施 4.1 5G 時代運營商的數據基礎設施目標架構 4.1.1 華為數據基礎設施特性 4.1.2 華為數據基礎設施應對 5G 時代運營商挑戰 4.2 重定義數據架構一池一湖解決方案 4.2.1 一池：面向生產域的融合資源池 4.2.2 一湖：面向分析域的智能數據湖 4.3 重定義性能和可靠性全閃存存儲 OceanStor Dorado 4.3.1 重定義性能：業界領先的性能，2,000 萬 IOPS；0.1ms 時延 4.3.2 重定義可靠性：高端存儲可靠性新標桿 4.4 重定義數據密度業界超

4、高密分布式存儲標桿 4.4.1 超高密度存儲節點 4.4.2 超高存儲利用率 4.4.3 智能散熱，單 TB 功耗最優 4.5 重定義數據價值FusionData 解決方案，打破數據孤島，釋放數據價值 4.5.1 存算分離實現計算存儲資源按需靈活配置，整體 TCO 下降 30% 4.5.2 融合分析提升分析效率提升 50 倍 4.5.3 數據虛擬化提升開發效率 3.5 倍 4.6 智能數據，面向未來 4 13 13 13 15 15 15 17 18 18 18 18 19 19 19 20 20 10-20 10 11 5G 時代運營商數據和存儲架構白皮書 3 5G 時代運營商的機會和 IT

5、 基礎 設施的挑戰 5G 時代運營商的機會和 IT 基礎設施的挑戰 2019 年，全球 5G 建設已經如火如荼。全球幾十家 Top 國家和國際化電信運營商紛紛宣布 5G 商用，其中包括 Vodafone，T-Mobile，TIM，OOredoo 等，在國內，2019 年 10 月 31 日，中國移動，中國電信和中國聯通三大運營 商公布 5G 商用套餐，并于 11 月 1 日正式商用，運營商用實際行動向世人宣告 5G 時代的到來。 5G 應用的主體不僅僅在消費市場，同時更在行業市場，其發展潛力是運營商投資未來的信心。5G 可以給運營商帶來： 5G給消費者帶來更多的業務和更好的體驗。 5G的高帶寬

6、使消費者更好地使用視頻通信， 使VR、 AR等新業務成為可能， 同時5G的低時延也給消費者帶來了更好地的業務體驗。 5G也激發了更多的業務創新， 給消費者帶來更多更好的業務。 5G 可以使能垂直行業。5G 的到來正讓萬物互聯變得可能，5G 可以使能更多的垂直行業，如行業視頻監控，車聯網， 智能制造，遠程醫療等，更多的行業使能給運營商帶來了新的業務增長點。 5G 可以帶來新的商務模式轉變。運營商可以通過 5G 帶來新的業務和使能垂直行業的方式，通過創新的商業模式， 有效改變運營商當前收入結構單一的問題。 由于5G技術的發展和5G帶來新業務的發展， 運營商的數據量將爆發增長， 運營商的傳統IT基礎

7、設施將面臨諸多挑戰。 5G 的“高帶寬”和“低時延”特性使得單位時間內產生的數據量急劇增長，海量原始數據將被采集。 5G 的“低時延”特性要求 IT 基礎設施具有更好性能，更低的訪問時延，從而滿足客戶極致體驗的需求。 5G 的“全連接覆蓋”特性使得萬物互聯成為可能。相比 4G 時代主要用于人與人之間的互聯，5G 時代物聯網將得到 較大程度的發展，人與物、物與物之間的連接將急劇增多，數據采集渠道講更加豐富，如聯網汽車、可穿戴設備、機 器人等，這也對數據存儲與采集技術提出更高要求。 5G 時代下運營商的超高清業務、VR/AR 業務相比傳統的高清業務需要更多的存儲空間和更高的并發讀寫能力。 在 5G

8、 時代下，運營商需要對現有的的 IT 基礎設施進行升級來滿足日益增長的業務訴求。 1 1.1 5G 進入規模部署階段，帶來無限可能 1.2 5G 時代運營商 IT 基礎設施的挑戰 5G 時代運營商數據和存儲架構白皮書 4 2 5G時代， 運營商IT系統數據量將激增， 數據存儲效率要求更高 5G 時代，運營商 IT 系統數據量將激增，數據存儲效率要求更高 運營商的 IT 系統和其他的行業相比更加的復雜。運營商的 IT 系統可以分為生產域和分析域。生產域包括 BSS（含 CRM，計費，2C 和 2B 的增值業務等）、OSS 和 MSS，分析域主要是面對生產域的大數據分析。 下面以典型 IT 系統的

9、情況來說明 5G 時代下數據的增量以及數據訪問模式的變化。 2.1 生產域數據增量和訪問模式變化 2.1.1 計費系統話單數據量增長 7.5 倍，計費時延要求更低 5G 網絡，帶寬增加，時延更低，給計費系統帶來的變化是每用戶的 DoU 增加，導致用戶的話單數增加，計費庫數據 量增加，同時計費時延相比 4G 網絡要求更低。對應到數據存儲系統，要求 IOPS 更大，訪問時延更低。 以百萬用戶為例，4G 百萬用戶到 5G 百萬用戶帶來 7.5 倍的數據量增加，同時時延變為原來的 1/8，時延是業務 SLA 的保障關鍵。 比較項4G 百萬用戶5G 百萬用戶改變 DoU 變化9.8 G55.9 G增加

10、5.7 倍 話單數1.2 億7.5 億增加 6.3 倍 每條記錄大小1 K1.2 K*增加 1.2 倍 計費庫數據量10.8 TB81 TB增加 7.5 倍 時延要求4 ms0.5 ms減少 7/8 * 增加切片信息、QoS 信息導致每條記錄大小變大 2.1.2 2C 業務視頻高清化帶來數據 10 倍增長，數據讀寫帶寬要求更大 5G 時代視頻業務將成為主流，其收入也將成為運營商收入的重要來源之一。視頻從高清 1080p 向超高清 4K 和 VR 演進。一個小時 1080p 視頻需要約 5 GB 存儲容量，4K 則需要 15GB 存儲容量，而 VR 則需要 180 GB 存儲容量。 以某視頻業務

11、規劃為例，視頻容量從 15 PB 增長到 152 PB，總數據量增長 10 倍以上。對應到數據存儲系統，需要 支持線性的存儲擴展，需要支持更多的并發訪問，需要支持更大的讀寫帶寬。 項目20182019202020212022 2023 超高清比例01%5%15%25%35% 視頻數 ( 萬個 ) 1700345052006950870010450 視頻時長 ( 萬小時 ) 314612936125115661881 容量 (PB)15304978112152 5G 時代運營商數據和存儲架構白皮書 5 2.1.3 OSS 運維高密度網元和自動化運維使數據量暴增 8 倍，運維效率要求更高 部署 5

12、G 網絡時需要對熱點區域補站，網元密度為原來的 1.25 倍，每網元 KPI 數量是原來的 1.2 倍，因此 OSS 基 礎數據量是原來的 1.5 倍。 網元數增多，自動化運維成為必然，自動化網規網優需要更多數據。CHR 數據采樣頻率提高，每套網管數據流量從 原來的 100 GB/ 小時提升到 275 GB/ 小時，同時分析從事后分析走向事前分析，保存時間從 7 天增加到 90 天。CHR 的 數據量增加 35 倍（2.75 倍數據流量 *12.8 倍保存時間）。 以中國某省的 OSS 系統部署計算，OSS 的數據量將增加 8 倍。自動化運維提升了運維效率，運維效率提升需要數據 存儲系統提供更

13、好的數據處理效率以支持運維任務的計算處理。 比較項4G5G 增加 基站數（萬）20251.25 倍 OSS 基礎數據量（PB）11 16.56.3 倍 自動化網規網優 CHR 數據2.79535 倍 合計 （PB）13.7111.58 倍 2.2 分析域數據增量情況大數據分析帶來 5 倍數據增長，分析 效率要求更高 隨著運營商 BSS 域、OSS 域、各業務系統以及外部第三方數據源的數據量的增多，參與大數據分析的數據量也隨之 增加。同時為了更多的挖掘數據潛在的價值，數據保存周期也會增長，比如說從分析的數據從原來的 1 個月增加到 36 個 月，大數據分析需要保存的數據量會進一步增加。 以某運營

14、商的大數據分析業務預計，2019 年大數據分析的數據量為 35 PB，預計到 2021 年，大數據分析的數據量 將增加到 160 PB，數據增加近 5 倍數據量的增長。 傳統的大數據分析一般采用通用服務器的方式，計算和存儲耦合在一起，導致計算和存儲不能獨立擴展，存在計算資 源或存儲資源浪費的情況，分析效率不高。大數據分析需要采用計算和存儲分離的方式以提高分析效率。 2.3 運營商總數據量增長 根據 IDC數字化世界 - 從邊緣到核心的報告，全球運營商數據量預計從 2018 年的 3 ZB 擴展到 2025 年的 15.75 ZB，預計數據量增長超 5 倍。巨大的數據量增量對運營商的數據基礎設施

15、提出了巨大的挑戰。 全球運營商數據量 3 ZB 2018 15.75 ZB 2025 source:IDC 數字化世界-從邊緣到核心 5G 時代，運營商 IT 系統數據量將激增，數據存儲效率要求更高 5G 時代運營商數據和存儲架構白皮書 6 5G 時代數據從管理走向運營，需要重定義數據基礎設施 5G 時代數據從管理走向運營， 需要重定義數據基礎設施 3.1 5G 數據洪流對基礎設施帶來的挑戰 海量數據蘊含巨大的價值，也給基礎設施帶來了前所未有的挑戰。目前大多數運營商仍然采用 Silo 式建設，針對不同 的業務域，甚至不同域的不同子業務采購不同的數據和存儲，以滿足不同應用不同客戶對數據的各類存算

16、取用需求。 如下為運營商的典型數據架構， 經多代歷史遺存后， 設備多、 版本多、 垃圾數據多、 功能復雜等問題不斷放大,數據存不下、 流不動、用不好成為了運營商數據應用最普遍的難題。 3.1.1 存不下海量數據存儲 傳統架構已無法適應 5G 數據爆發性增長，體現在以下三點： 擴展性不足：傳統集中式存儲本身并不是為海量數據而設計，其擴展性有限，scale-out 能力尤其不足，即使高端存 儲也很難達到 PB 量級。運營商不得不采購多套存儲滿足日益增長的需求。 協議類型單一：隨著視頻、物聯網等業務擴張，80% 的新增數據由各類音視頻、日志等非結構化數據構成，非結構化 數據逐步成運營商數據的主體。然

17、而傳統存儲協議類型單一，無法同時滿足塊、對象、文件、大數據等多樣性數據的 存取需求，企業不得不為每一種新的數據類型新增一種存儲設備，數據之間也難以互通共享。 成本高昂：出于合規等原因，運營商的日志類或大數據分析類數據必須長期保存，因為其存儲量很大，也會導致存儲 成本極高。如 2017 年起，某中國的移動運營商因合規性要求，將日志文件的保存周期從 2 個月增加至 6 個月，這意 味著其存儲設備規模將增加至少 2 倍。因為該運營商采用 Hadoop 架構，也就意味著必須為此增加 2 倍的服務器。服 務器因存儲需求不斷擴容，CPU 的使用率卻始終處于較低的狀態，資源得不到合理利用，無疑會對采購成本和

18、維護成 本造成更大的壓力。企業往往因為存儲成本原因而放棄大量寶貴數據。 3 ? ? ? BSS ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? OSSMSS ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? VAS ? ? ? ? ? ? ? ? ? ? B2B ? ? ? ? ? ? ? NFVI ? ? ? ?

19、? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 5G 時代運營商數據和存儲架構白皮書 7 海量的數據孕育了前所未有的機遇，也帶來了巨大的挑戰。很多客戶都反映，從來不缺數據，數據多了反而成為一種 負擔。也有客戶說，數據只是資源，而不是資產，很難產生價值。其根本原因是沒有用好數據，數據沒有釋放價值。而影 響數據價值釋放的主要原因是數據供應不足，無法反饋業務本質，無法支持業務決策： 大量數據未存儲：運營商每天會產生大量數據，但傳統的數據錄入需要預先的人工規劃，這導致大量非結構化數據以 及一些新型數據無法進入系統（例如 IoT 數據、視頻數據、圖片數據等）。數據

20、的缺失會削弱對業務的感知，無法真 實及時地反映出業務本質。 性能不足，可靠性低：傳統的 IT 設施一般 3-5 年一換，但由于各種原因，很多運營商機房里 8 年甚至 10 年以上的 設備仍然在使用。另外，部分項目采購時出于預算原因，僅考慮了當年的短期需求，沒有對未來的業務增長做準備。 因此部分設備存在性能差，可靠性低的問題，拉低了整個 IT 系統的運行效率，無法滿足 5G 對生產系統的高性能低時 延高可靠性的需求。 找不到數據：運營商通常通過數據表來管理和分析數據，但是數據表甚至可以達到數百萬張，而且分散在各個業務系 統中。如果沒有統一數據目錄和全局數據視圖，要在上百萬張報表中找到特定的數據，

21、好比大海撈針，無法應對靈活 多變的業務需求。 誰對數據負責：在大數據時代，一個典型的分析業務通常需要跨平臺的數據協同。如果已經接入的數據無法滿足分析 需求， 需要從前端多個業務系統獲取新的數據， 再加上缺乏統一的隱私與安全共享機制， 數據就需要經過多部門間協調、 拉通、核實才能獲得。數據分析的鏈路冗長，一旦出現問題，往往需要“六方會談”才能定位，無法保證數據供應的 穩定和高可用，更無法實現高效的數據融合分析。 產生上述問題的根本原因：運營商在建設數據基礎設施時，從滿足客戶的訴求出發并考慮投資成本問題，會選擇不同 的計算資源、網絡資源和存儲資源來分別滿足客戶的不同訴求。 算力墻：各個存儲系統的

22、CPU 能力，僅供本系統使用，無法將算力資源共享使用，形成各存儲系統之間的“算力墻” ； 網絡墻：各個網絡都有各自的協議，彼此之間無法互連互通，即各個網絡之間形成“網絡墻”； 介質墻：存儲介質的性能、容量和成本各不相同，客戶會選擇合適的介質存儲數據，這使得數據分別存儲在不同系統 的不同介質中，而且這些數據很難共享訪問，即各個存儲介質之間形成“介質墻”。 3.1.3 用不好價值獲取低效 3.1.2 流不動數據孤島難題 孤立的數據價值并不顯著，只有當數據像水一樣流動起來，才能打破“數據壁壘”，最大化釋放其價值。然而當前運 營商保存下來的數據，由于技術與流動性問題，只有 10% 的數據能得到分析，數

23、據孤島、多樣性設備、業務難遷移成為 數據“流不動”的主要瓶頸。 海量數據形成的 “三類孤島” 應用孤島：不同應用產生的數據分別存放在不同的存儲系統中，而且這些數據由于各自的特征，彼此之間是無法共享 使用的，形成“應用孤島”問題； 管理孤島：為對生產數據加以保護和使用，會將生產數據的一個副本，拷貝到各個系統（如備份、容災、歸檔、開發 測試和分析系統）中進行管理和使用。即便是同一份數據，為實現不同目的，還需分別存儲、管理和使用，即形成“管 理孤島”問題； 地理孤島：由于企業的更新換代，將存在多套存儲設備，比如生產環境、非生產環境、云環境和邊緣環境，企業的數 據將存放在不同的地方，形成“地理孤島”問

24、題。 5G 時代數據從管理走向運營，需要重定義數據基礎設施 5G 時代運營商數據和存儲架構白皮書 8 面對數據海量增長所帶來的問題， 華為認為， 應對挑戰的方法應該從重定義數據基礎設施入手， 使數據存得下， 流得動， 用得好，以實現每比特成本最優、每比特價值最大，每比特管理效率最高。 重定義數據基礎設施包含 4 個方面：重定義數據架構、重定義數據性能和可靠性、重定義數據密度、重定義數據價值。 融合：由原來 Silo 式的 IT 系統融合成為資源池式的系統，資源池中的資源按照性能和可靠性進行不同的等級定義， 根據不同的業務按需發放相關資源。 智能：統一建設智能的數據管理系統，充分利用機器學習 /

25、 人工智能等技術，運維管理模式由人工操作向數據全生命 周期自動化演進，以機器智能的方式控制數據的產生、使用、流動和終結； 開放：一是易集成，數據和存儲系統需要具備多樣性的生態接口，具備集成到多個系統的能力；二是易使用，需要從 方便開發者的視角出發，數據分析系統基于開放的引擎，屏蔽多數據源、多數據接口差異，以一個目錄，一個接口， 一份數據，實現數據應用開發極簡。 需要對現有的 IT 系統 Silo 架構進行重新梳理，對數據架構進行重新定義。建立高效高擴展架構，解決數據存不下問題； 從數據生命周期視角融合企業數據，解決流不動問題；提升架構開放性，解決用不好問題。因此，重新定義的數據架構需 要具備如

26、下特性： 3.2.1 改變 Silo 模式，重定義數據架構 3.2 挑戰應對方法 3.2.2 借力閃存升級，重定義數據性能和可靠性 5G 時代，運營商用戶話單量和計費頻次增加，需要更快的存儲來應對。 用戶對體驗提升的需求是無止境的。更高的 IOPS 意味著單位時間內完成更高的任務數，更低的時延意味著單任務的 更快處理時間。 根據我們對全球上百個 TOP 客戶的性能需求長期分析，客戶的最高性能層要求，已經從三年前的平均 3000 IOPS/ TB 提升到 7500 IOPS/TB 以上；生產域的平均性能要求，從 400 IOPS/TB 提升到 1000 IOPS/TB 以上。 隨著 5G 以及

27、AI、IOV 等新興應用的發展，超低時延應用已經進入市場應用階段。我們看到很多客戶已經不滿足于 1m 的時延保障，在快速地向 0.5ms 以下進發。 隨著閃存的大量普及和閃存生命周期管理、重刪壓縮等閃存應用技術的成熟，全閃存的價格已經快速下降，單塊 SSD 具備較 SAS 盤高百倍的性能，高 10 倍的價格 / 性能比。即使在 400 IOPS/TB 這樣較低性能要求下，單從成本看，也已 經具備直接替換 10K SAS 盤的能力。 計費業務系統要求 7/24 小時不間斷運行，需要極致的存儲可靠性保證。 數據量的暴增，意味著相同業務中斷時間內，5G 時代的業務損失比 4G 時代大了 10 倍。這

28、勢必要求數據基礎設施的 可靠性提升 10 倍來抵消業務損失的代價，要求單設備可用性從 4G 時代的 99.999% 提升到 99.9999%（年業務中斷時 間 32 秒），方案級可用性從 99.9999% 提升到 99.99999%（年業務中斷時間 3 秒）。要求即使在遷移、升級、維護時 QoS 也能得到完全的保障，做到業務不中斷、性能不下降。 SSD 的年故障率較機械盤低 5070%，但全閃存的可靠性提升并不僅僅依賴于 SSD。領先廠商已經抓住閃存化契機 進行徹底的 Flash Native 改造，采用極高可靠架構滿足客戶的需求，這往往已經超過傳統高端存儲的要求。而且由于采用 了全閃存，其整

29、臺陣列的價格反而更低，往往僅相當于傳統高端存儲的維保費用。 因此，借助閃存升級，既可以進行存儲成本結構的優化，又可以解決運營商面向未來的性能和可靠性問題。 5G 時代數據從管理走向運營，需要重定義數據基礎設施 5G 時代運營商數據和存儲架構白皮書 9 重定義數據密度，使單位空間內能夠存放更多的數據，以達到降低 TCO 的目的，解決數據存不下的問題?？梢詮娜?下方面提升數據密度： 硬件上采用高密硬件：通過結構性改造和高科技散熱技術增加硬盤密度，從而增加單位空間的數據存儲量。傳統 3.5 寸機械硬盤的密度為每 U 高度 4 個盤位左右，通過高密的精細化設計，可以提升到每 U 高度 10 盤位以上。

30、但高密硬 件需要解決好三個問題： 3.2.3 軟硬雙管齊下，重定義數據密度 3.2.4 打破數據壁壘，重定義數據價值 打破大數據與存儲的壁壘，實現存儲和計算分離：計算節點著重于分析能力和熱數據的儲存，溫冷數據存放在專用的 存儲節點上，這樣計算 / 存儲資源按需靈活配置，整體 TCO 可獲得大幅度降低。 打破數據庫與大數據的壁壘，實現跨平臺融合分析：從“數據跑路”（數據跨平臺拷貝）到“算力跑路”（分析任務 按需分發，數據不動），數據 0 搬遷，大幅提升分析效率； 打破數據應用與數據基礎設施的壁壘，實現數據虛擬化：通過虛擬化能力將多源的數據轉變為統一的接口和目錄，簡 化應用開發門檻，實現秒級找數取

31、數，開發效率的提升。 在計算和存儲融合部署（如大數據）的場景，建議使用存算分離的方案，計算資源采用高密的計算節點，存儲資源采 用高密節點的存儲節點并使用 EC 技術，實現計算資源和存儲資源的解耦和獨立擴展，提高整體方案的密度，降低整體方 案的 TCO。 5G 時代數據爆發式增長，如果不能充分挖掘海量數據的價值，實現數據變現，數據資產反而成為數據負擔。 傳統的大數據分析工具包含數據倉庫和 Hive、Spark 等分析平臺，可選組件有上百個，接口更多得無法控制。大數據 開發工程師將過多的精力耗散在組件選擇和試用、耗散在對各類接口和工具的熟練使用上。 另外，大數據平臺所需的計算和數據幾乎無差異的均衡

32、分布在服務器節點上。無論系統是因為分析性能不夠，還是存 儲資源的不足，都必須增加節點。這勢必造成計算或者存儲資源的浪費。 因此我們建議，可以從如下方面重新定義數據價值，解決數據存不下，流不動和用不好的問題： 軟件上采用 EC 技術。傳統的分布式存儲和大數據分析系統往往采用副本方式實現數據可靠性，這會導致存儲利用率 偏低，典型 Hadoop 的三副本的實際空間利用率僅有 33%。采用 EC (Erasure Coding) 來替代副本，N 份數據 +M 份校驗的組合可以達到甚至超過 3 副本的可靠性，而空間利用率可以有 50% 甚至翻倍的提升。 1）散熱問題：高密硬盤框往往多個硬盤前后重疊放置，

33、這會導致前部硬盤的散熱會疊加到后面硬盤上，使后部硬盤 溫度過高，增加了后部硬盤的故障率；這也是部分高密存儲設備故障率偏高的原因； 2）重心問題：高密硬盤框往往采用抽屜式設計，需要將框體抽出機柜面進行維護，極易造成機柜重心不穩，往往需 要對機柜進行特殊的加重加固，增加了機房負擔； 3）維護問題：一是線纜，因為盤框需要抽出柜面進行在線維護，這就需要與盤框連接的電源和數據線纜也能隨之移動； 業界往往采用專用的導線軌來解決這個問題，但導線軌體積較大，尤其會占用很大的有效深度，這也是部分高密存儲 要求非標機柜的原因。二是硬盤，硬盤維護時需要做到易插拔，而且不能影響其他硬盤的運行。 一般的通用服務器存儲無

34、法滿足高密的存儲需求，需要專業的存儲設備來實現高密的存儲需求。 5G 時代數據從管理走向運營，需要重定義數據基礎設施 5G 時代運營商數據和存儲架構白皮書 10 5G 時代運營商數據基礎設施 5G 時代運營商數據基礎設施 4 4.1 5G 時代運營商的數據基礎設施目標架構 如何整合運營商生產域和分析域的資源，實現數據存儲、數據庫和大數據的垂直融合。滿足數據的全生命周期的需求， 讓數據的存儲、管理、使用更加智能，讓數據價值得到更大發揮。華為基于數據基礎設施的一池一湖解決方案能夠很好的 幫助運營商應對 5G 時代的挑戰。 華為的數據基礎設施是傳統 IT 基礎設施的延伸，以數據為中心，服務于數據，最

35、大化數據價值。華為的數據基礎設施 具有融合、開放和智能的特性。 華為的一池一湖解決方案是指： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 一池：即存儲資源池，滿足生產域系統的全生命周期數據管理的需求。 一湖：即智能數據湖，滿足分析域系統的全生命周期數據管理的需求。 5G 時代運營商數據和存儲架構白皮書 11 4.1.1 華為數據基礎設施特性 華為圍繞計算、存儲和數據處理三個方面來構筑極簡數據基礎設施，將昇騰和鯤鵬處理器多樣性算力引入到數據存儲 和數據處理，將數據存儲和數據處理創新性地進行融合，并對數據全生命周期

36、進行智能化管理，同時，通過數據虛擬化引 擎將數據基礎設施對外開放，搭建起數據基礎設施同上層數據應用的橋梁。華為數據基礎設施具備： 融合、智能、開放 的特性。 融合：通過“打破數據處理與數據存儲的邊界”，實現數據高效共享和分析，降本增效。 智能 ： 通過 “AI+存儲+云” ， 實現數據全生命周期內智能管理和智能運營， 讓存儲越用越快， 價值越來越大。 開放：通過“數據虛擬化引擎”，統一 SQL 語法，像使用數據庫一樣使用大數據。 4.1.1.1 融合 華為數據基礎設施的融合體現在“一橫一縱”兩種方面。 橫向融合是指數據全生命周期存儲的融合。數據產生的第一環節是生產存儲，以支撐交易型的數據處理；

37、通過擴展至 分析型存儲來支撐核心的分析業務；備份存儲進一步擴展分析場景；主存增加混合云備份、分級等特性，實現冷數據 上云。通過對生產存儲疊加輕量化備份和管理特性，拓展存儲場景，實現從熱到冷的數據全生命周期存儲整合。 縱向融合是指數據處理與數據存儲的垂直優化。包括交易型數據處理與生產存儲相融合，提升性能，增強可靠性；數 據分析與分析型存儲融合，提高分析效率。在存儲層，通過重定義存儲架構，將塊、文件、對象、HDFS 等多種存儲 服務融合，打通數據孤島，解決多樣性數據存儲和共享問題；協議方面，通過多協議融合技術，實現一份數據同時支 持數據庫、大數據、AI 等多種業務的分析需求，節省數據無效流動時間，

38、讓分析更高效；算力層面，通過將數據庫、 大數據、AI 多引擎融合分析和多樣性算力統一調度，降低海量數據處理難度，實現高效分析；管理層面，通過將 AI 融入存儲全生命周期管理，從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維，從容應對 數千節點規模的復雜管理。 通過橫向融合和縱向融合，實現 TCO 降低 30% 以上，分析效率提升 100%。 伴隨著“一橫一縱”的融合，底層的存儲設施也向著“兩化”的方向發展。面向關鍵業務的全閃存化和面向海量存儲 需求的分布化。 關鍵業務全閃存化：在 5G 時代對于運營商的核心業務比如 BOM 域的 Billing 和 CRM, B2B 的 H

39、ot 業務，還有超快 ? ? ? 5G 時代運營商數據基礎設施 5G 時代運營商數據和存儲架構白皮書 Cloud AI Center AI Cevice AI Expert experienceModel training Automation engine Policy engine Prediction engine Analysis engine Self-learningSelf-optimization ? ? ? ? ? ? ? 過去，主要依靠人來完成設備配置和運維，運維人員經驗和能力的高低決定了管理效率的優劣。華為基于設備級 AI、 數據中心級 AI 和華為云 AI 的三層架構，

40、通過云上訓練和云下推理，讓系統越用越快、越用越省。 我們在每一個設備里，內嵌昇騰 AI 芯片和相關算法，使我們的設備在毫秒級甚至更低級別時延上做到自愈自關系。比 如在存儲中依托昇騰 AI 能力，自動學習和識別 IO 流，提升 Cache 預取命中率，系統整體性能提升 20%。 我們在中間層有一個類似于網管的設置，稱之為數據管理引擎（DME），DME 所管理的是一個數據中心或者相鄰幾 個數據中心面向一個企業客戶的網絡運維設備。它可以進行分鐘級的系統自動化運維。 云上的 AI，可以在天和月時間維度訓練運維模型，并且它可以跨廠商、跨企業來進行訓練。結合華為云自身大規模 運維運營經驗，當前可以實現提前

41、 14 天預測硬盤故障，提前 60 天預測性能瓶頸，提前 365 天預測容量不足，其中 30% 的故障可以自我修復。 華為的數據虛擬化引擎 - 河圖引擎，屏蔽了數據基礎設施的復雜度，讓開發者像使用數據庫一樣使用大數據，復用 現有的生態、工具和技能，能夠提升開發效率 2 到 10 倍。 河圖引擎，就是要讓數據治理簡單，使用簡單，更方便的挖掘 數據價值。河圖引擎能夠提供一個目錄、一個接口、一份數據，能夠讓用戶像數據庫一下使用大數據。 一個目錄：通過元數據在線感知，構建 1000+ 異地異構數據源全局虛擬數據視圖，打破數據孤島，數據全局可視， 解決企業找數難問題。 4.1.1.2 智能 4.1.1.

42、3 開放 業務比如包括 IOV（自動駕駛）、實時決策等，要求高性能低時延以及極高的可靠性。以 HDD 為主要存儲介質的傳 統存儲已經在性能和可靠性上無法滿足 5G 時代新業務的需求。針對 HDD 的存儲介質革命應運而生，引領介質革命 的主角就是固態硬盤（Solid State Drive，簡稱 SSD）。相對于 HDD，SSD 具備更加優異的性能和更好的可靠性。 因此面對 5G 時代的關鍵應用，存儲設備正全面轉向全閃存存儲。 大容量需求分布式化：對于 5G 時代的其他業務需求，比如普通應用包括 OA、Web Service、AR、VR、郵件等， 大容量應用包括視頻、IOT 等，這些應用對時延和

43、可靠性要求相對較低，但數據量會急劇膨脹。因此對大容量、易擴容、 易運維等特性要求高。分布式存儲能夠做到：大容量，可橫向擴展到 EB 級，性能與容量線性增長；易擴展，基于標 準硬件按節點擴容，采購周期從月降到天，業務上線效率是傳統存儲的 10 倍以上；易管理，支持多種協議，一套存 儲可以應對各種需求，硬件換代數據免遷移，0 遷移費用，0 業務風險。因此分布式存儲可以有效解決 5G 時代多業務、 多場景、大容量的業務需求。 5G 時代運營商數據基礎設施 12 5G 時代運營商數據和存儲架構白皮書 13 4.1.2 華為數據基礎設施應對 5G 時代運營商挑戰的方法 華為的5G數據基礎設施從 “重定義

44、” 四個維度來應對5G時代運營商海量數據處理和分析的挑戰。 4.2 重定義架構 一池一湖解決方案 重定義數據架構：由原來Silo的架構演變成一池一湖的架構， 并通過華為的全生命周期管理平臺 （DMS） 進行統一管理， 系統管理效率能夠有 5 倍的提升，TCO 節省 30%。 重定義性能和可靠性：華為全閃存存儲 Dorado 可提供 2000 萬 IOPS，0.1ms 時延，有效應對 5G 時代業務對高性 能的需求，例如：計費系統出賬時長從 10 小時縮短到 3 小時，縮短 70%。另外在可靠性方面，華為全閃存最高容忍 控制器 8 壞 7，業務不中斷，可靠性達到業界最高的 7 個 9，保證全年業

45、務 0 中斷。 重定義數據密度：華為 OceanStor 分布式存儲結合業界超高密度的硬件，相比傳統存儲，存儲 150 PB 的視頻數據， 可以由 32 個機柜減少到 8 個機柜即可，空間減少 75%，能耗減少 65%。 重定義數據價值：通過大數據存算分離實現計算和存儲資源按需靈活配置；通過華為的河圖虛擬數據化引擎能夠實現 像使用數據庫一樣使用大數據平臺，做到降低應用開發門檻，實現秒級找數、取數。 面向生成域，構建融合、智能的存儲資源池，實現數據生命周期的全自動化管理。傳統的 Silo 存儲建設方式演變成統 一的存儲資源池，資源池按照 SLA 的要求向上層應用提供存儲資源。數據管理方面也從傳統

46、的人工管理、人工運維演變成 在生命周期各階段（規劃、分配、運維和優化）自動化管理，大大提升存儲效率。 4.2.1 一池：面向生產域的融合資源池 4.2.1.1 融合：構建融合存儲池，存儲利用率提升到 70% ? Billing/CRMERPVM/OA/VASVideo/IoTBackup/Archive Tier0Tier1 AFA Distributed storage Third-party storage Tier2Tier3Tier4 Performance sensitive Mission-critical Business important General purpose Hi

47、gh capacity Storage resource pool 一個接口：通過開放的連接框架、5000 節點 SQL 引擎，實現 30 種異地異構數據源統一 SQL 訪問，秒級獲取，數 據全局可得，解決企業取數難問題 一份數據：通過 CarbonData 技術，實現一份數據多場景分析，多應用共享，數據 0 搬遷，數據全局可用，解決企業 用數難問題。 5G 時代運營商數據基礎設施 5G 時代運營商數據和存儲架構白皮書 目前在運營商的 B 域、O 域和數字化業務開始實現云化或者虛擬化，目前運營商已經大規模采用云化和虛擬化的技術， 但是相對于計算資源的云化，存儲的部署模式依舊是采用 Silo 的

48、部署方式。這種部署模式造成存儲利用率 30%, 資源申 請困難，難管理。 華為的統一存儲資源池解決方案，基于自研的智能存儲管理平臺 DMS 整合眾多的存儲形態，例如華為的全閃存存儲、 分布式存儲以及第三方廠商的存儲，將這些不同來源和不同類型的存儲整合成統一的資源池，并由華為智能存儲管理平臺 統一根據不同業務的 SLA 自動發放，實現存儲資源的按需靈活調度。 關鍵業務全閃存化和大容量需求分布式化可以大幅簡化存儲的種類和數量。比如像運營商的計費系統和 CRM 系統， 這類業務對單位 TB 的 IOPS 要求高達到 4000 IOPS/TB 且對時延要求也比較苛刻 IO 響應必須小于 1 ms，另外對系統 的可靠性要求也在 99.9999% 以上，像這類業務適