《IDC:2024構建全閃存數據中心加速全場景數智化發展報告(45頁).pdf》由會員分享,可在線閱讀,更多相關《IDC:2024構建全閃存數據中心加速全場景數智化發展報告(45頁).pdf(45頁珍藏版)》請在三個皮匠報告上搜索。
1、贊助者:華為構建全閃存數據中心加速全場景數智化發展目錄IDC觀點引言第一章 數智化時代下的企業轉型:AI驅動的數據熱化與價值創造.數智化時代下,數據重要性持續凸顯.數據全面“熱”化,促進數據價值發揮第二章 數智化時代下的企業存儲挑戰與數據存儲基礎設施升級趨勢.數據熱化趨勢讓企業存儲面臨六大挑戰.構建面向數智時代的存儲基礎設施第三章 企業全閃存數據中心創新升級,全面推進全場景閃存化.以持續升級的技術驅動全閃存數據中心建設.全閃存數據中心全場景支撐存儲需求第四章 最佳實踐第五章 IDC建議IDC觀點 技術革新與場景應用的融合正加速著數智化時代的到來。數字化與智能化相輔相成,數字化為智能化提供豐富的
2、數據原料,智能化為數字化提供更先進的數據處理技術,共同推動了數據價值的深度挖掘。隨著數智化進程的深入,企業數據的活躍度和應用價值不斷提升,數據的全面“熱”化成為新常態。存儲基礎設施在面對多元挑戰的同時,也迎來了新的發展要求。面對數據密集型業務的激增和熱數據規模的爆炸性增長,企業存儲系統的構建與部署將在性能要求、綠色降碳、數據安全等維度面臨挑戰,而具備高效敏捷、綠色節能、安全可靠、智能運維等能力的存儲基礎設施,對于應對這些挑戰至關重要。全閃存數據中心順應未來數據基礎設施發展趨勢。作為存儲能力均由固態硬盤(SSD)提供的數據中心,全閃存數據中心憑借其在性能、部署密度、能效等方面的優勢,成為數智時代
3、的數據存儲基礎設施的重要選擇。據IDC預測,年到年,全球SSD市場規模將以.%的年復合增長率高速增長,預計到年市場規模將達到億美元。全閃存數據中心在應用上實現全場景賦能。全閃存數據中心能夠為包括企業核心業務、次核心及非核心業務、數據分析、AI大模型、數據備份等在內的全場景提供支持,加速數據價值挖掘,并全面推動著企業多元需求場景的閃存化,為數智化時代的數據管理和價值創造提供強有力的支撐。引言企業持續深耕以技術為核心的轉型升級作為企業業務增長與商業創新的關鍵動能,數字化轉型方興未艾,并切實改變了千行百業的發展圖景。隨著數字化技術在業務中滲透率的不斷提升,數字化轉型將繼續作為企業重要戰略與投資的關鍵
4、事項。IDC預測,到年,企業數字化轉型投資金額將超過企業信息和通信技術(ICT)整體支出的三分之二。從數字化轉型邁向數智化時代大模型等人工智能(AI)技術的快速創新與場景化應用,加速了數智化(數字化+智能化)時代的到來。在數智化時代,智能化技術將成為企業創新、運營和服務的核心生產力,通過實現數智化轉型,企業將實現業務流程的智能化遷移與改造,在全面提升業務效率、節約成本的同時,增強業務的數據洞察能力,從而在激烈的商業競爭中獲得更大的優勢。數據是企業實現數智化升級的核心要素在數字化時代,數據已成為企業的核心資產,與土地、勞動力、資本、技術并列,成為第五大生產要素。數據要素化是將數據轉化為參與生產、
5、流通、分配和消費各環節的關鍵要素,其重點在于數據的收集、存儲和管理,確保數據的質量和安全,為后續的加工和應用打下基礎。為了更好地釋放數據價值,企業需要加速推進數據要素化,提升數據的收集、存儲和管理能力,確保數據的質量和安全。在數據要素化的基礎上,企業通過對數據進行分類、評估和價值量化,將數據轉化為可衡量、可管理的資產,實現數據的價值提升,進而推進數據產品化,步入數據價值實現的高階階段。在本階段,企業可通過數據分析、挖掘等技術手段,將數據轉化為具體的商業產品、服務或解決方案,構建從數據收集到價值實現的完整鏈條。在本白皮書中,IDC將分析數智化時代下的企業存儲挑戰與數據基礎設施升級的必要性,從技術
6、、場景化應用等層面探討存儲全閃存化的發展趨勢,并以多個行業最佳實踐為例,展示如何通過構建全閃存數據中心,加速數據價值的釋放,為數智化轉型奠定堅實的基礎。AI驅動的數據熱化與價值創造01數智化時代下的企業轉型.數智化時代下,數據重要性持續凸顯大模型、生成式人工智能(Gen AI)等智能技術正在快速創新,其在不同場景中的應用也在不斷加速,已成為當代技術演進中一股充滿顛覆性魅力的潮流。智能技術的廣泛應用在解放人力資源、提升業務處理效率、催生新商業模式的同時,也衍生了全新的社會經濟組織架構,帶來了尤為深遠的影響,從而加速數智化時代的到來。數智化企業可以持續收集和整合數據,通過分析和解讀,從中提煉出對業
7、務發展有幫助的知識,幫助企業更迅速地適應外部環境的變化,獲得競爭優勢,最終實現企業的戰略目標。數智能力融入企業各個環節,可為企業創造可持續增值價值:基于數據和智能化手段,優化企業內部流程、重塑客戶體驗,從而打造符合市場需求、貼近客戶心理的服務和產品;借助高水平的過程自動化和智能化,企業可在操作中表現出敏捷性和彈性擴展,提升生產效率;利用智能對內賦能員工,使他們以主人翁意識更多地參與企業發展,促進創新力提升。來源:IDC,圖 推進以數據為驅動的數智化發展模式客戶滿意度創新力信息綜合處理能力基于信息學習能力洞察規?;芰ιa效率MonitorLearnAdaptExplain數智化發展意味著企業既
8、要持續提升數字化發展水平,也要落實智能化升級。通過場景化應用賦能千行百業,不僅支持企業實現業務流程的數字化改造,獲得更加即時的數據洞察,還要能夠通過智能化遷移,全面實現降本增效,從而推動商業形態的深度創新。數字化和數智化發展將成為推動企業數字化業務規?;?、可持續化發展的兩大引擎,驅動企業邁向數字化轉型新高度。在數智化時代,數字化、智能化技術互相融合、相輔相成。數字化為智能化提供基礎無論是模型訓練,還是模型微調、推理,都需要依賴于大規模的外部數據、企業內部數據,同時需要提升數據準確性、一致性和完整性,這將在很大程度上影響智能化的效果。通過信息技術將實體信息轉化為結構化、半結構化、非結構化的數字信
9、息,同時采集業務活動產生的海量數據,通過數據治理等方式對數據進行清洗、來源:IDC,圖 數字化與智能化雙向賦能、融合發展智能化生成式AI自動化內容生產數字化數據積累數據驅動反哺數據資源池數量更多、質量更好的數據被生產數據重要性不斷增加海量數據支撐AI學習分析處理、歸集,構成龐大且不斷更新的數據資源池,為智能化提供原材料。企業在利用數字技術向智能創新邁進的過程中,數據是關鍵因素,也是企業最重要的資產。數據是企業產生洞察和累積知識的結果,意味著企業沉淀了被驗證、被推演、被篩選后的有價值的內容。在數智化時代,企業將收集、存儲和分析比以往更多的數據,為數智化轉型奠定堅實的基礎。對數據價值利用的深度決定
10、企業數智化轉型的高度。數據可以為企業的決策提供依據,通過數據的采集、處理、存儲和管理,以及分析和應用,驅動企業提高生產效率,帶來更快的反應速度、更多的產品創新和更優化的客戶體驗。而要滿足上述需求,企業需要實現多類型、多平臺、多應用的數據融合,拓展數據規模,同時借助數據工程來提升數據質量。智能化促進數字化進一步發展智能化通過AIGC等智能化應用,將業務流程轉變為智能化流程,并推動決策的智能化,這將進一步加速企業數字化的進程。首先,隨著智能應用的深度落地,企業將實現視頻、文本等數據的自動化生產,數據的規模將快速擴大。更多業務將以智能化的方式運行,這些智能化環節會帶來更多的數據,推動數字化業務的發展
11、。IDC預測,全球年將生成,EB數據,年將增加一倍以上,達到,EB,年復合增長率為.%。高效的數據價值挖掘,能夠幫助企業迅速適應市場變動,優化運營流程,顯著提升客戶體驗。其次,智能化為數字化提供高效的數據采集、清洗與處理工具,從而提高數據質量標準。通過由AI驅動的數據清洗工具,企業將能夠大幅節約數據清洗耗用的時間與成本,進一步釋放海量數據的商業價值,這將有助于實現基于數據的智能洞察,構建由數據驅動的業務流程以AI場景為例,智能化對數字化提出更高要求:AI對數據量的需求:AI模型訓練需要大量的數據作為輸入,數字化需提供更多樣化和大規模的數據集;數據質量的重要性:AI對數據準確性、一致性和完整性有
12、嚴格要求,數字化過程中需加強數據清洗和預處理工作;數據多樣性與多源融合:AI應用往往涉及多種類型的數據融合,數字化系統需支持跨平臺、跨系統的數據整合。圖 IDC全球數據圈生成數據規模預測來源:IDC,-.倍增長新創建/捕捉復制.ZB.ZB.%CAGR-ZB數智化時代下,數據成為推動企業發展的關鍵要素,數據價值被放大,企業在數智化時代對數據的依賴性增強。企業將收集、存儲和分析比以往更多的數據,并利用這些結果來優化現有產品和服務,發掘新的市場機遇,提供更好的客戶服務,并推動更快、更好的業務洞察力。.數據全面“熱”化,促進數據價值發揮為了實現以數據為驅動的數智化轉型,企業依賴數據的全面“熱”化,即數
13、據的活躍度和應用價值的提升。熱數據是相對于冷數據與溫數據的概念,指的是需要頻繁讀取、活躍度較高的數據。數據“熱化”是指在數智化時代,由于不同業務系統之間數據的互聯互通,以及大量AI驅動的數據分析應用高頻使用,更多數據需要被存儲并被激活,并通過頻繁訪問和處理,實現業務目標。同時,數據“熱化”意味著更多溫數據、冷數據被激活,這將導致企業整體數據訪問頻率的顯著提升,以進一步挖掘數據價值,實現數據的業務化。在數智化時代,數據熱化的表現包括如下幾個方面:更高頻的數據采集:在數智化時代,企業將擁有更多的數據采集點,這不僅包括大量的數據傳感器、智能設備,同時也包括大量的數智化應用。企業需要利用這些設備與應用
14、即時捕獲數據,從而做出更快的反應。更廣泛的數據源:為滿足更深度的數據處理與分析需求,從數據關聯分析中獲得更加敏銳、全面的洞察,企業將不僅僅需要內部數據源,而且需要將更廣泛的社會經濟數據、行業數據、商業數據等納入到企業數據資源池中,這在擴展企業數據源的同時,也意味著更高的數據管理復雜度。更大的數據規模:由于數據采集頻率越來越高,數據源愈發廣泛,這將推動數據規模的不斷增長。更高的數據質量要求:由于數據在企業中將扮演愈發重要的價值,錯誤、殘缺、一致性差的低質量數據將給企業帶來不可預料的損失(例如在AIGC應用中,基于低質量數據訓練的模型將可能輸出錯誤的回答,給客戶體驗帶來負面影響)。為提高決策的可靠
15、性和有效性,減少因錯誤信息導致的風險,企業越來越需要增加數據清洗、提高收集質量,確保數據的準確性、完整性和一致性。更多樣的數據類型:數智化應用所需要的數據正從文本類、圖片類等單模態向多模態、跨模態演進,以滿足更為復雜的任務需求,這就涉及到圖像、音頻、視頻等多種形態、多種類型的數據,不僅包括結構化數據,也包括半結構化、非結構化數據。更大時間跨度的洞察:由于數據處理與分析能力的提升,以及AIGC等應用的創新,企業將大大增強對于歷史數據的利用;這意味著,除了實時交易數據、用戶會話數據等典型的熱數據之外,溫數據、冷數據的訪問頻次也將不斷提升。通過對歷史數據的處理與分析,企業將能夠從數據中挖掘出長期的趨
16、勢和發展模式,更好地指導業務的發展。更普遍的可視化數據分析:數據熱化的一個外在表現在于,數據可視化將成為一個普適性的能力,融入更多系統中,在更大范圍內、向更多的員工與用戶開放。不僅決策者能夠通過數據駕駛艙來即時掌控企業業務動態,輔助科學決策,普通員工也能通過數據可視化對相關業務進行洞察,從而擬定更加科學的業務策略。在金融、醫療、制造、交通、電信、政府、汽車等行業,數智企業都在想方設法推動數據的熱化,釋放數據的價值。在這些行業中,數據熱化的表現包括:冷數據與溫數據的價值挖掘冷數據:利用歷史交易記錄或過期客戶數據,結合數據預處理和定期分析來提取潛在價值。溫數據:利用近期的市場趨勢數據,結合機器學習
17、模型進行周期性分析和預測,挖掘客戶消費習慣,提供個性化服務。冷數據:將歷史檔案資料通過大數據平臺進行分析,提取有價值的信息,如歷史事件的趨勢分析。溫數據:將過去的政策實施效果進行匯總分析,為未來的政策制定提供參考。冷數據:分析歷史病歷和長期健康數據,利用大數據分析和機器學習模型來支持慢性病管理和公共衛生研究。溫數據:分析近期的患者就診記錄和藥品使用數據,結合智能分析工具進行醫療資源優化和個性化治療方案的制定。冷數據:設備歷史運行數據、歷史經營數據等,能夠反映制造企業歷史經營狀態。溫數據:包括資產管理數據、經營管理數據等,能夠支撐企業對生產運營狀態進行洞察,從而持續改善生產經營狀態。冷數據:龐大
18、的交通物流歷史數據,包括車輛類型、車牌信息、交通運行狀態等。溫數據:主要包括近期交通數據,通過對此類數據的分析,可以輔助進行交通管理決策,以提升交通運行效率與安全性。冷數據:電信業務中積累的海量歷史數據,這些數據有助于揭示電信業務的發展趨勢,并支撐模型訓練等應用。溫數據:通過對電信業務的分析,能夠推動業務策略與形態調整,并推出創新的電信應用。冷數據:包括汽車在研發、生產、測試過程中產生的海量歷史數據,有助于梳理汽車發展脈絡,提取重要信息。溫數據:包括信息娛樂類數據、涉車服務類數據等,有助于揭示車輛狀態,輔助進行汽車業務的調整與完善。新生成數據熱化特征通過處理交易數據、客戶賬戶信息和市場動態等熱
19、數據,支持快速交易、風險管理和實時分析。路況交通:處理交通監控視頻、緊急服務呼叫記錄等實時數據,支持實時響應和快速決策。公共服務:快速處理公民申請、投訴、建議等數據,以提高公共服務的響應速度和質量。醫院和醫療機構將患者的實時監測數據、急救記錄和實驗室結果等存儲在高性能存儲系統中,以支持緊急響應和實時醫療決策。包括制造執行數據、產供銷數據、生產過程控制數據等,以支持制造企業高效安全地生產、經營。通過對于交通物流數據的即時監測,支持違法事件稽查、交通調度、路況信息通知等應用。包括電信計費數據、通信數據、交易數據等,這些數據不僅影響著電信業務的正常運行,同時也決定著客戶服務的質量、即時性與可及性。包
20、括汽車測試數據、車輛工況數據、車控數據等,通過這些熱數據的處理,能夠輔助進行自動駕駛等應用的開發與完善。行業金融政府醫療制造交通電信汽車02數智化時代下的企業存儲挑戰與數據存儲基礎設施升級趨勢.數據熱化趨勢讓企業存儲面臨六大挑戰作為數據載體,存儲系統已經成為數智化時代企業的關鍵數據基礎設施,其在容量、性能、穩定性等方面的表現將直接影響數據價值的釋放,并在一定程度上決定企業數智化轉型的成敗。面對越來越多數據密集型業務的涌現和熱化數據規模暴增,企業存儲系統的構建與部署將在性能要求、綠色降碳、數據安全、運維管理、數據遷移,以及異構多云環境帶來的數據流動等維度面臨挑戰。挑戰:多應用場景下的高性能需求使
21、傳統數據基礎設施難以適應業務和技術的變化在數智化時代,AI、大數據、云原生、區塊鏈等數字技術已經全面滲透到企業業務流程中,衍生出海量的數智化應用:金融行業的智能風控、量化交易應用,需要進行高頻交易與實時數據分析;醫療行業的AI輔助診斷、智慧問診應用,需要對醫學影像的大量非結構化數據的實時分析和調用;科研領域圖 數據熱化趨勢讓企業存儲面臨六大挑戰來源:IDC,性能復雜升級能耗流動穩定數據泄露與未授權訪問數據篡改與數據完整性風險勒索軟件與惡意軟件攻擊實時性和低時延適應性和擴展性虛擬化向容器化進階分布式數據庫應用全球創建和復制的數據總量將繼續増長數據的大增量、高增速帶來能耗升高數據在多云混合、跨云環
22、境中的流轉增加,企業在保障數據安全、一致性、可恢復性等方面面臨壓力云-邊-端分布廣泛數據溫度冷熱交替數據形態多樣化數據存儲技術迭代后導致的大量數據遷移工作給業務連續性帶來挑戰企業存儲面臨大挑戰的科學仿真、高通量實時成像研究應用,需要大規模數據分析和仿真以及高性能計算;交通領域的實時交通管控、車路一體協同應用,則需要進行實時圖像分析和邊緣計算。這些數智化應用涉及到熱化數據的高頻訪問及處理,都對存儲系統的實時性和低時延提出了更高的要求。而業務場景的差異化,意味著不同場景可能對應不同類型的數據訪問模式以及不同IO性能。例如,互聯網企業秒殺類應用的用戶承載量大、業務流程高、數據讀寫頻繁,這就需要存儲系
23、統提供高并發讀寫能力;智慧交通應用需要更高的實時性,對業務的服務等級協議(QoS)有嚴格要求,這就要求存儲系統具備更低的時延;生命科學領域僅單個細胞表達的數據高達數十萬條讀?。╮eads),而產生的測序文件將達GB以上,需要依托高性能計算和海量可靠的存儲,進行數據的傳輸、分享、備份和歸檔;金融交易應用則更加注重數據的持久性和一致性,需要存儲系統在持久數據存儲與數據一致性驗證等方面進行更多投入。差異化數據涉及到NFS、CIFS、HDFS、S等廣泛的數據協議,以及文件、對象、大數據、塊存儲等不同的存儲服務,這就要求存儲系統支持更廣泛的存儲協議與更敏捷的存儲接口,才能夠更好地滿足多元場景的適應性和擴
24、展性要求。在技術場景中,以容器為代表的云原生技術、分布式數據庫、大模型等數智技術加速迭代并得到廣泛應用,而這些新技術對于存儲系統的要求也在不斷演進。例如,企業從虛擬化向容器化進階,存儲系統需要提供更高的I/O性能和高可擴展性、高可用性、數據持久性,以加速輕量化的容器分發效率;在分布式數據庫落地過程中,其存算分離架構允許存儲和計算資源獨立擴展,這種靈活性要求存儲系統支持高效的水平擴展和垂直擴展,以應對不斷變化的存儲需求;而在大模型訓練與推理流程之中,需要支持數據集加載、CKPT讀寫等訓練場景以及知識庫更新等推理場景,不僅涉及海量checkpoint文件高速讀寫,還要求實現數據的頻繁加載與并行計算
25、,對于數據存儲的帶寬與吞吐有著嚴格要求。挑戰:數據規模高速增長,綠色節能挑戰加大部署在云-邊-端的數智化設備與應用的快速增長,以及創新技術的驅動,導致數據的生成、復制、分析和存儲需求空前激增。IDC的全球DataSphere研究表明,全球數據創建設備的數量將繼續增長,從年的約 億臺設備增長到年的近億臺設備。此外,隨著AIGC應用在企業內的快速擴展,由AI生成的視頻、圖片、文本數據規模將會越來越大。統計數據顯示,音視頻的AI生成將推動數據規模以倍之速提升,走向PB級、EB級。為了應對日益膨脹的數據存儲需求,企業必須加大對數據基礎設施的投資。而追求更高性能和更大容量的存儲設備往往伴隨著顯著的能源消
26、耗,涵蓋信圖 生成式AI應用中數據存量變化來源:IDC,自然語言生成圖像生成音、視頻生成機器人控制簡單任務數十萬到數百萬訓練數據特定領域:機器翻譯或對話系統為提高準確性,需要數百萬甚至數十億的訓練數據常見模型:GAN、VQ-VAE數千到數萬張高分辨率圖像超分辨率圖像生成模型:SRGAN、ESRGAN為確保模型學習到足夠的特性和映射關系,需要數十萬甚至數百萬張高分辨率圖像AI音頻生成:AudioLM、Jukebox、Whisper需要數千到數百萬小時之間的音頻數據視頻生成:為確保生成視頻質量,需要提供足夠分辨率的視頻樣本深入行業場景制造業:搬運、裝配、噴涂等產線任務醫療業:精確手術操作、護理服務
27、、健康檢測等場景航空航天:機場行李處理、空間探索、衛星維護等任務智慧城市:環境檢測、交通管理、公共安全監控等任務GBTBTBPBPBEBEBZB息技術設備(ITE)的能耗、加熱、通風與空調(HVAC)系統的能耗以及電能損失等多個方面。這種能耗不僅導致企業能源支出和運營成本的激增,還對社會經濟的綠色可持續發展構成挑戰。IDC預計,年全球數據中心的能源消耗為.太瓦時(TWh),-年的年復合增長率為.%;年,AI數據中心能耗將達到.太瓦時(TWh),-年的年復合增長率為.%。挑戰:數據安全威脅加劇,勒索、投毒、竊取等新型安全攻擊不斷數據規模不斷擴大、數據價值持續提升的同時,網絡不法分子增加了以數據為
28、目標的網絡安全攻擊。對于企業而言,網絡欺詐的危害尤為嚴重。數據泄露與未授權訪問:企業和組織內部的高價值數據面臨著更加頻繁的訪問和使用需求,這種高頻率的交互雖然提高了數據的可用性和實用性,但同時也使數據更容易成為網絡攻擊的目標。大多數數據泄露事件都可追溯到與身份相關的問題。內部人員濫用訪問權限,以及其他形式的未授權訪問,成為數據安全的重大隱患。尤其是那些涉及用戶隱私、交易等高價值數據,因其潛在的巨大經濟利益而格外吸引黑客的注意。根據Pone-mon Institute的研究,年醫療保健行業單次泄露的平均總成本為萬美元。數據篡改與數據完整性風險:數據篡改帶來的威脅日益嚴重,尤其隨著數據投毒(Dat
29、a poisoning)等新型攻擊手段的出現。數據投毒是指通過向數據集中注入惡意或錯誤的信息來破壞數據的完整性、從而影響基于這些數據的決策過程的一種網絡攻擊。例如,當機器學習模型使用了被污染的數據集進行訓練時,可能會導致模型輸出異常預測結果,嚴重影響其準確性和可靠性。此外,這些受污染的數據還可能被用于制造虛假信息,進一步加劇社會信任危機。勒索軟件與惡意軟件攻擊:勒索軟件和惡意軟件攻擊是對現代企業數據安全的另一大挑戰。這類攻擊通常通過利用系統中的安全漏洞來植入惡意代碼,進而加密用戶數據或控制計算機系統,以此來勒索贖金。年,全球工業網絡頻遭攻擊,如挖礦、加密勒索及APT攻擊等,威脅愈發隱蔽復雜。工
30、控安全對工業企業的健康發展至關重要;遭受攻擊會導致系統破壞、數據泄露、業務中斷,并需耗費大量資源修復品牌與信譽損失。企業存儲系統迫切需要構建起一套覆蓋數據全生命周期的安全系統,不僅要保護企業存儲面臨的完整供給面,還應通過安全威脅的監測、分析、預警、封堵、修復、反饋等流程,建立起周全的數據安全防護能力。同時,存儲系統自身應具備有效的數據保護與恢復能力,在出現數據泄露、數據丟失等問題時,能夠快速地將數據恢復到正常狀態,保護企業關鍵的數據資產。挑戰:企業中的數據變量增多,全局管理難度攀升在企業數據快速增長的同時,企業數據的變量,即影響數據管理和處理的各種因素,也在不斷增加,包括但不限于數據的存儲位置
31、、訪問頻率以及數據類型等。這些因素共同作用,增加了數據管理的復雜性。這首先體現在,基于云-邊-端的數智化協同架構需要數據在云邊端高效流轉,而云側、邊緣側、端側的數據存儲管理需求都各有不同。例如,云端存儲需要對海量的數據資源池進行統一管理,強調存儲的統一管控以及運維;邊緣側由于空間尺寸限制,以及即時數據洞察的需求,更側重于熱化數據的匯聚、處理與分發;端側存儲則側重于設備本地數據的快速處理,滿足應用的需求。不同的數據存儲管理要求意味著企業需要強化全局存儲管理,才能分釋放數據價值。其次,從數據訪問頻率與“溫度”來看,冷數據、溫數據、熱數據都有不同的存儲需求,而隨著企業數智化進程的加速,數據訪問的頻率
32、在提升,出現了大量的冷數據轉變為溫數據甚至熱數據的現象。這就要求企業根據不斷變動的數據“溫度”,即時調整存儲管理策略,更好地釋放數據價值。此外,從數據形態而言,在大模型等技術的驅動下,企業內部的數據正在由文本類、圖片類等單模態向多模態、跨模態演進,并出現了更多半結構化、非結構化數據的存儲需求。為滿足不同類型的數據需求,企業通常會部署不同存儲介質、存儲協議和存儲服務,這些都給存儲系統的統一管理帶來了極大的挑戰。挑戰:技術快速迭代,設備升級與數據遷移帶來挑戰在數據量增長、技術迭代和數據熱化趨勢的多重影響下,既有存儲系統在容量、性能、穩定性方面無法充分滿足企業需求時,需要對于存儲設備進行升級,在此過
33、程中的數據遷移工作又會給企業帶來新的挑戰。若沿用傳統的冷遷移方式,由于遷移的數據量可能會高達數百TB乃至PB級,這一過程往往要求存儲系統暫停服務,數據轉移周期長達數天乃至數周,將導致業務的連續性受到嚴重威脅,甚至長時間的服務中斷。企業可以考慮采用虛擬化或者網關技術來實現數據的在線遷移,但其遷移速度可能會因網絡帶寬的限制而受到影響。為了提高遷移效率并減少數據傳輸的負擔,部分解決方案會在源主機上對數據進行壓縮,并在目標主機上對壓縮數據進行解壓縮。盡管這種方法可以減輕網絡壓力,但壓縮/解壓縮的過程會消耗大量的計算資源,對系統的整體性能產生影響。挑戰:IT環境趨向復雜,保持數據高效連貫的流動可用變得更
34、具挑戰為適應多樣化的業務需求,企業正將其不同系統部署在多云基礎設施之上,而數據跨多云環境的流動逐漸成為趨勢。例如,基于數據安全考慮,企業會利用私有云承載核心業務,利用公有云用于備份/容災工作。這種策略導致數據需要在多云之間進行頻繁的流動,引發了跨云數據傳輸和存儲的安全性問題;尤其是在數據隱私保護和合規性要求方面,不健全的數據安全策略可能導致敏感信息泄露或違反安全等級保護協議等風險的發生。在多云環境中,實施分級數據備份策略意味著數據會在不同云平臺間進行流動。在發生災難或安全事故時,存儲于公有云的的備份數據需要快速恢復到私有云,這就要求企業在多樣化的IT環境中維護數據備份的一致性,確保數據恢復的完
35、整性和可靠性,減少業務中斷時間。對于存儲而言,由于多云之間的環境異構,需要企業實現創新多云存儲策略,實現高一致性、統一的存儲管理。.構建面向數智時代的存儲基礎設施為了應對上述挑戰,加速數智化轉型,企業需要構建面向數智化時代的數據基礎架構。IDC此前在針對數字基礎架構的研究中,給出了“未來數據基礎設施”的定義,并明確了其發展趨勢,即未來數據基礎設施是面向多云架構、承載新興技術應用的平臺,具有靈活部署、綠色節能、安全可靠、智能管理和多云就緒等五大特征。IDC認為,存儲基礎設施是“未來數據基礎設施”的重要組成部分,其應符合“未來數據基礎設施”建設的基本原則,利用全閃化部署,有效幫助企業應對當下面臨的
36、存儲挑戰,并面向數智時代的發展趨勢支持企業長期發展,成為企業實現數字化和智能化的基石?;诖?,IDC認為,數智時代的存儲基礎設施應具備六大特征:高效敏捷、綠色節能、安全可靠、智能運維、無縫升級和自由流動。特征一:高效敏捷數智時代的存儲基礎設施需要能夠應對高IOPS、低時延、大帶寬的數據處理場景,以滿足不斷演進的業務和技術發展需求,比如加速容器應用發放效率,提升存算分離架構的分布式數據庫性能,以及加速AI模型訓練與模型推理。同時,存儲系統在保障性能和可靠性的基礎上,在協議層和接口層應具備足夠的敏捷性,廣泛支持NFS、CIFS、NoF、S等數據協議,以及文件、對象、塊存儲等存儲服務。特征二:綠色節
37、能持續發展大容量SSD和數據縮減技術同樣是數智時代存儲基礎設施搭建的必選項,二者可大幅降低機房占用空間和數據中心能耗,保障承載海量數據的存儲架構實現綠色節能可持續發展。全閃存具有更高的可管理性和可維護性,通過NoF(NVMe over Fabrics)存儲網絡實現更高的吞吐帶寬和更低時延,最大程度釋放SSD介質的性能潛力,同時相同功耗的SSD容量是HDD的倍甚至更高。而高效的數據壓縮、數據重刪技術可以在不犧牲性能的前提下,大幅減少數據中心的物理空間需求和能源消耗,降低數據在存儲和傳輸過程中的網絡帶寬及空間消耗,從而提高數據管理的效率。圖 構建面向數智化時代的存儲基礎設施來源:IDC,高效敏捷智
38、能運維無縫升級 綠色節能自由流動安全可靠存儲基礎設施應具備六大特征特征三:安全可靠數智時代的數據存儲基礎設施應具備更高級別的安全能力和系統可靠性,包括構建存儲內生安全防護體系主動防御,以應對更復雜的、人工智能驅動的新型網絡攻擊。為了確保數據在面對復雜網絡攻擊和自然災害時的安全性與可用性,多副本策略成為必要手段。這不僅意味著在單一的時間點上創建數據的多個副本,而且涉及時間和空間兩個維度上的保護機制。從時間維度來看,持續數據保護(CDP)技術和高密度快照等技術允許系統記錄數據變化的歷史狀態,從而可以在任何時間點恢復數據到一個已知的良好狀態;從空間維度來看,則是通過地理上分散的數據中心之間進行數據同
39、步,使用復制及雙活技術,即使某一地點發生故障,也可以立即切換到另一個地理位置上的活動副本,保證業務連續性和數據訪問不受影響。此外,還應配置完整的訪問控制、存儲加密和快速恢復等功能,保障數據資產安全、滿足數據合規相關法律法規要求;同時,利用自動化工具進行資源調配,提高數據管理效率和準確性。特征四:智能運維 針對數智時代的多元數據難管理、難運維的挑戰,智能運維能力同樣必不可少。數智時代的數據存儲基礎設施應實現智能運維,使用機器學習算法自動從海量運維數據中學習并總結規則,實現跨設備的統一數據管理和調度、存儲資源自動化配置、智能化性能分析、故障分析和恢復等,并通過內置AI運維大模型的智能助手,進一步改
40、善運維工作的人機交互能力,同時實現部分工作流的智能化替代。特征五:無縫升級 數智時代的數據存儲基礎設施必須巧妙地平衡創新技術應用與企業資產保護。在確保老舊設備得到合理利用的同時,在軟硬件升級的過程中保證業務連續性,做到架構統一支持升級管理,從而實現產品升級設備不停機,軟件換代業務無感知。在業務升級及存儲更新換代的過程中,支持數據無縫遷移或者存儲跨代次持續擴容及軟件更新,減少數據遷移量,從而加速新業務的上線時間,始終保持一致性體驗,確保業務系統的高效流暢運行。特征六:自由流動 數智時代的存儲基礎設施需要支持數據在異構環境(跨云、跨本地和云)下的自由流動,實現數據全生命周期支撐和全環境支撐。這包括
41、在備份方案中采用與混合云和多云環境無縫集成的備份解決方案,使企業能夠整合備份操作并簡化數據恢復流程,提高數據復原力;提供分級存儲能力,在滿足不同數據存儲需求的同時,推動數據在各級存儲中實現安全、自由的流動。03企業全閃存數據中心創新升級全面推進全場景閃存化作為存儲能力均由固態硬盤(SSD)提供的數據中心,全閃存數據中心憑借其在性能、部署密度、能效等方面的優勢,已經成為數智時代數據存儲基礎設施建設的發展趨勢。IDC認為,全閃存數據中心有利于解決企業數智化轉型過程中的數據存儲難題,促進熱化數據的存儲、處理,加快數據價值的釋放。在全閃存技術持續創新、SSD不斷普及的背景下,全閃存數據中心迎來了創新升
42、級,并全面推動著企業核心業務、次核心及非核心業務、數據分析、AI大模型、數據備份等需求場景的閃存化。.以持續升級的技術驅動全閃存數據中心建設全閃存數據中心是指所有的存儲容量均由固態硬盤提供的數據中心。在實踐中,主存儲和備份存儲均由閃存組成、其余存儲即將向閃存演進、將機械硬盤切換成固態硬盤的數據中心也被稱為全閃存數據中心。全閃存數據中心具備高密度、高可靠、低延遲、低能耗等特征,可承載企業核心業務、新興業務和應用,可作為幫助企業最大化實現數據創新的數據中心。近年來,全閃存數據中心快速發展,這在很大程度上源自SSD市場發展態勢良好的推動。受益于技術進步、產能提升與應用場景拓展,SSD的市場份額和出貨
43、數量已全面超越機械硬盤。IDC預計,從年到年,全球SSD市場規模將以.%的復合年增長率增長,到年收入將達到億美元。全球SSD容量出貨量預計在-年的復合年增長率為.%。同時,全閃存數據中心的持續創新升級也在為滿足企業不斷更新的存儲需求帶來更有力的支持。這首先源于 SSD的技術創新,與HDD相比,SSD具備高性能、高可靠、壽命長等優勢,而且面向不同場景提供了容量型、性能型等不同選擇。以華為容量型全閃存OceanStor 與混合閃存OceanStor 為例,前者在存儲空間上節省多達.%,能耗則降低.%。在接口協議方面,SSD硬盤的接口已經實現了從U.接口到M.接口、SATA接口,再到PCIe接口的進
44、化。目前基于NVMe協議的PCIe接口最大傳輸速度已經達到Gbps,相較于U./M./SATA接口的Gbps最大傳輸速度有顯著提升。在運維管理方面,全閃存數據中心不僅部署了存儲硬件管理、數據歸檔、備份恢復、虛擬化等基礎軟件,而且開始融入AI等創新技術,構建起智能化、統一的運維管理平臺,提升了全閃存數據中心的全局可視化能力與主動管理能力,有助于保證全閃存數據中心的持續高可用。.全閃存數據中心全場景支撐存儲需求憑借在存儲硬件、通信網絡、運維管理等方面的提升,全閃存數據中心已經能夠支撐包括核心業務、次核心及非核心業務、數據分析、AI大模型、數據備份等場景在內的需求場景全閃化,幫助企業更好地應對數據熱
45、化帶來的挑戰,釋放數據價值。存儲硬件性能提升接口協議技術升級存儲軟件功能豐富SLCbit/cellU.接口AHCI協議最大傳輸速度GbpsM.接口AHCI協議最大傳輸速度GbpsSATA接口AHCI協議最大傳輸速度GbpsPCIe接口NVMe協議最大傳輸速度GbpsTLCbit/cellQLCbit/cell存儲硬件管理數據歸檔等基礎軟件安全防護備份恢復軟件虛擬化軟件圖 全閃存技術持續創新升級,滿足企業不斷更新的存儲需求來源:IDC,場景一:核心業務全閃化核心業務通常對存儲讀寫性能的要求、穩定性、安全性和業務連續性有極高要求。例如,在金融行業中,快速交易、實時風控等金融核心業務系統要求存儲系統
46、具備極高的性能、穩定性、可用性,滿足海量的交易數據、客戶賬戶信息和市場動態等熱數據的處理需求。在醫療行業,HIS、實時醫療決策等核心系統關乎患者生命,因此對于存儲系統的穩定性有極高的要求,而實時監測數據、急救記錄和實驗室化驗結果等熱化數據也需要在更短的時間內得到處理。如今,企業核心業務應用越來越多,場景越來越廣,技術架構越來越復雜,涵蓋了從數據庫到虛擬化、再到容器的多種部署模式,用于支撐企業核心業務的數據中心規模已經從十幾臺服務器擴展為數百臺甚至上千臺服務器。同時,AI等新技術將越來越多地滲透到企業核心業務中。在上述因素的綜合作用下,支撐企業核心業務的存儲系統面臨著如下挑戰:圖 全閃存數據中心
47、全場景支撐存儲需求來源:IDC,核心業務全閃化全閃存數據中心滿足核心業務對性能、穩定、安全及業務連續性的高要求。次核心及非核心業務全閃化在文件共享、應用服務器以及容災等業務連續性場景中,全閃存可提供高可靠性和優化的性能,有助于解決性能、能耗、成本等挑戰。數據分析全閃化針對海量、多樣且復雜的數據以及音視頻內容,全閃存數據中心將提供高效能存儲系統,以實現高速的讀寫操作、低延遲的訪問,以及強大的并行處理。AI大模型場景全閃化面對大規模多模態數據,全閃存數據中心可滿足AI對海量數據高效讀寫要求,確保大模型訓練、推理階段數據資源的高效供給,同時為EB級多模態數據提供充足存儲空間。數據備份全閃化全閃存數據
48、中心提供實時備份和數據快照功能,采用去重和壓縮技術,并應用模塊化設計以提升靈活性和可擴展性。業務類型廣:企業核心業務已經呈現出從數據庫到分布式數據庫、虛擬化到容器、文件存儲到對象存儲的轉變趨勢,同時AI等創新業務也不斷涌現,這就要求支撐核心業務的存儲具備更強的適應能力、敏捷的部署能力,以滿足業務快速上線的需求。訪問規模大:伴隨著企業業務的發展,受移動互聯網等應用平臺的驅動,企業核心業務系統的訪問量出現成倍甚至數十倍、百倍的增長,特別是在業務高峰期,訪問規模更是會上升到數千萬倍的增長量級,給存儲系統的吞吐能力帶來嚴峻挑戰。業務連續性要求高:企業核心業務關聯性越來越強,一個場景可能會覆蓋到多個應用
49、、上百個APP,一次停機將會給業務帶來不可估量的影響,業務每小時停機損失也在持續增加。因此,無論是意外故障還是業務升級,都需要考慮其停機時間及業務影響。安全風險高:企業核心數據是企業最寶貴的數據資產,竊取或者通過勒索軟件加密核心數據將為網絡犯罪分子帶來巨大的收益。因此,企業核心業務面臨著愈發嚴峻、多元化、復雜化的安全攻擊。全閃存數據中心具備敏捷高效、安全可靠、無縫升級、數據流動等優勢,能夠有效應對上述挑戰,從而成為企業核心業務的關鍵支撐平臺。在性能方面,全閃存數據中心憑借著SSD存儲介質、存儲接口的升級,具備極高的性能表現,可支持混合IO負載、大文件大帶寬、小文件高OPS等場景的存儲需求,化解
50、核心業務因業務類型廣、訪問規模大所帶來的挑戰。在擴展性方面,全閃存數據中心具備彈性、靈活的擴展能力,可輕松擴展到數百PB級容量,支撐海量的核心業務;全閃存數據中心還能夠實現塊/文件/對象訪問協議統一,通過并行架構設計,支撐多業務敏捷、高效、安全的統一部署。在無縫升級方面,全閃存數據中心支持模塊化升級,減少或無數據遷移,降低操作風險和復雜度;同時提供設備無縫升級換代服務,存儲設備更新換代時可減少對在線業務的影響;基于無數據遷移或者在線遷移等技術,企業可以持續升級存儲軟件,享受最新存儲技術。在業務連續性方面,全閃存數據中心通過部件可靠、框級可靠、系統可靠、方案可靠等多重技術,容忍單個部件故障、單個
51、控制框故障、單個系統故障、單個機柜故障乃至單個數據中心故障,達到高可靠性,保障業務始終在線。在安全性方面,全閃存數據中心擁有權限管理、用戶認證、可信、SAN和NAS全域防勒索等能力,基于內生安全防護能力,有效降低網絡攻擊帶來的安全風險。此外,全閃存數據中心還能提供智能化的多元數據恢復服務,確保在遭遇攻擊后能迅速恢復數據,達到最低的恢復點目標(RPO)。場景二:次核心及非核心業務全閃化文件共享類、應用服務器以及容災類業務,一般被稱為次核心或者非核心業務,這些業務通常對業務連續性也有一定的要求。與核心業務對比,該類業務的特點是數據量大、成本高,但數據訪問規模不太大,熱化程度較低,數據往往以冷數據、
52、溫數據等形式沉淀在企業存儲系統中。因此,較長時間內,在做存儲資源分配和規劃時,這類業務的數據存儲需求往往得不到足夠的重視,甚至會為了其他更重要的業務而做出妥協。但隨著AI時代的到來,次核心及非核心業務相關數據的重要性正在逐漸增加,呈現出數據持續加熱的趨勢。主要變化有:數據規模日漸增大:隨著業務的發展和AI算法對大數據集的需求增長,次核心及非核心業務所產生的數據量也在不斷擴大,文本、圖片、視頻等多維數據日漸增多,文件單位從KB到GB,數量也達到數千萬乃至數億個,不僅給企業存儲容量帶來巨大壓力,而且數據的訪問、查找也面臨巨大的挑戰。訪問頻次逐步提高:由于AI大模型應用需要不斷利用海量的新增數據進行
53、訓練,次核心或非核心業務產生的數據也將被更為頻繁地訪問和分析,以提取有價值的洞察。這些數據不僅廣泛覆蓋文件、圖片、音頻、視頻等多種類型數據,數據內容也廣泛覆蓋數據庫、文件、備份歸檔等。對停機容忍度較低:次核心業務的停機,尤其是應用服務器的停機,會導致企業服務中斷,其停機時間的增加會對業務連續性和用戶體驗產生負面影響,因此對系統的可靠性和可用性的要求也隨之提升??缭屏鲃蛹皞浞荩横槍Υ魏诵臉I務,一些企業會考慮使用公有云來存儲溫數據和冷數據存儲,或是進行數據備份,以此減少在自有機房和災備數據中心的投資?;诖?,企業對于數據的跨云自由流動有明確的需求。次核心及非核心業務對于存儲的容量、性能等方面的要求
54、會更加明顯,同時伴隨存儲數據量的增加,企業對于存儲成本、能耗等層面的要求也會進一步突出。全閃存數據中心在存儲密度方面具備顯著優勢,通過QLC SSD盤的廣泛使用,企業可以用更少的空間、更少的功耗實現更快的讀寫速度和更高的可靠性,這意味著企業相應的機架空間、能耗等成本也會顯著降低。在幫助企業應對性能和能耗挑戰的同時,降低其在存儲基礎設施方面的投資,從而提升發展效益。同時,通過有效利用云服務,企業可在數據備份和存儲等方面進一步減少投資。同時,全閃存數據中心在性能和成本方面實現了更好的平衡。面對次核心及非核心業務的數據規模挑戰,其能夠加速數據的存儲與處理,提升數據訪問、查找性能,順應次核心及非核心業
55、務數據熱化趨勢,更好地釋放數據價值。面對次核心業務的連續性挑戰,較之HDD盤,SSD盤能夠顯著提升可靠性,以及QLC SSD盤的持續TCO降低,可以全面提升次核心業務的訪問效率及業務連續性;通過實現數據在傳統數據中心和云端之間的自由流動,包括備份上云或分級上云,進一步降低企業的持有成本。此外,次核心和非核心存儲全面繼承核心業務系統存儲的設計理念及架構,在可靠性、功能以及方案設計上可充分滿足此部分業務的提升要求。場景三:數據分析全閃化數據分析正逐漸成為推動企業業務發展的核心動力;它不僅在商業決策中扮演著至關重要的角色,而且在決定企業如何有效地挖掘和利用數據價值方面發揮著關鍵作用。數據分析涵蓋了從
56、實時數據分析到離線數據分析等多種場景,對存儲系統提出了以下挑戰:海量數據存儲:為了揭示數據背后的深層價值,數據分析依賴于龐大的數據集,包括日志、傳感器數據、音視頻等。這些數據不僅數量巨大,而且類型繁多,要求存儲系統提供更大的存儲容量和更高的性能,以滿足對海量數據進行分析的需求。數據多樣性和復雜性:企業數據分析系統的數據來源廣泛,可能包括數十甚至數百個核心和非核心業務系統。這要求存儲系統能夠高效地管理和處理來自不同來源、不同類型的復雜數據。高速數據讀寫:為了迅速產生業務洞察,數據分析系統對存儲系統的讀寫速度有著極高的要求。特別是在實時數據分析場景中,系統應能夠快速處理和分析不斷變化的數據流。低延
57、遲訪問:在諸如設備狀態監控、業務實時風險控制等實時數據分析應用中,數據分析的速度對應用效果有著顯著影響。因此,存儲系統需要具備低延遲訪問能力,以確保數據查詢和分析任務能夠迅速執行。并行處理能力:為了提升分析效率,數據分析系統通常需要采用多線程或多節點并行處理技術,以實現更快速、更高效的數據處理能力??蓴U展架構:隨著數據分析需求的不斷增長,為了構建更具成本效益、面向未來的數據分析系統,存儲系統需要支持橫向擴展,以便按需增加存儲資源。面向企業的數據分析業務場景,全閃存數據中心憑借綠色節能、敏捷高效、智能運維等方面優勢,為企業打造了一個卓越的存儲基礎平臺。高性能:全閃存數據中心提供高I/O性能和超低
58、延遲的數據讀寫能力,支持大規模并行處理,大幅提升數據分析任務的執行速度。靈活擴展性:全閃存數據中心支持根據業務需求靈活擴展存儲容量和計算資源,有效應對數據量的持續增長和日益復雜的分析需求。能效優化:全閃存數據中心以其高能效和高部署密度,幫助企業減少存儲系統節點數量,從而降低存儲服務器的部署和運行成本,減少了空間占用并節約了能耗。智能化數據管理:全閃存數據中心能夠智能地根據數據訪問頻率進行冷熱數據分層,并利用數據壓縮和去重技術,優化存儲資源的利用率,節省存儲空間并降低成本。支持多樣化數據處理需求:全閃存數據中心能夠高效支持包括大文件大帶寬、小文件高OPS在內的多樣化數據處理需求,加速混合存儲負載
59、的運行,滿足不同業務場景的數據處理需求。場景四:AI大模型場景全閃化作為一種創新的前沿技術,人工智能大模型已經在企業中得到廣泛應用,并將迎來從基礎模型到開發工具再到上層應用的全面革新,其產業格局也將迎來多輪重大變革。IDC數據顯示,年中國大模型平臺及相關應用市場規模已經達到.億元。對于存儲系統而言,快速滲透的大模型應用帶來了如下挑戰:數據采集與清洗階段:大模型應用的基礎是海量的數據。當前,企業通常會對開源或商業大模型進行微調訓練,這就要求對需要訓練的企業數據進行歸集與清洗;存儲系統需要通過對多種存儲協議的支持、統一數據管理能力來實現多元異構數據的采集,為大模型應用奠定數據基礎。模型訓練階段:大
60、模型訓練數據集的數據量已經從TB跨越到PB級,甚至EB級規模,海量的數據對于存儲系統的讀寫性能有著嚴格要求;尤其是在Checkpoint機制下,每一個計算過程的中間態要被存下來,需要消耗大量帶寬。大量的數據需要不斷地從GPU寫入存儲中,這對于存儲系統的IO吞吐能力有著較大的挑戰。此外,模型訓練階段的集群故障恢復、算子編譯過程都需要通過高性能存儲來降低耗時,以減少GPU的等待時長。模型推理階段:在執行推理任務的過程中,應用程序往往會使用向量數據庫,這意味著在發生大規模內容更新時,必須要考慮億級大容量向量數據庫的讀寫性能。此外,存儲系統還需要具備更高的擴展能力,以滿足快速增長的推理應用需求。除了要
61、格外關注存儲系統的性能、容量、擴展性,存儲系統還面臨巨量多模態數據、并行計算和多技術場景融合等挑戰,數據處理過程中的非法獲取或濫用帶來的數據安全性、可靠性挑戰,以及訓練與推理過程中集群的可靠性、可用度挑戰。面向大模型應用場景,全閃存數據中心憑借高效、可靠、綠色、智能運維等優勢,為大模型提供了堅實的存儲基礎設施:根據大模型應用在數據采集、模型訓練、模型推理等階段的需求,靈活配置場景需要的存儲容量,同時支持數據冷熱分級,兼顧性能和成本,更好地支持大規模數據集。采用xPU直通存儲、存儲數控分離等技術,加速大模型數據讀寫,保證數據高效供給,從而加速訓練集加載和Checkpoint斷點讀寫,保障大模型集
62、群算力的高效利用。采用可擴展設計,具有靈活敏捷的特性,幫助大模型平滑擴展存儲容量和性能,同時增加數據存儲的并行性,提高數據訪問速度。提供豐富的軟件功能,對數據進行預處理,包括清洗、去重、校驗等,并可根據數據的特性和需求進行分類、組織、索引和管理等操作。在數據安全合規方面可配置完整的訪問控制、存儲加密、數據備份和快速恢復功能,并實現自動化,提高數據管理效率和準確性。廣泛采用PCle Gen、Gen在內的高速互聯技術,提高數據傳輸速度,同時通過 NVMe SSD等組件提升數據讀寫速度。廣泛兼容各種不同的協議和技術,擴充可分端口,同時提供簡單易用的接口和服務,方便用戶的使用和操作。內置智能檢索引擎,
63、支持向量和標量混合檢索,可加強推理檢索和精度,從而加速AI大模型推理和知識庫更新。場景五:數據備份全閃化在數據備份領域,傳統系統往往因速度緩慢、恢復時間長、數據安全性不足而受到詬病。隨著業務需求的增長,對存儲系統的擴展性和成本控制能力提出了更高的要求。全閃存數據中心以其綠色節能、高性能、內生安全等優勢,可顯著提升企業的數據備份效率?;谲浻布诤系膭撔录軜?,構建一個備歸合一的高性能、高可用性、高可靠性的數據備份恢復平臺:提升備份效率:全閃存數據中心采用高性能存儲介質和高速通信網絡,大幅提升了數據吞吐效率,從而加快了數據備份的速度。提升恢復效率:通過全閃加速,提供高IOPS性能,提升數據恢復速度
64、,可即時訪問備份映像中的數據,快速利用備份數據。優化存儲成本:通過全局重刪、語義級重刪等先進技術,實現了高數據縮減率,其大容量高密全閃介質可有效降低企業數據備份歸檔所需的存儲空間和存儲成本。增強數據安全:具備快速恢復數據副本的能力,有效抵御勒索軟件等針對數據的網絡攻擊,降低數據泄露和丟失的風險。加速自由流動:支持備份數據分級上云,實現數據安全、自由的跨域流動,降低總擁有成本(TCO),提升災難恢復能力。靈活擴展性:采用模塊化設計,提高了備份系統的靈活性和平滑擴展性,以適應不斷變化的業務需求。04最佳實踐 案例一 興業銀行數字化轉型選擇建設全閃存數據中心背景與需求在開展數字化轉型后,興業銀行充分
65、利用金融科技力量,通過科技創新實現質量變革、效率變革、動力變革,推動企業快速轉型。興業銀行在金融科技領域的快速發展,對數據中心基礎設施提出了三大挑戰:性能挑戰:隨著互聯網線上交易成為主流,核心業務系統日交易規模已超過億級。同時,大數據分析等新型科技應用對數據庫和文件系統的性能提出了更高的要求,需要更高性能的基礎架構來處理日益增長的海量數據和文件。安全挑戰:數據安全是銀行的生命線。隨著系統規模的擴大,*小時的業務在線運行對安全性提出了更高的要求,確保數據的安全性和完整性成為重中之重。能耗挑戰:據數據統計,數據存儲用電約占數據中心設備能耗的%。因此,降低存儲能耗對于推動數據中心的整體綠色化和可持續
66、發展具有重要意義。解決方案與成效興業銀行與華為合作,共同推進全閃存數據中心的建設,實現了在性能、安全性和綠色節能方面的顯著提升。面對數據熱化趨勢的挑戰,企業正在加強全閃存數據中心的投資,以支持全面的業務場景并更深入地挖掘數據的潛力,為業務的健康持續發展打下堅實的基礎。通過分享和分析這些實踐經驗,我們可以探索全閃存數據中心在行業落地的最佳路徑,并洞察其未來的發展趨勢。在性能方面:興業銀行通過數據中心存儲全閃存化改造,顯著增強了業務系統的性能。例如,聯機交易的平均耗時、批量業務處理時間和海量文件查詢時間都得到了大幅度的降低,交易系統性能的最大提升達到了數十倍。在安全方面:興業銀行通過全閃存數據中心
67、的建設,實現了對數據全時段、全類型、全場景的有效保護。一方面,通過多地多中心多活的災備設施建設,確保了業務的高可靠性和連續性;另一方面,針對虛擬機的高效備份和快速數據恢復,為數據從產生到銷毀的整個生命周期提供了全面的保護。在能耗方面:由于興業銀行業務系統眾多,需要存儲提供塊、文件兩種服務,且數據極其重要,所有設備都需要容災及備份設施來保障運行的可靠性。在華為全閃存存儲高密硬盤單元及多合一架構的支持下,數據中心的設備數量顯著減少,機房空間得到了有效利用,設備能耗大幅降低。經測算,通過生產交易系統的全閃存化替代,存儲能耗降低了%,存儲機架數減少了%。興業銀行通過建設“全閃存數據中心”,成功實現了能
68、耗的顯著降低,并大幅提升了數字化系統的性能與可靠性。案例二 某運營商構筑全閃存數據中心背景與需求某運營商致力成為G發展的“領跑者”,在筑牢新基建的過程中,存儲是其發力的重要方向。而隨著數據中心走向集中化、規?;?,成本、能耗、碳排放等問題日益凸顯,因此亟待向高存力、高算力、高運力、高能效、高安全的新型數據中心演進。解決方案與成效該運營商持續以閃存為代表的先進存力建設,在長三角區域的數據中心全面引入全閃存數據中心建設的理念,從重要系統采用華為OceanStor Dorado全閃存存儲到AI場景采用華為AI全閃存,現網主存儲閃存率已經達到%。采用先進閃存設備及技術,助力IT基礎設施綠色節能:數據中心
69、采用大容量硬盤技術,單位容量能耗降低%;采用高密度SSD盤,同樣存儲設備空間的硬盤容納率提高%;數據縮減算法技術,將數據縮減率提升到.:及以上;通過華為OceanStor Dorado全閃存的正交背板設計,改善傳統背板阻擋氣流通道、散熱效率低的難題,提升散熱效率%;以風扇與控制器集成設計改善風道,業務壓力較小時散熱能耗降低%。高效節能的全閃存數據中心建設完成后,該運營商的存儲設備能耗降低%、存儲設備占地面積降低%以上。NoF+無損智能以太存儲網絡技術提升存儲網絡質量:全閃存數據中心采用NVMe over RoCE技術,全面發揮SSD盤的性能。采用華為OceanStor Dorado全閃存存儲和
70、CloudEngine智能無損以太網交換機,通過NVMe over RoCE協議替代傳統的FC協議,數據中心存儲網絡訪問性能提升%,時延減少%。采用集約化建設,數據按需實現共享,消除IT設備孤島:采用華為DME數據管理引擎實現數據中心的集約化、智能化管理,將存儲資源進行集中池化,以服務化形式按需提供給不同業務系統主機使用,消除IT孤島,實現數據共享,有效促進了數據中心的集約化建設。同時,DME利用AI技術,對存儲潛在風險進行預見式評估,提前識別問題,并通過豐富的運維經驗及時處理閉環,實現運維管理的集約化、智能化?;诖鎯壬踩?,構筑數據安全的銅墻鐵壁。在存儲內生安全方面,數據中心采用靜態加密
71、和傳輸加密兩層存儲加密技術確保數據安全,做到端到端數據安全;加密算法通過硬件卸載實現性能無損,同時陣列加密和硬盤加密可以靈活選擇,保障用戶數據安全。在抵御勒索攻擊方面,以“進不來、改不了、能恢復”作為底線,即做到勒索攻擊主動監測、存儲安全快照防篡改、隔離區安全副本留存,構建勒索攻擊的“最后一道防線”。案例三 某亞太地區銀行為多場景業務構建堅實存儲底座背景與需求亞太地區某頂級銀行業務遍布東北亞、東南亞和南亞市場,為千萬客戶提供個人及企業銀行和財務等金融服務,日均處理業務量超萬筆。為應對金融服務的拓展需求,為用戶帶來更加優質的服務,該銀行希望通過構建全場景閃存加速,實現存儲系統的改造升級,滿足核心
72、業務、AI業務和備份業務對存儲性能、穩定性、擴展性等方面的要求,為該行的云、AI和創新業務戰略提供有力支撐。解決方案與成效該銀行攜手華為,通過構建全場景閃存化,將全閃存儲部署在銀行生產、備份和AI系統中。在生產系統中,華為全閃存存儲憑借其高性能有力支撐了核心業務的敏捷創新;在備份方面,華為全閃備份存儲配合備份軟件,極大地提高了生產業務和測試業務的備份和恢復效率;在數據分析方面,采用華為全閃分布式存儲集群構建大數據及AI分析平臺,貸款流程從分鐘縮短至分鐘。核心業務-保障系統高效運行,滿足容器等創新技術應用需求:該銀行采用虛擬私有云作為核心業務承載,同時采用容器等創新技術滿足業務敏捷部署。采用華為
73、OceanStor Dorado全閃存承載核心業務,虛擬機業務采用SAN協議訪問,容器則采用NAS協議訪問。部署后,存儲性能提升倍,并且通過Palm尺寸SSD盤的高密度設計和高達:的重刪壓縮比,存儲占用機柜空間節省%,TCO降低%。同時,采用華為SmartMatrix高可靠架構及A-A雙活設計,方案可靠性大幅提升,單設備的可靠性從容忍控制器壞升級到容忍控制器壞。面向容器應用,KB小文件小IO性能提升倍,存儲平均響應時延從ms降低至ms,確保容器高并發場景性能無憂,基于NAS的A-A雙活方案,站點故障切換時長從分鐘級降到秒級,系統連續性得到有效保障。備份業務-構建安全高效的備份系統,性能提升倍:
74、該行百TB級生產數據需要長期留存,而每年的硬件更換導致技術升級繁雜且花費大量時間,同時現網備份系統還面臨擴容困難、管理分散、性能和可靠性難以預料等挑戰。華為為該行提供了OceanProtect全閃專用備份存儲,與備份軟件對接組成備份系統,其相比傳統服務器節點形態有更長的生命周期,解決客戶硬件頻繁技術更新、數據遷移難的問題。同時生產中心和災備中心專用備份存儲間啟用遠程復制功能,實現副本異地保留,為該銀行提供.%系統可靠性,可在個控制器故障的情況下穩定運行,備份業務無感知。華為全閃備份存儲實現了倍以上性能提升,并支持Scale-out和Scale-up彈性擴展,滿足未來數據增長需求。數據分析業務-
75、實現高性能、高可靠的數據分析:該行分析平臺預計每年數據量以-%的速度增長,每年新增數億級文件,檢索體驗差;作為A類業務,需要多地多活容災保護,但是現網采用集群拉遠方式,訪問性能差,且需跨站點重構,可靠性低。華為提供OceanStor Pacific高密全閃分布式存儲集群,并采用智能分級到OceanStor Pacific大容量分布式存儲的解決方案,兼顧性能和成本,部署個站點作為跨站點多活,實現單集群萬IOPS,時延穩定低于ms,加快AI訓練與推理的效率,同時提升借款人風險識別準確率,貸款流程從分鐘縮短至分鐘;在可靠性方面實現部件全冗余,并支持跨站點多活容災,達到節點/站點故障不影響業務,并通過
76、冷熱數據智能分級,獲得成本和性能的理想組合。05IDC建議為了滿足企業在核心業務、次核心及非核心業務、數據分析業務、AI大模型和數據備份等全場景業務閃存化的需求,構建具備綠色節能、高效敏捷、安全可靠、智能運維、無縫升級、自由流動等特征的新一代全閃存數據中心,IDC建議企業在存儲選型時可以從以下幾個方面著手:業務與技術需求評估:企業應詳細梳理當前和未來的業務發展需求,評估業務在實時性、擴展性等方面的特點,并進行數據“溫度”分層。同時,考慮容器化、分布式數據庫、生成式AI大模型等技術應用,構建面向未來的存儲基礎設施。全場景閃存化推動:企業的不同業務對性能、穩定性、安全性、業務連續性的要求各異,需要
77、根據業務場景的需求部署不同類型的全閃存存儲。例如,使用性能型全閃存存儲承載核心業務,使用容量型全閃存存儲承載次核心業務。持續創新與升級:通過采用創新的SSD介質、智能盤控卡協同算法、全局互聯架構、智能DPU網卡、智能化運維管理等技術,可以顯著提升全閃存存儲在性能、擴展性、能效等方面的表現,以應對不斷演進的市場需求。全場景數據保護:隨著全閃存應用場景的不斷演進,數據全生命周期保護出現新的要求,包括保護等級、保護對象、保護性能和保護規模的變化。多元融合管理:從傳統的煙囪式建設到全閃存整合,形成PB級資源池,這就需要存儲系統具備多元融合管理的能力。做好業務升級規劃:從服務器架構演進、分布式技術推廣以
78、及AI大模型技術發展,業務系統的升級換代需要存儲系統在保障性能、可靠性基座的同時,持續增加服務類型,并提供跨代次產品無縫升級及擴容方案,從容應對業務變化。通過這些策略,企業可以構建一個高效、安全、綠色的全閃存數據中心,以支持其數字化轉型和業務韌性發展。關于 IDC國際數據公司(IDC)是在信息技術、電信行業和消費科技領域,全球領先的專業的市場調查、咨詢服務及會展活動提供商。IDC幫助IT專業人士、業務主管和投資機構制定以事實為基礎的技術采購決策和業務發展戰略。IDC在全球擁有超過名分析師,他們針對多個國家的技術和行業發展機遇和趨勢,提供全球化、區域性和本地化的專業意見。在IDC超過年的發展歷史中,眾多企業客戶借助IDC的戰略分析實現了其關鍵業務目標。IDC是IDG旗下子公司,IDG是全球領先的媒體出版、會展服務及研究咨詢公司。IDC ChinaIDC中國(北京):中國北京市東城區北三環東路號環球貿易中心E座室郵編:+.Twitter:IDC版權聲明凡是在廣告、新聞發布稿或促銷材料中使用 IDC信息或提及IDC都需要預先獲得IDC的書面許可。如需獲取許可,請致信。翻譯或本地化本文檔需要IDC額外的許可。獲取更多信息請訪問,獲取更多有關IDC GMS信息,請訪問https:/ IDC。未經許可,不得復制。保留所有權利。