《上訊信息&中橋咨詢:中國CDM技術及市場應用白皮書(32頁).pdf》由會員分享,可在線閱讀,更多相關《上訊信息&中橋咨詢:中國CDM技術及市場應用白皮書(32頁).pdf(32頁珍藏版)》請在三個皮匠報告上搜索。
1、1.數字經濟下的數據市場:數據價值與數據安全并重 21.1數據成為數字經濟發展的核心要素21.2數據安全法制化給數據管理提出新需求31.3信息技術應用創新對數據管理提出新要求42.當前數據管理面臨的挑戰 43.副本數據管理(CDM)構建數據管理底座83.1CDM 的技術演進83.2CDM 典型應用場景83.3中國用戶評估 CDM 的五大要素 104.上訊全新的數據管理解決方案賦能數據降本增效 124.1上訊 ADM 的四大數據管理解決方案 134.2上訊敏捷數據治理平臺(ADM)核心技術組成 145.行業典型案例 19總結 21目錄中國 CDM 技術及市場應用白皮書21.1數據成為數字經濟發展
2、的核心要素隨著云計算、大數據、物聯網、人工智能等數字技術的快速推進,在帶來技術革新的同時,還帶來指數級增長的海量數據。相關調研表明1,2025 年,新創建的數據總量將高達175.8ZB。數據在推動產業結構重構的同時,還帶來業務模式革新、產品和服務的創新。數據成為驅動數字經濟創新發展的核心要素。IDC指出:“在未來數字化基礎設施中,企業將以數據驅動為特征,實現數據管理、數據即服務和數據分析。數據是數字經濟的石油,是企業產出有效洞察的基礎,可以實現流程和決策優化?!薄笆奈濉币巹澗V要也強調要“激活數據要素潛能”,以推進數字經濟新產業、新業態及新模式,實現各行業高質量的發展。數據驅動企業快速發展。無
3、論是應用的快速開發迭代來滿足市場需求,還是高質量的應用快速交付以縮短產品面世周期,或通過更好的客戶服務支持來提升客戶體驗和滿意度,以及更快地通過海量數據實現睿智的商業洞察,都是通過數據驅動,來推動企業業務革新,提升企業的行業競爭力。數據價值的獲取,甚至決定了企業的生存與發展。然而,如果把企業所擁有的所有數據比喻為一座“冰山”,那么企業真正投入使用,實現價值挖掘的數據量只是冰山一角。分析公司 Forrester 表示2,企業有 73%的數據從來沒有得到任何利用過。這些數量龐大的“暗數據”3成為企業當前業務中最大的未開發的“金礦”。如何通過“暗數據”管理和運營,釋放暗數據全部潛力,真正實現數據驅動
4、發展,成為加速企業數字化轉型步伐的關鍵。數字經濟下的數據市場:數據價值與數據安全并重中國 CDM 技術及市場應用白皮書31.2數據安全法制化給數據管理提出新需求數據在充分釋放價值、促進經濟發展的同時,也使得數據隱私和安全面臨更大風險。每年都有很多企業因為數據泄露遭受嚴重的財務損失。如何在安全合規范圍內充分發揮數據價值已經上升到國家高度。當前國際、國內紛紛頒布了數據隱私安全相關的法律法規,包括:美國加利福尼亞州投票通過了加州隱私權利法案(“CPRA”),該法案在加州消費者隱私法案(“CCPA”)的基礎上對個人隱私、數據安全、網絡安全等提出了更為嚴格的要求。歐盟委員會先后通過了通用數據保護條例(G
5、DPR)、歐盟數據戰略、數據治理法案,在建立完善的數據保護法律體系的同時,解決數據安全問題。我國也先后發布了國家安全法、網絡安全法、數據安全法、中華人民共和國個人信息保護法,分別從不同角度、不同程度對數據保護做了規定,為國內數據安全治理法制化和規范化提供可靠的政策保障。十四五規劃綱要也指出,要求統籌數據開發利用、隱私保護和公共安全,加快數據安全等基礎制度和標準規范的建立。在國家宏觀政策的引導和規范下,各行業也越加重視數據作為新型生產要素的重要性,數據的安全、合規使用和管理成為每一個企業的重中之重。為此,各行業也紛紛頒布了數據安全和數據隱私相關的法律條文,如:2019 年 7 月 1 日發布了電
6、信和互聯網行業提升網絡數據安全保護能力專項行動方案,以強化網絡數據安全全流程管理,及時整改消除重大數據泄露、濫用等安全隱患。銀行業金融機構數據治理指引,從數據管理、數據質量控制、數據價值實現等方面要求銀行業金融機構提升數據治理能力,同時對數據合規提出了更高要求。醫療服務 行業國家醫療保障局關于加強網絡安全和數據保護工作的指導意見要求在數據全生命周期內實現有效的數據安全管理,確保醫療行業數據的安全和高效可用。電信 行業金融服務行業41.3信息技術應用創新對數據管理提出新要求信息安全部署已經成為國家重要戰略,信息行業國產化及網絡安全自主可控的需求更為凸顯。自主可控是國產化信息技術網絡安全的必要條件
7、。如何依靠自身研發設計,全面掌握產品核心技術,構建可替代的產業鏈條,通過關鍵技術、零部件以及軟件等的國產化,實現核心技術的自主可控,推動了我國對信息技術應用創新(以下簡稱“信創”)的迫切需求。信創不僅是我國當前的重要發展戰略,也是我國 IT 產業發展升級的長久之計。在 2020 年,科技部、工信部等國家機構與地方政府已推出多項政策助力信創產業落地。如何通過構建自己的 IT 產業標準和生態,確保 IT 產品和技術安全可控,從而賦能各行業用戶實現數字化轉型就緒,成為當前信創產業的發展重點。各行各業將信創作為未來 IT 和企業戰略布局謀篇重要的考慮因素。據安全和隱私已經成為國家層、行業層以及產業層共
8、同關注的主題,這也推動了數據管理從傳統的針對生產、測試、商業智能分析、信息化分離數據管理,向企業全流程、系統化數據管理平臺化的演進,加速了跨企業甚至于跨產業上下游,在數據管理全流程中嵌入數據安全管理的需求。中國 CDM 技術及市場應用白皮書5數據管理面臨的挑戰2數字經濟下“數據為王”,構建數據驅動型企業已經成為大趨勢。企業對數據的要求不僅僅是支持核心業務系統,來保證生產系統的穩定和連續,更需要滿足敏捷測試開發、審計、品控、事件分析等需求。而上述各種使用場景,都意味著一份生產數據的復制,從而帶來數據量的快速增長。對于數據前沿行業,如銀行、電信、政府和大型企業,在受益于數據實現業務賦能的同時,如何
9、有效管理這些復制數據,同時確保所有數據的安全性、隱私性和可用性,成為企業面臨的挑戰。生產數據可靠、快速恢復的挑戰企業業務需要保持全天候運營,對核心業務系統進行數據備份成為必需。然而傳統的備份機制,備份數據格式與原格式不同,備份數據需要通過恢復才能直接使用。不僅備份數據是否可恢復存在疑問,且難以在指定的時間內完成大量的數據恢復,生產數據的連續可用難以保證。再者,隨著數據量的快速增加,無法在指定備份窗口完成數據備份,還增加了生產數據的丟失風險。企業需要具有可恢復效驗的數據管理機制,在業務系統發生故障時,能夠分鐘級完成生產數據恢復,保障業務系統的連續性。6數據準備周期長、交付效率低通過 DevOps
10、 提升軟件交付效率,快速實現產品和服務迭代,是企業構建核心競爭能力的關鍵。在這一過程中,生產數據需要頻繁被調用,以滿足軟件快速開發迭代的需求。如在金融的“信創改造”背景下,金融測試部門在國產化架構和系統上,進行新的信息系統的研發測試,這就帶來從功能、性能到兼容性等一系列數據測試需求。然而,傳統數據準備流程下,從數據審批到獲取,手續復雜,時間往往按天或月為單位。并且很多開發測試的工作環境還需要不斷更新和重新生成數據,這都導致數據準備時間長。再者,傳統方式下,數據的導入和導出通常是手工操作,大大增加數據管理員的工作強度。此外,這種手動數據從生產環境到測試環境的遷移,增加數據風險,限制了根據市場和業
11、務需求快速支撐項目的執行能力。企業需要簡化數據準備流程,并通過自動化的數據導出和導入,實現分鐘級數據快速交付,以更快響應市場需求,為信創提供自動化測試平臺支撐。副本數據泛濫導致高 TCO數據的成本管理中,存儲成本往往占比最高。傳統的數據管理方式下,每一份副本數據的創建,都需要消耗存儲資源。以金融服務行業為例,一個 5TB 的數據庫,搭建 8-10 套測試環境,傳統物理復制需要 40TB-50TB 的存儲容量。IDC 調研顯示4,77%的企業在當前的生產環境中擁有 200 個數據庫實例,包括 Oracle、SQLServer 等。而 82%的企業每個數據庫有 10 個以上的副本。這就意味著企業需
12、要管理的數據庫副本數量超過 2000。這些數量龐大的副本數據,意味著高昂的存儲資源和維護開支。根據 IDC 的調查5,企業的副本數據消耗了 45%到60%的存儲空間,并且帶來額外的存儲軟件及產品的采購開支。企業需要以單個副本數據,即可滿足開發、測試、備份、恢復、數據脫敏、統計分析等多種工作負載需求,同時還需要高效的數據壓縮技術,來進一步節省存儲空間,減少企業不必要的存儲開支。中國 CDM 技術及市場應用白皮書7敏感數據的泄露風險不論是企業的開發測試、財務報表、績效考核,還是經營管理、審計等,往往都是直接使用的生產或類生產數據。傳統的數據管理方案,由于各類數據使用部門的獨立性,使得這些來自于業務
13、系統的生產數據缺乏統一、標準的數據安全管控管理系統,難以根據各種數據安全合規政策快速實現企業級數據管理的系統性調整,保證數據合規需求,增加了數據泄露風險和業務違規風險。很多代碼效驗或測試開發、敏感數據生命周期管理的細粒度和權限管理的缺失,增加了業務合規風險。由于測試環節涉及人員冗多、過程較為復雜,生產數據在導出測試環境的過程不可控,測試庫安全防范手段單一,加大了敏感數據的泄露風險。企業不僅需要高效、迅捷地為不同環境提供數據交付使用,通過集中管控防范數據泄露風險,同時還需要對生產數據進行脫敏規則設定,保證脫敏數據支撐開發、測試、審計、品控等不同業務場景。測試數據的“真實性”不足基于場景和用戶需求
14、,測試環境下充足的測試數據量、測試數據的快速更新,以及數據的真實性,決定著是否能通過產品和服務的迭代推動業務創新,拓寬客戶入口和提升用戶體驗。隨著微服務化、容器化、DevOps 和 CI/CD 的快速普及,應用研發、測試等環節對測試數據量提出了多樣化需求。同時,信創對于系統兼容性的要求,將進一步加大企業對測試的需求。然而,在測試環境下,大規模生產數據實時導入導出來進行測試,鑒于對生產環境穩定性和安全性的影響,幾乎是不可能做到的。而采用僅幾 GB 的子集數據進行測試,又損失了“類生產”數據的真實大小和保真度,并且這些副本數據與生產系統之間缺乏數據更新機制,往往難以真實模擬或反映出生產系統的特性,
15、導致偏差,從而導致測試結果不真實,甚至測試結果沒有參考價值。數字經濟的發展以及我國市場的信創需求,都要求通過仿真類生產數據生成,幫助測試開發環境盡可能貼近真實運行環境,提高開發測試質量,這成為企業的業務重點。數字經濟需要新一代功能多元化、部署智能化,以及自動化、智能、全流程數據安全的數據管理平臺。這一平臺通過有效的數據管理流程,降低數據環境搭建對人員、存儲、帶寬資源的消耗;精細化的數據管理,保證生產數據備份的一致性,滿足敏捷測試、開發、審計和品控,以及事件分析的需求;自動化和系統化的測試開發、審計、質量流程,降低數據環境對生產資源的資源爭用可能帶來的業務不穩定性,同時降低數據管理開支,保證各種
16、業務場景下數據的安全合規。8副本數據管理(CDM)構建數據管理底座3早期副本數據管理主要基于手動設置管理,由于應用數量較少,數據量不大,不論是時間、人力還是存儲成本,企業還能承受。然而隨著業務的不斷發展,應用系統的數量快速增長,數據量也呈指數級的增長,龐大的副本數據數量成了企業發展的重負。手動副本管理方式,不僅帶來副本泛濫、DBA 工作強度加大、存儲開支激增,同時增加了數據安全和業務合規風險。數字經濟的發展推動了副本數據管理(CDM)技術升級,且成為敏捷數據管理平臺最重要的核心技術。3.1什么是 CDMGartner 定義 CDM(Copydatamanagement,副本數據管理):CDM
17、從生產環境通過快照技術獲取有應用一致性保證的數據,在非生產存儲上生成“黃金副本”(GoldenImage)。這個“黃金副本”數據格式是原始的磁盤格式,原格式副本可直接打開使用,也可再虛擬化成多個副本直接掛載給服務器,分別用于備份恢復、容災或開發測試。目前在中國市場的以下兩類產品以存儲為核心的 CDM 和備份軟件提供的 CDM 功能,按照以上 Gartner 的定義,都屬于“類”CDM。中國 CDM 技術及市場應用白皮書9以存儲為核心提供的 CDM,雖然能夠提供快照和克隆功能,但很難實現跨異構存儲構建企業級規則驅動的副本數據平臺,并缺乏豐富的數據服務能力,無法提供自動化、自服務等功能。備份軟件提
18、供的CDM功能,利用備份技術所創建的副本數據,是一種磁盤快照技術,無法保證數據的一致性,并且同一時間的磁盤快照只能掛載一份,難以滿足多應用場景的數據需求。真正的 CDM:一種端到端的創新技術,把單純面向恢復的應用場景變成了面向數據使用的應用場景,打破了數據備份和數據使用之間的壁壘。通過副本數據在企業各個業務環節的即時可用,為更多業務場景提供數據支撐,在盤活暗數據的同時,實現業務賦能。數字經濟下,CDM 技術所實現的價值主要體現在:CDM 技術 的價值數據的高效使用與管理數據虛擬化技術,能夠實現數據直接掛載,保證數據高效使用;同時分鐘級的數據副本生成,提高了數據分發效率,解決查詢、測試、分析等過
19、程對數據的需求,且不影響生產系統;減少存儲資源開銷通過CDM技術交付的數據,都是由“黃金副本”(GoldenImage)所創建,每一份交付的數據只消耗極小的存儲資源(幾乎為 0),每一份交付的數據都是可讀可寫的,而這些變量數據會消耗一定的存儲資源(變量數據一般不會超過數據總量的10%),從而減少存儲資源開銷和管理成本;數據的一致性虛擬化的副本數據采用的是應用系統的標準接口,可通過自動化的策略、定時、定期地完成數據有效性驗證,保證了數據的一致性;全生命周期數據管理從數據環境準備、持續更新、處理、維護到銷毀,提供全生命周期的數據管理,顯著提高數據管理效率;降低企業合規風險混合多云下數據的安全合規風
20、險陡增。動態和靜態脫敏,保護控制了關鍵數據,降低數據泄露風險;同時結合細粒度和權限管理,確保數據安全。10各金融機構(銀行、證券、保險、基金等)需要定期投入大量的人力和資源,對備份數據進行手動恢復測試和有效性驗證,以保證備份數據的可恢復性。傳統的基于手動的恢復驗證,不僅需要投入大量人力,并且所需恢復的數據量越大,數據恢復的時間就越長,可謂是耗時耗力,又效率低下;再者,沒能在指定備份窗口完成備份,意味著生成數據還存在丟失的風險,故障時間點與備份時間點跨度越長,丟失數據越多;此外,即使是在完整備份數據和定期校驗有效恢復條件下,備份數據必須經過恢復方能使用,整個恢復過程緩慢且操作繁瑣,這意味著一旦業
21、務數據發生故障,企業由于缺乏應急接管能力,直接面臨“業務中斷”的風險。隨著企業應用數量的快速增加和數據量的持續增長,傳統測試數據管理流程成為業務創新的瓶頸。應對測試環境下多個應用、多個功能性測試同步進行,缺少系統化和流線化的測試數據管理平臺,導致來自不同應用、多版本、多時間點、數量各異的副本數據,不僅消耗大量的存儲資源,還易形成數據孤島,難以實現集中管控;由于測試資源和管理資源的限制,還使得測試數據難以快速交付和流轉,不利于版本的敏捷迭代,以及保證測試數據與生產數據的一致性。AB備份數據的恢復驗證測試數據的管理CDM 通過規則驅動自動化備份數據的恢復驗證,簡化了整個備份數據的驗證流程,保證了數
22、據高可恢復性,輕松應對監管需求。同時自動化的恢復演練能夠將恢復演練周期縮短至數天,實現恢復演練的簡單化。CDM 自動化的流程管理,能夠簡化測試數據管理復雜度,同時對測試數據的集中管控,提高了數據的管理效率。此外,對不同版本數據的切換管理,滿足了日常測試工作的需要,提高了測試數據版本管理的效率。相對于早期數據復制方案,新一代 CDM 技術從“被動響應”到“主動布局”,通過分鐘級生產數據恢復,為生產數據提供應急保障,保證全天候運營業務的連續穩定;通過智能自動規則驅動,支撐從測試、開發、審計、分析到報表等全流程數據服務,提高數據交付效率的同時顯著降低 TCO,且通過規則驅動自定義脫敏和權限管理,確保
23、數據安全。3.2CDM 典型應用場景中國 CDM 技術及市場應用白皮書11CDM 典型應用場景CD脫敏數據的安全可用研發、測試環境數據的構建CDM通過脫敏策略配置實現脫敏源數據的自動化準備,顯著減少數據準備時間,基于屬性的敏感數據訪問控制,通過細粒度的管理,確保數據安全、可控的同時,保證了運維、服務的效率。CDM能夠根據測試人員的需求“造”出測試使用的數據,實現測試、研發環境下數據的快速構建,提高測試效率,降低測試數據開支?;谏a數據創建的副本數據應用于開發、測試、培訓等環境時,由于企業不同機構、部門數據庫運維、管理、測試、開發人員的復雜性(內部和外包)、流動性,使得數據面臨泄露的風險。例如
24、金融行業,相關監管機構直接提出,用于測試的生產數據要進行脫敏處理,嚴格防止敏感信息泄露。然而傳統的脫敏流程,需要管理員手工/腳本修改副本數據,審核后開放給開發、測試環境,不僅數據準備時間長,且數據分發效率低,對于系統運維,傳統“一刀切”的脫敏已經無法滿足需求,而且進一步增加了副本數據的安全風險。測試過程往往需要準備大量的測試數據。測試數據有時可以直接使用歷史數據,然而由于基于歷史生產數據建立的測試數據可能出現內容缺失、數據量級不夠、數據涉密無法導出、數據已加密無法參與計算等情況,這時就需要根據用戶的業務需求、數據設置條件、數據間關聯等條件,來“造”數據。此外,新系統的研發測試過程,也需要“造”
25、數據。以信創為例,大量國產化系統的研發測試沒有歷史數據可用,更需要“造”數據來滿足需求。12數字經濟和數據隱私及安全的法制化,加速了中國企業級用戶對 CDM 的需求。應對數據使用管理的挑戰,中國企業級用戶評估 CDM 的五大要素為:自主可控相對于IT算力和網絡資源,數據治理企業對技術自主可控的要求更高。金融服務、政府、醫療等越來越多的行業在評估數據管理技術時,首選國產操作系統。以對信息安全要求極高的金融行業為例,信創需求更為突出,以安全、可靠、自主可控的國產系統構建金融信創應用體系,成為金融信創應用的重點。開放靈活CDM 技術的部署靈活性,對各種云計算的支撐,以及與各種業務系統、產品的兼容,決
26、定著用戶是否需要“推到重來”。以金融行業為例,由于金融信創涉及國內眾多廠商,CDM 能否兼容各中國軟硬件廠商的產品,助力業務服務創新,直接影響到金融信創體系的順利構建。自動化規則驅動實現副本數據多功能、自動化管理、數據獲取、備份數據恢復驗證、數據交付、智能敏感數據掃描、數據脫敏等操作的流程化,降低敏感數據泄露風險,逐步實現企業級、自動化的統一數據管理。安全性隨著應用數量的快速增長,應對不同業務場景對數據服務性能要求的不同,通過 SLA 規則驅動敏捷脫敏和細粒度的權限管理,企業快速根據新的法律法規做安全性調整,保證業務持續合規和安全。平臺化數字經濟驅動企業從早期功能分離的數據管理(生產、開發測試
27、、信息管理相對獨立)向平臺化發展。企業級用戶數據管理平臺,從實現分鐘級恢復,到現代化數據服務(原始數據格式分鐘級數據服務),以及滿足研發、測試、培訓、審計、數據分析等多功能、全流程數據管理需求。123453.3中國用戶評估 CDM 的五大要素中國 CDM 技術及市場應用白皮書13應對企業從以功能為導向到以平臺為導向的數據管理需求轉變,上海上訊信息技術股份有限公司(以下簡稱上訊),自主開發推出全新的、整體的數據管理解決方案敏捷數據管理平臺(AMD)。這一綜合、統一、自動化的數據管理平臺,實現從數據獲取、數據存儲、數據構建、數據使用,到數據歸檔、數據銷毀的數據閉環式全生命周期管理。統一的副本數據管
28、理,不僅讓企業數據管理成本下降 80%-90%,且分鐘級的數據交付,支撐多場景應用需求,加快服務和產品推出;同時數據的全生命周期管理,充分釋放以前未被利用的數據所蘊藏的價值,推動企業業務的長足發展。上訊整體數據管理解決方案ADM 敏捷數據管理平臺涵蓋以下數據管理方案,即 PDM生產數據管理解決方案、BDM備份數據管理解決方案、SDM+DDM敏感數據管理解決方案、TDM 測試數據管理解決方案。賦能數據降本增效上訊全新的數據管理解決方案上訊 ADM 敏捷數據管理平臺生產數據管理備份數據管理敏感數據管理測試數據管理PDMBDMSDMTDM 四大方案都能夠以獨立功能模塊的形式,嵌入到企業的業務系統,企
29、業只需要通過 API接口連接,即可直接調用各個功能模塊,滿足備份、恢復、開發測試等各業務場景需求。企業也可以直接選用上訊完整的 ADM 自動化、閉環式敏捷數據管理平臺,以滿足各種數據管理需求。4144.1上訊 ADM 的四大數據管理解決方案銀行業正在加速進行數字化轉型以及信創國產化平臺替代,實現核心業務的降本增效,同時有效利用數據分析和挖掘,支持業務創新成了當務之急。因此,建設一個高效、高可用性、安全的智能化數據管理平臺必不可少。隨著醫療數字化的不斷深入發展,HIS、PACS 等關鍵業務系統已成為醫院的“中樞”。一旦HIS、PACS等系統宕機,醫院的門診、掛號、收費、影像等業務都將面臨中斷風險
30、,給醫院的正常運營帶來巨大損失。如何保障 HIS、PACS 等核心業務應用的高效穩定運行與業務連續性,保障數據安全以及備份數據可恢復性,成為醫療行業面臨的首要問題。當前,汽車制造行業正蓬勃發展,開發測試環節中數據的統計分析,要使用脫敏的生產數據,而傳統的脫敏方式由于采用人工腳本,不僅效率低,且數據交付時間長。那么有沒有一套完整的解決方案,既能解決生產數據的備份問題,又能安全、自動化地利用脫敏數據的解決方案呢?上訊 ADM 敏捷數據管理平臺可以充分滿足各個行業生產、測試等不同應用環境,對數據備份和保護、處理、分析、管理等的全面需求。中國 CDM 技術及市場應用白皮書15生產環境恢復環境敏捷數據管
31、理平臺數據虛擬化技術應急接管快速恢復容災機全量備份+=數據庫增量備份實時日志全量快照虛擬快照無限創建09:0009:15生產數據實時獲取ADM拓撲示意圖生產數據管理解決方案(PDM)上訊生產數據管理解決方案(PDM)解決了生產數據恢復時間長而導致的生產數據不可用,無法在備份窗口完成備份而導致數據丟失,以及備份數據一致性帶來的挑戰。上訊 PDM 基于原始格式的數據復制技術,能夠通過自動化策略設定,將通過數據一致性檢測的副本數據,安全存儲到 ADM 的存儲池中,確保數據的一致性;全量備份復制,實現生產數據的實時獲取,簡化備份流程,降低傳統備份可能導致的數據丟失風險。一旦業務數據發生故障,PDM 通
32、過生產數據副本能夠實現數據的任意時間點恢復,為生產數據提供分鐘級恢復的“應急”保障。PDM16生產數據庫備份服務器恢復驗證機敏捷數據管理平臺生產數據定時備份調用恢復策略集中管理恢復機備份數據自動回復驗證分鐘級快速創建虛擬庫BACKUPADM拓撲示意圖生產網LAN高效備份數據管理解決方案(BDM)上訊 BDM 解決了傳統備份流程復雜、缺少校驗導致備份數據不可恢復的挑戰,提高了備份數據安全管理的能力和水平。BDM 備份數據管理的集中統一化,貫穿數據獲取、存儲和使用的各個環節,實現閉環式自動化管理,不僅簡化了備份管理流程,實現了策略驅動的恢復集中管理,確保了企業級數據的恢復性,而且實現了備份數據有效
33、性驗證的自動化,提高用戶現有備份系統或新上線備份系統恢復有效性驗證的效率,規避人為原因導致的數據備份泄漏風險。BDM中國 CDM 技術及市場應用白皮書17測試數據管理解決方案(TDM)上訊 TDM 測試數據管理解決方案,提供流程化、自動化、集中統一的測試數據管控,在顯著減少存儲資源占用的同時,實現測試數據的快速交付和流傳。TDM 基于虛擬數據庫技術,一份數據副本即可在分鐘級拉起多份虛擬數據庫,不僅降低了物理數據副本導致的副本泛濫,同時顯著縮短數據交付周期;數據副本快照的即時掛載、分鐘級完成仿真生產環境的部署,加快了應用開發;為了滿足版本管理需求,TDM提供不限量快照版本保留,讓用戶經濟高效地實
34、現測試開發版本的管理。TDM源數據庫數據源獲取基礎數據虛擬數據A虛擬數據B源數據壓縮存儲分鐘級創建無快照數量限制虛擬數據庫虛擬庫快照存儲池30TB10TB0TB數據使用區數據文件數據交付秒級分發開發測試數據訪問拓撲示意圖ADM通過虛擬數據技術,用快速敏捷的方式解決海量數據眾多場景的使用需求ADMdata數據訪問18上訊基于數據庫虛擬化的綜合的 ADM 敏捷數據管理解決方案,讓用戶可以靈活選擇功能模塊,快速消除副本數據泛濫,降低存儲開支,提高測試、開發、驗收等的數據交付管理效率,提升敏感數據防泄露能力。同時,上訊 ADM 提供生產數據實時備份 數據恢復有效性效驗和分鐘級恢復,保證了生產數據的可恢
35、復性。敏感數據管理解決方案(SDM+DDM)上訊 SDM 敏感數據管理解決方案,結合業內領先的動態脫敏和靜態脫敏功能,覆蓋敏感數據使用和管理的全部場景。SDM 支持多種敏感數據源,自動掃描發現敏感數據并進行脫敏,確保敏感信息脫敏無遺漏;基于動態穩定因子的隨機數算法,保證數據脫敏后原有的數據特征、業務規則和數據關聯性,確保脫敏數據的一致性;結合虛擬數據庫,脫敏后的數據能夠實現秒級分發,從而確保脫敏數據的快速交付。此外,DDM 通過虛擬賬戶,結合細粒度化訪問權限管理,嚴格控制訪問行為,在消除訪問隱患的同時,提高數據訪問安全的管理水平,降低數據泄露風險。SDM+DDM數據源脫敏過程恢復環境脫敏服務器
36、01敏捷數據管理平臺基礎數據脫敏虛擬數據即時交付開發/測試數據使用區SIT應用開發測試UAT測試虛擬數據虛擬快照數據推送脫敏服務器01空白虛擬數據庫脫敏虛擬數據庫數據文件備份服務器生產數據庫拓撲示意圖采用虛擬賬號,消除訪問隱患,安全脫敏降低數據泄露風險,自動化脫敏流程滿足安全監管要求,豐富的脫敏算法仿真脫敏,數據脫敏后邏輯保持一致BACKUP數據上傳數據恢復數據抽取敏捷數據管理平臺生產數據非受限人員全天全網段受限人員14:00-17:17恢復數據掃描發現 自動脫敏數據文件數據訪問權限管控ADM脫敏后數據數據插入虛擬數據庫本地脫敏ADMADM生產網測試網LAN中國 CDM 技術及市場應用白皮書1
37、9虛擬數據庫技術數據庫虛擬化是上訊的核心專利技術之一,可以實現迅捷、經濟、高效且多場景的數據服務交付。上訊虛擬數據庫通過首次全量復制、周期性增量快照,快速消除副本數據泛濫;同時,可以生成多個具有讀寫功能的副本,用戶可以同步實現多種數據服務交付,例如生產數據恢復效驗、多種測試數據交付、實時數據備份等。通過讀寫分離和動態加速,保證多場景同步數據服務的交付性能要求。實時增量快照可讀寫技術上訊增量快照可讀寫技術,提供可讀寫的虛擬數據庫副本,讓用戶只需要一份基礎數據源,即可在分鐘級內快速交付多份 TB 量級虛擬數據庫,顯著縮短數據準備時間,滿足開發測試、查詢分析、合規審計、應急容災等場景對數據交付效率的
38、要求;此外,實時快照讀寫技術的無限量快照保留,提高了測試版本的管理效率。自動化、流程化數據管理平臺ADM 自動化、流程化數據管理平臺為用戶提供集中管控平臺和自助式數據管理,降低 DBA 強度,從而釋放資源,推動業務迭代升級;集中的數據使用流程,能夠對數據流進行跟蹤,實現數據版本的精細化管理;即使在測試環境崩潰的情況下,運用上訊的數據庫虛擬化,也能夠分鐘級實現數據恢復,重新進行測試,從而顯著縮短測試的數據準備時間。4.2上訊敏捷數據治理平臺(ADM)核心技術組成20在國家和地方政策的推動下,信創產業得到快速發展,特別是在金融及運營商等信息安全要求極為苛刻的行業,對信創所涉及的基礎架構、應用架構進
39、行改造已經成為迫切需求。上訊作為堅持自主研發、產品安全可控的國內企業,持續在應用技術創新、核心技術創新上進行投入,當前在用戶環境中實際兼容適配的國產數據庫包括巨杉、星環、GoldenDB、OceanBase、浪潮,其他國產數據庫及操作系統也在持續兼容中。細粒度的權限管理能夠根據用戶角色、訪問時間、終端 IP 以及數據庫訪問工具制定個性化數據訪問規則,全面控制數據訪問操作行為,提高數據的安全管控??缍鄶祿烀艚菝撁鬉DM 敏感數據管理具有敏感數據自動識別(掃描)功能,防止脫敏不完整,同時結合即時和定時脫敏,靜態脫敏和動態脫敏提升測試和生產系統運維對脫敏數據交付質量和管理的效率。同時,仿真脫敏與數
40、據交付為一體,覆蓋敏感數據使用和管理的全部場景,通過自定義策略的脫敏,保證脫敏后數據的完整性、仿真性和一致性,滿足開發、測試、統計分析等場景對數據脫敏處理的全部需求。中國 CDM 技術及市場應用白皮書21金融機構尤其是銀行對數據的安全合規性要求極高,一方面是監管指引高標準要求,且有嚴格的日常督查管理制度,另一方面也是由其業務屬性決定的。另外,銀行在信創方面也走在行業的前端,實現國產化替代的需求十分迫切。隨著銀行線下業務線上化,從測試管理不當、生產環境暴露,到線上系統延遲、宕機等,都對銀行數據的敏捷使用和安全管控提出了嚴苛要求。用戶:某銀行挑戰:數字經濟的發展加大了銀行測試開發壓力,銀行廣泛采用
41、外包資源加入測試開發。測試開發團隊動則數千人。某銀行軟件開發中心承擔著該銀行應用軟件的開發、測試和運維等工作。在軟件測試開發過程中,測試數據準備是第一步,然而當前該機構面臨以下挑戰。開發測試數據管理、使用效率低:該銀行的測試開發數據,一般從生產環境直接導出,數據準備一般需要 4 個小時左右,且極易影響生產數據庫的正常運行;為滿足多應用、多功能的測試需求,測試部門需要頻繁進行數據交付,然而測試數據管理和應用的長周期、高開支,成為銀行業務創新和迭代優化用戶體驗的瓶頸。行業典型案例金融行業522副本數據泛濫,導致存儲空間耗費:面對測試環境下多場景同步測試的需求,該銀行的測試數據環境往往需要創建多個副
42、本數據,這不僅帶來大量新增存儲開支,還易形成數據孤島,亟需有效治理來防止副本泛濫。測試版本管理無法滿足業務需求:早期基于物理數據副本建立測試環境,為了降低已有測試環境開支,無法實現無限副本保留,也大幅度增加了測試版本的管理難度。測試數據安全性難以保證:由于測試環境下管理人員、測試需求等不同,存在多份測試數據。然而當前的數據安全,缺乏規范的管理,導致測試數據安全性得不到保障。在信創的大潮下,該銀行希望以國產化的數據管理系統實現安全、可控、高效的數據管理。方案:在不改變該銀行現有主機和網絡架構前提下,某銀行在生產和測試網中各部署一套 ADM(管理節點和控制節點分開部署),實現了從生成到測試的自動化
43、,最大限度降低測試數據準備對生產環境的性能壓力和安全風險。ADM 集中管控中心(如拓撲圖所示)實現任務參數配置、下發任務以及對任務的可視化管理,測試開發人員實現自服務數據服務,降低 DBA 工作強度,保證測試數據管理效率。NBU服務器脫敏用服務器測試服務器專用線路萬兆網萬兆網ADM管控中心雙機部署ADM數據歸檔服務器(存儲歸檔數據)數據歸檔存儲ADM管控中心ADM備份數據管理服務器(用于備份數據的恢復校驗、脫敏數據的提供)ADM副本數據管理服務器(CDM)(用于數據的交付、數據的版本管理)存儲掛載(NFS)副本掛載(NFS)數據恢復數據傳輸數據同步生產網開發測試網HDDHDDSSDSSDHDD
44、HDD中國 CDM 技術及市場應用白皮書23價值:測試數據交付時間減少到 3 分鐘,數據交付效率提升近百倍:ADM 敏捷數據管理平臺依托數據庫虛擬化技術,能夠在 3 分鐘內創建完成虛擬數據庫,近百倍的數據交付效率提升,讓測試部門使用最新的數據進行數據準備成為日常,有效地保證了系統測試的效果。節省存儲空間,降低成本:ADM 內置的高效壓縮存儲池,存儲比可達 4:1,顯著降低數據存儲成本;ADM 的虛擬數據庫技術,大幅度降低多場景測試下的存儲容量需求;此外,一次脫敏、多次分發技術,進一步降低同步測試的數據準備開支。動態復制提高版本管理效率:ADM 基于 GoldenImage 虛擬數據庫,提供不限
45、量快照服務,讓用戶通過動態快照,提高不同版本的數據管理效率。測試數據閉環管理,確保數據脫敏和安全使用:ADM 從數據源頭進行管控,規范整個數據管理流程,并結合 ADM 的可視化管理,讓管理員輕松掌控所有測試數據狀態;可靈活自定義敏感數據類型,并且具備豐富的脫敏算法,可結合具體需求實現靜態脫敏或動態脫敏,滿足業務使用需求。ADM 兼容國內主流的操作系統和數據庫軟件,可以滿足銀行對國產化替代的要求。上訊 ADM 解決了該銀行目前測試開發環境的數據管理問題,降低數據管理開支,提高數據管理自動化水平,保證敏感數據安全合規。GoldenImage 虛擬數據庫技術保證了生產數據在永遠不離開生產系統的前提下
46、,能夠安全合規釋放生產數據的創新價值。利用ADM 平臺,該銀行可以構建從生產、測試開發到質量保證、大數據分析的全自動化數據管理,這種高效、輕松的數據使用和管理,在為用戶提供極佳的使用體驗的同時,能夠讓其將更多精力投入到業務創新。24隨著移動互聯網、5G 等的快速部署和應用,如電信運營商等通信行業企業不僅要為龐大數量的終端提供綜合應用服務,同時還要搭建應用平臺,為行業用戶提供服務。此外,還要不斷進行新業務的開發,以拓寬業務范圍。隨著數據的快速增長,內部系統快速開發交付的要求以及外部病毒、黑客、外部設備等眾多數據安全挑戰,促使通信企業需要從數據管理、數據訪控制、數據脫敏等維度,構建一整套的數據管理
47、流程,保證數據的可用、可控和可信。用戶:某通信公司在全面上云的戰略部署下,某通信公司基于華為云、天翼云和聯通云搭建混合多云業務平臺,以支撐其生產環境、開發環境和驗收環境,滿足其各類業務應用系統的部署和運營的同時,還能更好地支持新應用、新業務的敏捷開發和測試需求。目前管理的系統有大約130 多套,其中包括 Oracle60 多套、MySQL40 多套,虛擬機 5000 臺左右,總存儲量7PB。在當前的數據管理方面,該用戶遇到以下挑戰。挑戰:測試數據需要高頻交付:在當前 6 人配置下,測試數據準備需要 1 個月的時間。隨著開發測試、質量保證等數據需求的不斷增加,測試數據準備長周期快速成為業務發展瓶
48、頸;副本數據分散導致高昂數據開支:基于多場景數據需求,一套生產系統大約擁有 4 套副本數據,且副本數據分散在本地和云端,亟需構建統一的副本數據管理平臺,在為本地和云端數據提供安全防護的同時,降低 IT 成本。數據可恢復難以確保:一旦核心系統數據庫需要進行數據恢復,傳統的基于手動的數據恢復機制,不僅耗人耗時,且可恢復性難以得到保證;方案:某通信公司引入上訊的 ADM 敏捷數據管理方案,構建了副本數據集中交付管理平臺。借助智能化的副本數據管理和備份數據恢復校驗,不僅解決了該公司測試環境下測試數據極速交付的問題,提高了該公司的業務開發和測試效率,同時提高了備份數據的可用性,降低了存儲資源開支。通信行
49、業中國 CDM 技術及市場應用白皮書25 價值:測試試數據交付效率提高 15 倍:ADM 敏捷數據管理平臺依托數據庫虛擬化技術,結合“全量+增量+歸檔日志”的數據備份策略,能夠從云環境實時獲取數據,并在幾分鐘內快速創建虛擬庫交付給準生產環境。這種自動化、智能化的數據交付,將原來6 個人、1 個月的數據準備時間縮減到只需要 2 天時間。數據存儲空間節省一半:ADM 內置的高效壓縮引擎,能夠降低約一半的存儲空間,并且用于準生產環境的虛擬庫,幾乎不占用任何存儲空間,進一步節省存儲開支。自動化恢復校驗確保備份數據高可用:部署在聯通云環境下的 ADM,對接 NetBackup備份系統,自動化、智能化地完
50、成備份數據的有效性驗證,能夠將核心數據庫的恢復時間從以前的小時級縮短到分鐘級,顯著提升恢復效率和可靠性。上訊 ADM 可從容應對 PB 級數據容量,借助數據庫虛擬化技術,分鐘級創建可追溯到任意時間點的副本數據,顯著提升了數據交付效率;同時一整套的數據管理流程,實現了數據從獲取、存儲到使用的閉環式自動化管理,在降低 DBA 管理強度和復雜性的同時,為DBA 提供了良好的使用體驗。面對 CDM 平臺的諸多優勢,以及不斷增長的數據量,該公司表示,隨著后期業務規模的擴大,CDM 平臺的擴容復購需求旺盛。開發/測試人員數據使用區數據使用區敏捷數據管理平臺集群生產數據庫生產數據實時獲取數據使用區應用開發U
51、AT測試SIT測試基礎數據ADM管控節點ADM存儲節點01ADM存儲節點02ADM存儲節點03ADM存儲節點04ADM存儲節點05ADM存儲節點06生產數據實時獲取Oracle RAC 資源系統Oracle RAC 資源系統MySQL主從庫MySQL主從庫MySQL主從庫MySQL主從庫虛擬數據虛擬快照敏捷數據管理平臺自動調用恢復策略集中管理恢復機恢復驗證機NBU備份服務器生產數據定時備份自動化恢復、驗證備份數據有效性華為云交付環境電信云生產環境聯通云生產環境MasterADMADMADMADMADMADMADM虛擬數據即時交付BACKUP26隨著智慧醫療產業服務的快速發展,各種數字化系統建設
52、和運營,如電子病歷、臨床診療管理信息系統、居民健康檔案等,帶來數據類型和數據量的快速增長。與此同時,等保 2.0提高了醫院診療全流程數據管理和業務合規的需求。這就對當前醫療行業的業務連續性,以及智能的數據管理提出了新挑戰。用戶:某三甲醫院作為綜合性三甲醫院,某醫院承擔著轄區以及周邊縣市 170 多萬人的醫療、預防、保健、教學和康復等任務。隨著醫療改革的不斷深入,以及該醫院業務規模的不斷拓展,如何管理多個關鍵性業務系統,包括 HIS、PACS、RIS、LIS、EMR 等的數據安全和高可用,成為該醫院的第一要務。挑戰:關鍵業務系統數據的持續數據保護,以保證業務連續性,7x24 小時不間斷運營。隨著
53、關鍵業務數據的高速增長,盡量減少額外的存儲資源消耗,簡化管理。數據恢復效率不高,集中管控能力弱,難以滿足法律法規對于備份數據恢復的有效性驗證的要求。醫療數據十分敏感,且隱私性極強,脫敏處理不可或缺。方案:某三甲醫院引入了上訊的 ADM 敏捷數據管理方案為業務提供持續性保障。借助數據庫虛擬化技術,結合全量+增量備份,某三甲醫院保證了備份數據的完整性和一致性;同時基于分布式集群架構的管理平臺,能夠靈活擴展,滿足關鍵業務系統不斷增長的存儲容量需求。醫療行業中國 CDM 技術及市場應用白皮書27價值:對生產數據實現實時保護,確保業務連續性:上訊 ADM 的數據庫虛擬化技術,結合源端數據的首次全量+周期
54、增量備份,以及實施日志抓取功能,確保了對生產數據的實時保護,進一步保證了數據的完整性和一致性;在業務系統發生故障時,可在分鐘級創建虛擬數據庫,快速恢復生產業務到最近的時間點,實現應用的快速接管,確保業務連續性。數據存儲空間節省 2/3:ADM 數據庫虛擬化技術,能夠有效壓縮備份數據,壓縮比高達 1:3,從而減少存儲空間需求,降低存儲成本的同時,簡化操作和維護。數據備份和恢復的集中管控:數據恢復驗證的自動化,提高備份數據恢復的頻率和有效性。數據脫敏處理,有效保護隱私:ADM 的拓撲結構較為靈活,可以支持橫向擴展,實現敏感信息的靜態脫敏,完美實現 HIS 等關鍵業務系統的數據全生命周期管理。上訊
55、ADM 敏捷數據管理平臺為該醫院帶來了關鍵業務系統的全面安全防護,同時提高了數據恢復的效率,并且顯著減少了數據備份恢復過程的存儲成本。LAN生產數據庫數據流實時備份快速恢復恢復數據庫驗證數據庫ADM敏捷數據管理平臺 ADM創建虛擬數據庫LAN28以數據為驅動的全新數字化服務模式正快速推動企業的數字化轉型,以及推動新產業、新業態、新模式的不斷涌現。數據成了企業的重要資產和持續創新的驅動力。數據對市場的響應速度和創新的支撐,以及保證企業全流程數據的安全合規,成為評估數據價值的重要指標。隨著應用數量快速增加和數據量的持續增長,企業應在以核心生產數據確保企業正常運營的同時,滿足應用開發、質量控制、審計
56、、大數據分析、驗收、備份等IT場景的需求,讓數據創造更多價值,推動數據管理技術和平臺的演進升級。然而傳統的副本數據管理,不論是數據的可恢復性,還是數據準備、使用和管理,都難以滿足企業業務的創新需求。在這種背景下,企業數據管理從以功能為導向轉向以平臺為導向成了必然??偨Y 中國 CDM 技術及市場應用白皮書29數據引用:1.全球數據圈,IDC2.https:/ 2006 年,專注于 IT 基礎設施、IT 架構、新技術等相關領域的調研、咨詢和內容創作等服務。致力于為 IT 廠商和 IT 專業人士提供前瞻性、可信賴的市場和技術趨勢參考、戰略和策略咨詢。所有商標和公司名稱是其各自公司的財產。本出版物中包含的信息是由中橋調研咨詢認為可靠的來源提供的,但不保證其可靠性。本出版物包含中橋調研咨詢的觀點,這些觀點隨時間可能會有所改變。本出版物的版權歸中橋調研咨詢所有,未經中橋調研咨詢的明確許可,不得復制或轉載。有問題請聯系 contactsino-。網站:www.sino-。