NineData 多云數據復制_譚宇.pdf

《NineData 多云數據復制_譚宇.pdf》由會員分享，可在線閱讀，更多相關《NineData 多云數據復制_譚宇.pdf（30頁珍藏版）》請在三個皮匠報告上搜索。

1、譚宇(茂七)玖章算術 首席架構師NineDataNineData多云數據復制多云數據復制www.ninedata.cloud 讓每個人用好數據和云Contents目 錄01NineData簡介NineData是由玖章算術推出的一款多云數據管理平臺，我們的使命是讓每個人用好數據和云，以幫助企業在數字化時代獲得更好的競爭力。02NineData 數據復制數據流動是數據產生價值的基礎，NineData數據復制致力于打造數據流動的基礎設施。03多云數據管理平臺展望多云時代數據管理平臺如何幫助業務管理好數據。01NineData簡介團隊、產品/建設背景/產品概覽與業務場景關于玖章算術ABOUT US團隊

2、創始團隊來自阿里巴巴、華為、IBM等多位資深專家，擁有豐富的云計算與數據庫方面的經驗。CEO葉正盛曾任阿里云數據庫產品事業部副總經理，是阿里云數據庫產品體系的締造者，創立了全球領先的DTS/DMS/DBS/DAS等多款云產品。歷程公司創立于2021年11月，入選杭州未來科技城科技創新重點支持項目，截止目前團隊90%為技術研發人員。產品專注于云計算與數據庫領域，一年內發布了SQL開發、數據復制、數據備份與恢復、數據庫對比四款產品。在IT168&ITPUB的年度評比中，NineData產品獲得了”年度創新產品”獎。融資獲頭部投資機構認可，由紅杉中國種子基金領投。愿景讓每個人用好數據和云?？蛻舢a品已

3、在多家云廠商、金融媒體、跨境電商、大型制造企業落地，獲得各個客戶一致好評。NineData多云數據管理平臺概覽企業數據基礎設施：在不同云上的多種類型數據庫企業數據基礎設施：在不同云上的多種類型數據庫數據庫 DevOPS：SQL開發平衡安全與效率，從源頭保證數據規范、質量數據復制數據自由流動，發揮數據價值數據對比保障數據一致性，消除數據質量問題保護數據資產：備份恢復數據安全查詢數據安全查詢SQLSQL審核審核敏感數據管理敏感數據管理權限與審計權限與審計開發規范與流程開發規范與流程同同/異構轉換異構轉換庫庫/表表/列映射列映射豐富的預檢查項豐富的預檢查項數據過濾數據過濾/轉換轉換SchemaSch

4、ema對比對比數據對比數據對比快速對比快速對比周期性對比周期性對比物理備份物理備份增量備份增量備份備份數據實時查詢備份數據實時查詢快速恢復快速恢復邏輯備份邏輯備份IDCNineData多云數據管理平臺建設背景NineDataNineData多云數據管理平臺數字化時代，每個企業都在泛互聯網化，對數據和云的運用正在成為企業的關鍵能力，同時也存在很多挑戰。由專門的人變更數據庫效率變得不可接受，開放權限則帶來穩定性和數據安全的問題，企業需要在效率與安全上取得平衡。開發效率、業務穩定性與數據安全數據流動是數據產生價值的關鍵，但多云以及多數據模型帶來的技術復雜度、環境復雜度阻礙了數據流動。多云多數據模型下

5、的數據復制數據變得前所未有的重要，直接影響企業的生存，如何確保企業的數據永遠處于保護狀態？數據資產保護數據質量會直接影響業務結果，數據業務化的鏈路長導致數據質量問題難以排查。數據質量NineData：數據管理場景日常數據庫生產數據庫數據倉庫搜索/消息系統其他業務數據庫表設計/編輯設計規范數據查詢數據生成在線數據查詢敏感數據保護數據導出數據訂正組織權限SQL審核變更發布操作審計SQL開發物理備份增量備份備份數據實時查詢快速恢復邏輯備份數據備份同異構轉換數據復制庫表列映射預檢查數據過濾、轉換02NineData 數據復制數據流動的困難/NineData多云數據復制/技術架構、安全NineData數

6、據復制：數據流動的基礎設施同/異構數據源數據流動同/異廠商數據流動同/跨境數據流動數據倉庫消息系統搜索引擎云數據庫阿里云AWS華為云Azure移動云騰訊云自建IDC/云北美亞洲歐洲數據即是資產，資產流動才能凸顯價值。但是今天數據流動面臨諸多困難，特別是疊加多數據源、多環境以及多國家地區法規等多重因素，要做好一個長期穩定運行的數據鏈路殊為不易。NineData 數據復制致力于提供數據流動的基礎設施。消除不同數據庫類型、不同廠商、不同環境下的造成的數據流動難點，幫助企業最大的發揮數據價值。NineData數據復制：數據流動的困難數據流動面臨多重困難多數據源數據復制高度依賴數據庫的參數配置、用戶權限

7、、版本等因素，不同數據庫類型還涉及到結構轉換與數據類型轉換，非常容易出錯。0104數據一致性兩端業務分別使用數據非?？赡茉斐蓴祿灰恢乱约皼_突從而導致數據鏈路中斷，如何快速發現以及修復是數據復制必需要考慮的事情。0203多廠商互通云廠商往往是“寬進嚴出”，對其他廠商的支持不足或功能非常簡單，不滿足用戶需求，特別是在網絡互聯及通信案例上鮮有考慮。長地域、長周期鏈路在跨地域或跨境同步時，會面臨各種網絡狀況，如何保證長鏈路的情況下數據穩定同步是一個非常困難的問題。NineData數據復制能力及優勢連通性參數配置權限、版本表、列類型一次暴露所有問題異構轉換最佳類型匹配庫、表、列映射全類型支持提供手動訂

8、正智能分片斷點續傳數據轉換表內并發動態限流全對象類型全DDL/DML事務級并發任意時間點熱點自優化全鏈路監控實時告警友好的運維日志單記錄粒度修復多種修復策略高度靈活的互聯互通架構全鏈路數據安全完善的預檢查機制完備的結構同步高性能全量同步雙向實時增量同步成熟的異常處理完善的預檢查機制1一次暴露所有問題，無需反復修復2覆蓋權限、參數、版本等方方面面，預檢查通過后任務成功率超過99%3提供失敗詳情及修復建議完備的結構同步1支持所有對象類型，包括視圖、存儲過程、觸發器等非表對象2庫、表映射3列映射4數據過濾高性能全量同步1清晰明確的進度展示，支持表內、表間并發2超高性能，速度超過10萬RPS3行級細粒

9、度處理異常雙向實時增量同步1通過雙向復制，用戶可以構建靈活的多活系統2可配置的DDL策略3多策略處理數據沖突情況成熟的異常處理4多渠道多策略告警1秒級監控2限流保護3精細化控制異常NineData數據對比：保證數據一致性數據庫/環境數據對比上下游數據對比動態對比在線搜索數倉數據庫主備之間、企業的多套環境之間、業務多區域部署之間Schema與數據一致性往往是導致故障的原因。NineData數據對比可以在不影響業務的情況下校驗結構與數據的一致性。數據在流動中產生價值，但流動難免會產生數據一致性的問題。NineData數據對比同時提供了上下游數據對比，比如在線數據與數倉的對比，同步過程中的數據對比。

10、開發環境生產環境單元中心數據庫主數據庫備同步中的動態對比增量對比結構對比1詳細展示不一致情況2精細化處理版本、類型，然后生成變更SQL數據對比1表數據不一致詳情2可下載全部不一致數據3單行數據不一致詳細展示4生成變更SQLNineData數據復制：產品價值總結Any WhereAny Where支持任意云廠商、任意網絡、任意地域，讓數據流動不存在阻礙。Any DataAny Data支持MySQL生態、SQLServer、Redis等數十種數據源并在快速增加。Any TimeAny TimeSaaS模式，簡單配置，隨時可用；強一致實時同步，隨時構建復雜靈活的業務場景。NineData SQL

11、數據復制：數據流動的基礎設施云原生分層架構數據加密數據鑒權數據脫敏操作審計數據安全NineData ConsoleNineData API接入層NineData GatewayBayKal Store多云部署/調度引擎NineData Parser多版本元數據管理中間數據轉換框架BayKalFS核心能力層MySQL/PostgreSQL/SQLServer/Aurora/PolarDB/TiDB/OceanBase MongoDBClickHouseRedis數據源AWSAzure阿里云騰訊云華為云IDC運行環境功能引擎層結構同步全量同步增量讀取增量寫入邏輯備份物理備份增量備份數據恢復快速對比

12、全量對比抽樣對比快速復檢敏感規則自動識別查詢改寫操作攔截對比引擎對比引擎備份引擎備份引擎同步引擎同步引擎脫敏引擎脫敏引擎多云：Any Cloud,Any Region,Any Network中心節點預先拉起，因為政策、合規等原因存在雙中心或多中心的可能，單元節點按需拉起。AzureAzure移動云移動云騰訊云騰訊云華為云華為云IDCIDC中國站賬號與權限操作審計計量計費Console國際站Console中心結點單元結點私網連接NineData workerNineData workerNineData VPCNineData VPC用戶用戶 VPCVPCNineData workerNineD

13、ata worker用戶專屬集群用戶專屬集群用戶用戶 VPCVPCNineData GatewayNineData workerNineData VPCNineData VPC用戶用戶 VPCVPC高性能自適應單表切片算法確保并發性能全軌跡熱點合并A1B1C1A2A3C2B2A4A5A6A1A2A3A4A5A6B1B2C1C2A6B2C2靈活的數據提交策略，支持行級并發、事務級并發以及熱點合并12小表大表空洞表聯合主鍵安全是NineData的生命線設計/架構安全編碼/代碼安全部署安全三方審計滲透測試運維安全12354安全不是一個單項任務。它環環相扣，只有從頭至尾始終注入安全的意識才能達成。Ni

14、neData 從各個環節保障安全。從設計到發布，從內部測試到三方審計，確?？蛻舻臄祿踩?。設計/架構安全設計/架構安全敏感數據加密存儲全鏈路加密傳輸多租戶隔離風險識別操作審計12345用戶到NineData的訪問鏈路、NineData連接到用戶的數據庫、平臺組件之間的通信全部走加密連接與傳輸。所有對客戶數據庫的訪問均需留下記錄；所有操作記錄都在系統中留痕；所有日志均可對客戶開放審計。租戶之間互不可見、不共享任何信息，數據存儲進行物理隔離。進行最小粒度的權限控制。租戶之間互不可見、不共享任何信息，數據存儲進行物理隔離。進行最小粒度的權限控制。用戶信息、用戶的數據庫賬號與密碼等敏感數據均使用KMS

15、進行加密及傳輸，加密密鑰定期輪換。編碼/代碼安全根據安全規范進行編碼1每次代碼提交均需要通過敏感信息及漏洞檢測2每朵云上部署均符合等保三級要求WEB應用防火墻云防火墻NineDataVPC數據庫審計KMSECS云安全中心ECS云安全中心ECS云安全中心RDS數據庫RDS數據庫安全組白名單安全組白名單DDOS防護SLB&訪問控制堡壘機操作審計阿里云用戶運維人員參照阿里云企業上云等保三級合規，目前已經申請等保三級認證。通過華為云“聯營聯運”商品測試，超過40條安全測試用例、嚴苛的代碼掃描與滲透測試。03多云數據管理平臺展望多云數據管理平臺展望云計算驅動了企業數字化，多云的使用將進一步提升企業對基礎設施的掌控力。多云基礎設施對數據處理的手段越多，發揮的作用就越大，多數據庫類型、多數據模型的運用是企業必須要掌握的能力。多數據源今天企業對數據的重要性認知超過了以前的任何時間，數據管理平臺必須以安全為基礎。安全數據作為企業在數字化時代最重要的資產，數據管理平臺必須致力于幫助客戶發揮每一份數據的價值。數據價值Thank you!GitHub:/oceanbase/服務號：OceanBase數據庫星球論壇：