開源新勢能KWDB解鎖數據庫新融合架構 - 浪潮 KaiwuDB 王瀚墨.pdf

《開源新勢能KWDB解鎖數據庫新融合架構 - 浪潮 KaiwuDB 王瀚墨.pdf》由會員分享，可在線閱讀，更多相關《開源新勢能KWDB解鎖數據庫新融合架構 - 浪潮 KaiwuDB 王瀚墨.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、開源新勢能開源新勢能KWDB KWDB 解鎖數據庫新“融合”架構解鎖數據庫新“融合”架構王瀚墨王瀚墨浪潮浪潮 KaiwuDBKaiwuDB 高級技術專家高級技術專家目錄目錄CONTENTSCONTENTS010203現代數據庫發展之路關于浪潮 KaiwuDB開源新勢能KWDB 分布式多模數據庫01現代數據庫發展之路現代數據庫發展之路2000 年代1970/1980 年代關系型數據庫1stSystem R商用Oracle,DB2,MS SQL Server,Sybase,Informix2010 年代云原生 湖倉一體Databricks SnowflakeHTAP更多專有數據處理時序數據庫Inf

2、luxDB TimescaleDB向量數據庫Milvus 1990 年代開源興起MySQL PostgreSQL分析型數據庫Teradata Netezza專有數據處理XML 數據庫時空數據庫1960 年代層次型數據庫IMS基于數據平臺Hive HBase文檔數據庫MongoDBKV 數據庫Redis寬表數據庫Cassandra圖數據庫Neo4jNoSQL 興起 分布式數據庫AI平臺大數據平臺多模數據庫湖倉一體文檔數據庫時序數據庫關系數據庫圖數據庫工業實時數據庫向量數據庫專 VS 全圖數據寬表數據文檔數據多模數據庫支持不同數據模型的數據在同一個數據庫中統一存儲、統一處理更高的處理效率更高的管理

3、效率更低的開發成本更低的運維成本時序數據擴展式多模向量數據關系數據庫XML數據集成式多模圖數據文檔數據時序數據向量數據多模數據庫時序數據處理 高性能讀寫 低存儲成本 靈活生命周期管理 水平擴展能力異構數據處理（分析）時序分析 多模數據關聯 多模數據轉換 水平擴展能力 異構硬件支持關系數據處理（交易）數據一致性 事務支持AI 能力 時序算法支持 常用框架支持非關系型數據 高效索引 對象存儲開發者生態SQL+API擁抱標準與生態，降低使用門檻針對特定行業/場景提供更好的性能和更低的成本符合中國自主數據庫發展現狀以點突破面向行業的多模架構02關于浪潮 KaiwuDB上海沄熹科技有限公司是浪潮在基礎軟

4、件領域重點布局的數據庫企業。以面向 AIoT 的分布式多模數據庫 KaiwuDB 為核心產品，致力于打造自主、先進、安全、創新的數據庫產品及數據服務平臺，構建行業級物聯網實時信息融合平臺；聚焦工業物聯網、數字能源、車聯網、智慧產業等快速發展重要領域，大力推動產業融合，充分挖掘數據價值，賦能行業數字化轉型升級。當前，公司業務范圍已覆蓋眾多行業，在工業物聯網、數字能源、車聯網、智慧園區、數字政務、數字金融等領域均已成功完成落地實踐。關于浪潮 KaiwuDBKaiwuDB 是一款面向 AIoT 場景的分布式、多模、支持云邊端協同的數據庫產品，具備高速寫入、極速查詢、SQL支持、隨需壓縮、AI驅動自治

5、、數據生命周期管理、集群部署等特性，具有高可用、高可靠、低成本、易運維等特點。一庫多用 多模支持隨需壓縮 節約存儲成本高可用高可靠運維監控開發工具高性能寫入查詢SQL 與生態支持多種開發語言支持AI 驅動自治KaiwuDB分布式多模AI高性能時序數據處理走進 KaiwuDB更易用更高效更可靠分布式無中心對等分布式計算單副本與多副本支持擴縮容效率提升AI+自治自適應數據組織自適應計劃調優數據偏移檢測時序數據處理性能新數據組織方式適應更多用戶場景新內存映射模型減少并發沖突支持更多自適應的數據訪問方法多模時序數據處理新語法，更好地貼近 SQL 標準與兼容 SQL生態統一關系數據與時序數據的成本模型，

6、提升跨模優化能力優化跨模數據轉換，提高數據轉換性能KaiwuDB 2.0快步一人就地計算 極速分析人機融合 化繁為簡一庫多用 加速交付分布式架構 隨需伸縮高性能時序數據處理AI+自治多模分布式KaiwuDB 2.0時間戳(Timestamp)標簽(Tag)字段(Field)/指標(Metric)標簽(Tag)時間戳(Timestamp)標簽(Tag)字段(Field)/指標(Metric)上傳時間車牌號經度緯度發動機轉速2023-09-15 09:00:02京 A1111140.2116.230002023-09-15 09:00:02京 A2222239.3116.12023-09-15 0

7、9:00:02京 A3333340.5116.02023-09-15 09:00:02京 A4444440.7116.120002023-09-15 09:00:02京 A5555540.1116.12023-09-15 09:00:01京 A1111140.2116.230002023-09-15 09:00:01京 A2222239.3116.110002023-09-15 09:00:01京 A3333340.5116.08002023-09-15 09:00:01京 A4444440.7116.120002023-09-15 09:00:01京 A5555540.1116.115002

8、023-09-15 09:00:00京 A1111140.1116.22023-09-15 09:00:00京 A2222239.2116.120002023-09-15 09:00:00京 A3333340.4116.01500上傳時間上傳時間車牌號車牌號車輛顏色車輛顏色經度經度緯度緯度發動機發動機轉速轉速2023-09-15 09:00:02京 A11111黑40.2116.230002023-09-15 09:00:02京 A22222黑39.3116.12023-09-15 09:00:02京 A33333白40.5116.02023-09-15 09:00:02京 A44444白40

9、.7116.120002023-09-15 09:00:02京 A55555黑40.1116.12023-09-15 09:00:01京 A11111黑40.2116.230002023-09-15 09:00:01京 A22222黑39.3116.110002023-09-15 09:00:01京 A33333白40.5116.08002023-09-15 09:00:01京 A44444白40.7116.120002023-09-15 09:00:01京 A55555黑40.1116.115002023-09-15 09:00:00京 A11111黑40.1116.22023-09-15

10、09:00:00京 A22222黑39.2116.120002023-09-15 09:00:00京 A33333白40.4116.01500車牌號車輛顏色京 A11111黑京 A22222黑京 A33333白京 A44444白京 A55555黑或 傳統數據模型（SQL or NoSQL）支持時序數據的挑戰海量數據寫入與查詢性能難以兼顧高基數超出傳統模型元數據處理能力標簽信息造成大量數據冗余空數據造成空間浪費 新時序模型所要提供的優勢優化數據組織方式同時兼顧海量數據寫入與查詢需求對冗余數據進行歸一化利于生命周期管理和壓縮以節省存儲空間時序數據的傳統存儲模型時間戳(Timestamp)主標簽(P

11、rimary Tag)上傳時間車牌號車輛顏色經度緯度發動機轉速2023-09-15 09:00:02京A11111黑40.2116.230002023-09-15 09:00:02京A22222黑39.3116.102023-09-15 09:00:02京A33333白40.5116.00非主標簽(Non-P Tag)字段(Field)/指標(Metric)通過引入主標簽實現數據歸一化并基于主標簽進行數據組織仍以關系模型呈現給用戶，可以關系數據進行無縫關聯兼容 PG 生態體系，生態工具基本均可重用數據按主標簽與時間進行組織CREATE TABLE car_metrics(upload_time

12、 TIMESTAMP NOT NULL,longitude FLOAT,latitude FLOAT,rpm INTEGER)TAGS(plate_number VARCHAR(10)NOT NULL,color CHAR(4)PRIMARY TAGS(plate_number);INSERT INTO car_metrics(upload_time,plate_number,color,longitude,latitude,rpm)VALUES(?,?,?,?,?,?);Prepare語法SELECT plate_number,AVG(rpm)FROM car_metrics GROUP B

13、Y plate_number;SELECT 語法INSERT/UPDATE/DELETE 語法INSERT INTO car_metrics(upload_time,plate_number,color,longitude,latitude,rpm)VALUES(2024-06-01 09:00:03,京A11111,黑,40.1,116.1,2000);LibpqPG 生態新語法KaiwuDB 2.0 時序模型定義標簽數據索引標簽數據數據塊數據分區時間維度設備維度時間索引預聚合結果 專有時序數據存儲模型標簽數據（如設備信息）與指標數據（如測量值）獨立存儲節省存儲空間（大量冗余 vs 持續變化

14、）獨立索引設計（Hash+B 樹 vs 稀疏）獨立并發控制機制（數據一致性 vs 盡量無鎖）按設備與時間維度自動對指標數據分區支持高效寫入與查詢靈活的生命周期管理機制分布式節點間快速均衡分區內數據按設備分塊存儲，避免大量文件產生 支持關系模型、樹形模型等多種 IoT 設備模型到存儲模型的映射KaiwuDB 2.0 時序數據存儲模型功能原理價值賦能核心技術內存映射定義統一的數據空間；通過系統調用降低數據訪問開銷數據編碼通過編碼化變長為等長，簡化數據訪問方式快速定位列存模式下數據對齊，通過時間索引快速定位數據智能并行吸管模型，有效提升并行任務工作負載平衡性分段映射對數據進行分段映射，避免重映射導致

15、的鎖沖突預映射自適應預先進行數據加載和空間映射文件預熱自適應對數據進行預取，保持活躍數據緩存改善讀寫性能減少 CPU 拷貝更少的數據移動更少的輸入輸出內存磁盤編碼字典編碼字典編碼數據編碼數據內存映射并行任務并行任務并行任務就地計算超高可用性：節點全對等無中心架構，可容忍單點甚至多點故障shared-nothing 設計，可按需水平擴展，契合設備+時間維度的數據存儲模型單副本、多副本多種分布式模式兼顧性能優先與高可用優先不同需求按數據活躍程度進行數據分片，自動數據均衡節點復制層(Raft)時序分布路由關系分布路由主引擎時序數據實體組(主副本)時序數據實體組(從副本)時序數據實體組(從副本)時序引

16、擎關系數據分片 1關系引擎關系數據分片 2關系數據分片 3關系數據分片 節點復制層(Raft)時序分布路由關系分布路由主引擎時序數據實體組(主副本)時序數據實體組(從副本)時序數據實體組(從副本)時序引擎關系數據分片 1關系引擎關系數據分片 2關系數據分片 3關系數據分片 節點復制層(Raft)時序分布路由關系分布路由主引擎時序數據實體組(主副本)時序數據實體組(從副本)時序數據實體組(從副本)時序引擎關系數據分片 1關系引擎關系數據分片 2關系數據分片 3關系數據分片 無中心對等分布式架構主要應用場景制造業 IO 數據管理智慧工廠數據管理分布式物聯網設備管理數控設備狀態監控產能端數字化管理能

17、耗端數字化管理充/換電站智能管理儲能監控/電池銀行車聯網數據管理人車路協同管理車聯網智能駕駛智能汽車綜合管理智慧礦山智慧園區智慧應急智慧水務工業物聯網車聯網數字能源智慧產業某重工集團數據庫遷移及系統改造建設6 大痛點數據接入：適配工業多協議集成，支持原有數據庫的數據平滑遷移，實現多源異構數據接入；數據處理：基于 KaiwuDB 就地計算的流處理技術，可實現數據實時分析，支持產線運行數據分析、生產設備預警等業務；數據分析：可視化報表管理與自助分析，通過自助分析可視化看板，監控各類指標數據，及時響應各類決策。一站式解決方案亮點價值設備利用率復雜場景查詢性能設備故障率數據平滑遷移80 億加工效率數據

18、入庫性能2-8 倍 數據統一匯集難 數據價值發揮難 多庫運維管理難 生產流程監管難 生產工期評估難 設備故障預警難30%65%30%20%某工廠面向能源管控場景的數據庫建設KaiwuDB 數據底座：支持多類數據并發寫入、10 倍以上數據壓縮、聚合查詢等多維分析，滿足數據采集、集成、存儲、計算等數據全生命周期管理需求；KaiwuDB 數據服務平臺：提供報表導出、數據服務 API 創建、共享圖表看板等功能，可通過多種可視化形態，為上層業務應用提供自助、清晰、直觀的數據分析結果。4 大痛點組合拳方案亮點價值 海量數據存儲困難 數據查詢響應緩慢 數據挖掘信息單薄 圖表展示形式單一成本節約1000 萬/

19、年2000 2000 萬數據計算查詢反饋耗時150 ms處理效率80 萬筆/秒03開源新勢能KWDB 分布式多模數據庫擁抱開源開源成為新興領域內構建技術生態的默認選擇硬件開放軟件開源人工智能云計算大數據區塊鏈邊緣計算/IOT可插拔的區塊鏈平臺KaiwuDB 社區版 KWDB 于8月23日正式開源并于9月25日貢獻給開放原子開源基金會KWDB 包含 KaiwuDB 2.0 企業版除 AI 驅動自治和預測分析引擎外的全部能力KaiwuDB 開源的社區版本名字叫 KWDB，期待與廣大開發者共同解鎖分布式多模數據庫在各類場景下的無限可能。KWDB 是一款面向 AIoT 場景的分布式多模數據庫，可一站式

20、滿足 AIoT 等場景下數據管理需求及關鍵行業核心系統的自主可控需求。KWDB 基于浪潮 KaiwuDB 分布式多模數據庫研發開源，典型應用場景包括但不限于物聯網、能源電力、交通車聯網、智慧政務、IT 運維、金融證券等，旨在為各行業領域提供一站式數據存儲、管理與分析的基座，助力企業數智化建設，以更低的成本挖掘更大的數據價值。掃碼關注項目代碼倉庫走進 KWDB分布式多模數據庫參與 KWDB 社區社區角色樹歡迎大家參與共建https:/ issuehttps:/ PRhttps:/ 社區建設與未來規劃認證培訓提供課程學習、線上考試、獲得證書的專業技能認證培訓入門指南打造手把手上手操作的教程，幫助新用戶部署產品并開始使用職前人群多站校源行走入各大高校，通過科普數據庫行業及就業前景，鼓勵并歡迎學生參與開源建設系列視頻教程上線中架構解讀、特性解析等視頻教程正在籌備中，社區即將實現看、聽、學一體的課程體系貢獻者體系即將上線社區正在搭建完整的貢獻者體系，通過社區激勵、社區榮譽等方式回饋貢獻者，讓大家在參與開源的同時獲得歸屬感KWDB 代碼倉庫地址https:/ 官網社區https:/掃碼了解 KWDB獲取最新技術產品內容合集掃碼添加小助手備注:開源加入 KWDB 開源技術交流群Join US謝謝觀看謝謝觀看THANKS FOR WATCHINGTHANKS FOR WATCHING