OushuDB 6.0 內核升級引領實時湖倉一體新范式.pdf

《OushuDB 6.0 內核升級引領實時湖倉一體新范式.pdf》由會員分享，可在線閱讀，更多相關《OushuDB 6.0 內核升級引領實時湖倉一體新范式.pdf（7頁珍藏版）》請在三個皮匠報告上搜索。

1、引領實時湖倉一體新范式OushuDB6.0內核升級陶征霖偶數科技自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會OushuDB6.0體系架構實時湖倉一體最佳實踐OushuDB6.0內核升級新功能0 01 10 02 20 03 3目 錄Contents大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準

2、推進委員會大數據技術標準推進委員會大數據技術標準推進委員會OushuDB6.0體系架構3極速的性能比傳統MPP快5-10倍，比SQL on hadoop快30+倍PB級數據查詢秒級響應，支持交互式查詢億級大表與億級大表Join秒級響應實時數據單線程每秒1.5w條（插入刪除更新混合）無限擴展能力存算分離架構計算與存儲可以分別橫向線性擴展單集群支持上萬節點在線秒級擴容，無須人工干預支持超高并發主節點集群+元數據集群支持上萬并發橫向線性擴展，無限制混合負載能力跑批和查詢同時進行高并發、低延時的查詢能力可插拔存儲（實時、離線、歸檔用不同存儲）支持各種對象存儲、HDFS和自研Magma分布式表存儲使用方

3、便JDBC、ODBC連接支持標準SQL語法和存儲過程支持強事務一致性（ACID）兼容hadoop生態 客戶端客戶端客戶端客戶端客戶端Client 虛擬存儲集群 Virtual Storage Cluster(VSC)數 據HDFS VSC數 據S3 VSC元 數 據Magma VSC數 據Magma VSC VCVC 實例計算節點計算節點虛擬計算集群 Virtual Compute Cluster(VC)主節點 Main Node主節點主節點主節點主節點本地緩存本地緩存VC 實例計算節點計算節點本地緩存本地緩存VCVC 實例計算節點計算節點本地緩存本地緩存VC 實例計算節點計算節點本地緩存本地

4、緩存大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會OushuDB6.0體系架構之資源隔離VCIVCIVCIVCIVCIVCIVCIVCIVCIVCIVCIVCIsegmentsegmentsegmentsegmentsegmentVCI-nVCI-3VCI-4VCI-1（建議最大128節點）VCI-2VC1：批處理（可以無限個計算節點）VC2：即席查詢（32）VCn：固定報表（32）多虛擬存儲集群多虛擬計算集群在日終、月底時，

5、可快速增加額外的計算資源來提升性能l處理更多數據l響應更多用戶請求HDFS1計算與存儲分離物理隔離物理隔離HDFS2HDFS3VSC1HDFS1HDFS2VSC2Magma1Magma2VSC3對象存儲VSCN物理隔離物理隔離物理隔離大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會OushuDB6.0內核升級新功能兼容SQL:2016新增對JSON/JSONB的完整支持支持動態脫敏功能完整支持行列級權限管控支持動態分區，摒棄了靜

6、態分區的做法python升級為3.9java升級為17支持recursive cte支持update分布鍵新增truncate權限管控多線程+協程模型輕量級資源管理自調優執行器PROCEDURE支持事務控制more.大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會實時湖倉一體最佳實踐O Ou us sh hu uD DB BDBIoT數據應用T+x 批量數據 交付層DDL整合層IDLT+x 批量數據 著陸層LDLT+0 實時數據

7、 T+x 批量數據 K Ka af fk ka aT+0 實時數據（Magma）T+0 實時數據 T+0 實時數據 T+0 實時數據（Magma）T+0 實時數據（Magma）SQL視圖SQL視圖SQL文件Wasp數據工廠/Flinklog流定時調度Flow/SQL視圖定時調度Flow/SQL視圖WaspWaspWasp數據工廠/Flink流計算實時交互式查詢離線和微批Debzium/OGG/Logstash.1.架構：配合開源的Kafka/Flink組件，其中OushuDB優勢明顯（適配多種場景、簡化架構）2.速度：實時場景 DB 6.0（Magma單并發10000）+Wasp 6.0（單表多并發）大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會THANKS感謝聆聽自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會