云粒智慧實時數倉演進之路_付大偉.pdf

《云粒智慧實時數倉演進之路_付大偉.pdf》由會員分享，可在線閱讀，更多相關《云粒智慧實時數倉演進之路_付大偉.pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、數據中臺應對智慧城市、生態環保等領域的實踐付大偉云粒智慧-數據智能事業部云粒智慧實時數倉演進之路01 業務背景及挑戰將數據中臺作為產品應用于智慧城市、生態環保等領域面臨的問題和挑戰02 實時數倉的架構演進在傳統數倉技術框架下做的一系列努力之后跨進到 FlinkCDC 結合 OceanBase實時數倉演進過程03 項目實踐及未來規劃項目上的成功應用以及后續規劃Contents目錄智慧城市生態環保政務服務一體化公共數據開放一網統管環保領域水利行業公司介紹主要業務三中臺&智能化業務云粒智慧科技有限公司成立于2018年6月，以智能化、數字化產品為核心，致力于構建未來城市數字化基礎設施平臺?！皵祿信_、

2、應用中臺、智能中臺及智能化應用”的一體化解決方案，其業務已覆蓋350+個城市，助力200+個城市政府單位實現了數智化轉型。應用中臺孔雀大屏報表引擎低代碼平臺數據中臺方法論治理服務中臺產品智能中臺視頻接流平臺事件中心智能化應用業務服務服務接入數據中臺產品星河數據中臺集“方法論+產品+服務”的中臺體系，提供數據采集、融合、治理、計算、分析、服務、可視化的全鏈路一站式管理與服務，助力充分釋放數據要素價值，打造業務和數據的閉環，持續賦能行業應用化轉型。經過五年5大版本迭代，累計完成100+客戶項目的落地交付！K8s集群存儲計算Kafka集群文件存儲Minio集群HTAP引擎（OceanBase）流計算

3、引擎Flink 集群分布式協調元數據庫引擎OS調度引擎微服務控制面接入面門戶存儲引擎數據分區SQL引擎事務引擎存儲引擎數據分區SQL引擎事務引擎.政務領域業務跨度較大，多種數據源、不同頻率的數據匯集，帶來很多業務復雜性問題。多業務線 形態各異計算資源缺乏各項目3-5臺計算資源，難以運行大規模計算；服務器資源匱乏，大量數據計算往往耗時較長；數據實時性較強各單位追求業務協同效率，如：防汛減災、水質污染等實時告警場景業務協同需求強業務特點實時數據入倉帶來了諸多小文件問題，雖然項目組在Flink的框架下做了諸多優化，仍然無法滿足大屏監控、預警、數據消費等應急場景需求。運維挑戰資源利用率靈活性星河數據中

4、臺數據時延技術挑戰數據中臺作為一個大數據處理系統，數據引擎是其核心，以Hive為主的傳統數倉建設在項目落地實施的過程中，我們也遇到了諸多痛點數據更新方式僅支持全表/分區級覆蓋，應對遠景冷區部分數據更新時，處理邏輯復雜且低效。數據中臺V1.X-V3.X版本中，依托Hive、Hadoop系列中間件作為存儲計算引擎，也帶來了很多挑戰組件眾多，配置、監控、伸縮、?；畹榷紭O大地增加了運維工作量。高可用場景下每個節點均需要多個進程，容器部署性能下降。受限于YARN的調度策略，需要在項目中依據任務和資源情況逐個調優，任務量增加后仍需持續投入，難以一勞永逸。開源協議云原生支持集群模式私有化部署成熟度一、架構簡

5、潔易維護：OceanBase 的架構更加簡潔，由 OBServer 和 OBProxy 構成，運維多套項目環境節省成本，更加便利；二、多租戶、資源隔離：云粒數據中臺作為一個原生多租戶系統，使用 OceanBase 的多租戶體驗更佳；三、良好的生態：OceanBase 的社區、生態更加開放，如數據集成專為 DataX 開發插件，FlinkCDC 的 connector，貼合我們路線；性能測試，每次處理1GB數據量，三臺 8C32GB 服務器集群（處理時延速度提升24倍）內容產品HiveOceanBase數據接入21s14s數據更新1（兩表關聯）24s1s數據更新2（五個表關聯）39s10s學習成

6、本低適配容易額外收益運維簡單OceanBase技術選型數據引擎作為基礎軟件百花齊放，沒有最好的只有更適合自己的，怎么判斷是否適合，對于云粒而言，主要有如下五點:選用Flink-CDC實時同步面對諸多的實時同步框架，Flink-CDC 在分布式架構設計、全量/增量同步支持及靈活性方面有很大優勢平臺契合度同步方式全量同步、增量同步、全量+增量同步，助力業務交付人員，數據源接入花費時間節省65%性能指標在提供 4Slot4G 內存配置情況下對常用數據庫進行同步測試，增量同步500萬數據約31s完成。全量同步500萬數據約200s完成。（MySQL、SQLServer、PG等全量同步略有差異）分布式底

7、層基于 Flink 分布式引擎，在 K8s 集群中很容易應對大量任務的場景。Flink-CDC考察點數據中臺在建設之初就選用 Flink 作為流計算框架，Flink-CDC 技術路線與中臺現有技術棧完美契合。平臺全新架構V4.0的數據中臺，大數據底座減少兩層，OceanBase 替換了 Hadoop 體系的一系列組件，架構簡潔。引擎架構升級改造前平臺UI/API業務微服務離線任務調度引擎流計算引擎FlinkMPP引擎（Trino）HiveServer2Hadoop YarnHadoop Hdfs改造后平臺UI/API業務微服務離線任務調度引擎流計算引擎增加CDC能力OceanBase文件存儲M

8、inIOCDC Connector讀取日志（增刪改）Flink Connector寫入OB中臺數倉（OceanBase 引擎）分區A分區B流計算引擎Flink 集群SQL加工邏輯分區CKafkaFlinkConnector讀取數據Flink Taskmanager 自動擴縮容Flink CDC+OceanBase 實時數倉方案實時數據治理邏輯數據源業務庫表優勢及特點依托 FlinkCDC 和 OceanBase，建設完全云原生的智能化數據中臺微服務、調度任務、大數據引擎全部基于 K8s 云原生技術，支持容器化部署和資源調度，實現彈性伸縮和快速升級。流計算和 OceanBase 的廣泛應用，使得

9、單個項目服務器資源由原來的11臺縮減到6臺，在業務量和資源投入上可以更好的平衡。以往，大數據底座問題往往需要運維+開發花費1-2天時間進行排查和優化，OceanBase 清晰的日志信息給運維帶來極大便利，常見問題1小時內解決。資源節約云原生易于管理數據開發學習成本低不同業務形態下簡易配置，離線與實時數據開發均提供SQL 化（離線標準 SQL、實時 FlinkSQL）、配置化；拖拉拽式作業編排，百萬級任務調度、開發效率提升。OceanBase 對大數據新入行人員非常友好，學習成本極低。星河數據中臺項目上的應用效果貴州某項目在該方案的基礎上數據處理能力大幅提升改進前 11臺服務器；實時數據入倉約5

10、分鐘延遲；更新邏輯復雜，任務量4.2萬/天；改進后 8臺服務器；實時數據入倉約5秒鐘延遲；支持更新，簡化業務，任務量3.8萬/天；服務器資源節省27%；實時效率提升100倍；業務復雜度降低10%；數倉中表數量：1960個、列數量：21151、數據總量：675億條、空間占用：共28.9TB微服務A微服務B微服務X離線任務A離線任務BFlink任務1Flink任務2Flink任務NK8sK8sK8sK8sK8sK8s集群OceanBaseOceanBaseOceanBaseK8s集群實時告警實時接入以 CDC 的方式實時接入各市州的監測庫，實現數據秒級入倉。利用 FlinkSQL，站網監測數據閾值計算、波動計算、模型預測，實時產生告警。開發流程數量：361個，任務量：3.8萬個/天接入數據條數：1.96億條/天，導出：2950萬條/天提升指標未來規劃云原生OceanBase 的云原生部署，在項目中多空間多租戶的場景支撐；增強流計算實時分析，在 OceanBase 4.3版本中體驗實時數據分析能力，逐漸替換離線業務；FlinkCDC 支持更多數據源；Flink ML 探索應用；監控及調度增強調度引擎升級，基于計算引擎的資源監控升級調度策略；星河數據中臺 V5.X 版本研發全平臺云原生支持流式數據開發增強基于引擎資源監控的優化調度謝謝謝謝謝謝