星云零售信貸基于Doris的OLAP演進之路(2).pdf

《星云零售信貸基于Doris的OLAP演進之路(2).pdf》由會員分享，可在線閱讀，更多相關《星云零售信貸基于Doris的OLAP演進之路(2).pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、DataFunSummit2023演講人：劉建波-騰梭科技-研發總監 數據需求的產生 OLAP選型困擾 Apache Doris實踐 業務場景落地產品演進1、互聯網網貸業務2、助貸+聯合貸導流3、純自營業務II)、技術架構單體應用-分布式應用-微服務 I)、業務架構網貸-聯合貸-新零售 OLAP選型困擾1、生態復雜且門檻高、技術勸退2、投入產出比極低、成本勸退1、訴求：需要的不是大數據平臺，而是一套高性能的OLAP工具2、原則：數據規模、靈活性、成本可控演進之路第一階段：基于kettle 離線ETL插件豐富、鏈路長、難管理第三階段：基于doris的存儲分析簡單易用、極速查詢、實時統一第二階段：

2、基于trino的統一查詢異構數據源、聯邦查詢、大內存Apache Doris實踐1、并發查詢加速2、數倉底座建設運行架構業務模型業務場景及技術方案1、風控大數據報表平臺2、統一日志存儲與分析3、用戶行為日志存儲分析任務編排XX銀行-風控大數據報表平臺1、T+1離線跑批ETL2、分鐘級準實時ETL3、Flink CDC實時ETLXX銀行-統一日志存儲與分析1、自定義Flume Sink采集2、未使用倒排索引3、基于大文本模糊匹配XX銀行-用戶行為日志存儲與分析1、自定義Flume Sink采集2、基于JSONB存儲與分析3、存儲極致壓縮、降本增效架構收益取數導數：業務人員或者開發人員，可以進行自定義的導數和緯度數據分析運維成本:集群節點做進程?；?、幾乎自運維查詢延遲:簡單查詢毫秒級,復雜查詢秒級響應資源節省:Doris極致壓縮，將數據壓縮了70%，存儲成本降低后期規劃1、智能數據網關2、統一數據歸檔DataFunSummit2023感謝觀看