2020年終大會-數據倉庫：7-3.pdf

1、貝殼基于Apache Druid的 OLAP引擎應用實踐 王 嘯 現貝殼基礎平臺中心大數據平臺部工程組-資深研發工程師，負責OLAP平臺查詢引擎相關技術 曾經供職于中國電信、百度，負責大數據平臺的架構設計與研發，有著豐富的實踐經驗 個人介紹 1. 貝殼OLAP平臺介紹 2. OLAP技術選型策略 3. Druid在貝殼的應用實踐 4. Druid結合貝殼業務場景的改進 5. 未來規劃 分享大綱 1. 貝殼OLAP平臺介紹 平臺架構 一站式指標平臺 QueryEngine 奧丁圖靈CA運營 使用對象 路由層 引擎層 指標層 數據建模例行任務指標定義與加工指標API 元數據平臺 查詢轉換查詢緩存查

2、詢降級引擎切換 KylinDruidClickhouse 監控平臺 經紀人 運營人員房產分析師 應用層 數倉人員 客戶 數據源構建時間長，不能完全滿足業務方及時查詢要求 數據源底層存儲占用巨大 查詢靈活性較差，可能需要構建多個cube適配 相較源數據膨脹率巨大，產生可怕的維度爆炸 調優門檻相對較高 使用Kylin存在的問題： 2. OLAP技術選型策略 我們需要什么樣OLAP引擎 要求 亞秒級 響應 支持較高 的并發 靈活易用 查詢接口 快捷的數 據導入 PB級別的 數據量 能滿足五項要求的開源OLAP數據庫，做全面的對比 種類大數量支 持 查詢性能高并發 實時數據 攝入 實時數據 更新 Jo

3、in支持 靈活性成熟程度重要特性運維要求備注 druid 高高高支持不支持直接 update， 但 支持Last Aggregator 語義 差SQL支持有限 支持Online Schema變更 高精確去重（官方 支持有限） 但社區提供了離 線精確去重解決 方案 支持多值維度 中僅支持時 序數據 kylin 高高高3.0版本支持， 老版本不支 持 不支持差支持SQL(非 標準) 適合固化維 度分析 高支持精確去重中 doris 高高中支持中中SQL支持好 支持Online Schema變更 支持數據 Update操作 中支持精確去重中 clickhouse 高高中支持弱差支持SQL(非 標準) 高支持精確去重 支持Array等類 型 高 220 73 143 166 60 55 110 22 20 110 45 15 18 20 0 50 100 150 200 250 數據源1數據源2數