2019年滴滴敏捷數據中臺實踐.pdf

1、滴滴數據體系介紹精益生產與敏捷創新滴滴數據體系介紹精益生產與敏捷創新張茂森滴滴概況|交通大數據超過150億日均車輛定位數據超400億次每日處理路徑規劃請求超過4800TB每天處理數據數據覆蓋了交通路況、用戶叫車信息、司機駕駛行為、車輛數據等多個維度滴滴目前對15分鐘后供需預測的準確度已經達到了85%業務發展驅動數據進化資產變現化數據平民化數據服務化數據智能化數據資產化打破煙囪，盤活資產安全合規與治理從量化到標準到優化信息數據化從記錄結果到記錄過程從副產品到精密設計從決策支撐到數據驅動業務信息化運營營銷信息化研發生產信息化企業管理信息化 業務煙囪 創新乏力 計算存儲落后 數據文化薄弱 數據質量混

2、亂 高投入低產出 使用門檻高 變現效率低研發實驗生產運營營銷平臺類互聯網企業滴滴滴滴的同與不同數據資源投入-業務價值產出微笑曲線網絡效應數據智能中臺數據體系建設的核心困難想法分析數據生產價值質量、效率、成本質量、效率、成本產品困難：多場景，全鏈路的復雜需求組織困難：多團隊，多目標的協作需求業務人員業務分析數據科學數據工程產品研發人工智能數據生產價值線數據創新價值線滴滴精益數據管理體系高價值、高可靠、高效率、低成本的數據服務交付精益數據生產價值鏈 分級 監控 復盤 自働化敏捷數據創新創新網 用結果 自配置 模仿做 自助化智能數據目錄發現、理解、信任、協作、眾包敏捷數據治理數據資產、安全合規服務驅

3、動、全面量化、重點攻堅數據文化持續改進，尊重人數據基礎設施數據系統工具鏈兩年來的建設成果兩年來的建設成果價值交付NPS從19%到60%精益數據生產D0級事故從10+降為1核心數據產出時間提前到5點敏捷數據創新非例行任務從2k+到20k+智能數據目錄 DataGraph20%員工高頻使用系統性對外輸出敏捷數據治理 DataRank資產分從40到70數據文化150+次改進復盤，周活1700到5000+數據基礎設施+系統工具鏈：開始對外輸出開發工作臺數據開發數據測試數據發布數據質量監控告警運維數據研發數據通道實時采集批采集Binlog采集數據中間件實時計算FlinkWoaterDruidHadoop

4、體系HadoopHiveSparkKey-Value&OLAPHBasePrestoClickhouse數據架構DataGraphOneSearch數據字典數據圖譜數據資產自助查詢協助模板查詢加速數據API數據賦能DataRank資產價值分資產歸屬資產優化數據建設數據全鏈路分級保障數據治理DataHubkafkaES可視化分析交互分析報表、儀表盤Notebook數據服務業務分析應用埋點運營分析產品優化AB Test地理圍欄營銷服務用戶分層標簽畫像流程優化業務根因財務管控多級管控財務根因CXO儀表盤移動App 自助式自服務 高效率全方位 全鏈路能力覆蓋滴滴數據系統組成 統一的元數據檢索能力，支持

5、Hive、報表等多種數據實體的統一搜索 基于數據價值或熱度的綜合排序 業務驅動的數據圖譜 眾包協作的知識沉淀智能數據目錄 讓數據越用越好用1234核心數據5點產出（業內普遍7-8點）開發效率提升35%指導數據優化方向精細化建設分級保障數據圖譜與數據中間層成本優化數據價值量化穩定性建設數據上下游聯動（全鏈路SLA）埋點管理數據采集運維/質量監控90%復盤率如何做好數據的基礎質量？如何找到需要的數據？如何更快更簡單的使用數據？建立數據委員會，推進業務-運維-數據的協同機制一鍵埋點，用戶行為軌跡全記錄數據采集秒級同步，準確性99.999%數據鏈路全監控，自動定位關鍵節點指標口徑變動100%管控所有元

6、數據信息一鍵快速查詢精準評估每一張表的數據影響和價值數據開放率99.04%隱私數據全脫敏，完備的權限管控機制，數據泄露0事故體系化建設指標口徑管理（數據字典）元數據（數據地圖+OneSearch）資產價值評估體系（DataRank）數據開放數據安全規范精益數據生產 讓數據持續可信賴數據開發工作臺監控&告警小時級延遲近源數據層業務ER關系還原中間數據層標準多維立方體查詢加速數據層交互式查詢接口|數據圖譜|數據地圖|DataRank管理|數據API各業務主題分析數據層標準化數據服務 讓數據持續可依靠實時數據集成服務 讓活數據無處不在日均查詢2千萬次平均響應時間1S穩定性99.996%采集集群總規模

7、約300+數據源約4500+個，Agent數量27000個峰值攝入數據條數2900w/s基于數據湖解決方案，實現快速找數據、即時分析數據，沉淀并復用分析過程分析師/BI可視化洞察數據湖找數據極速分析工作復用模板分享定時執行權限管理收到數據需求：統計?？燔嚪殖鞘械倪\營指標周期性數據需求，可以制作成模板運營/業務人員已有SQL模板，可以自己分析數據了比hive/spark快10倍每日超十萬任務智能SQL IDE標準SQL語法?？燔囘\營日報數據圖譜關鍵詞檢索知識推薦數據價值識別全類數據一站式搜索缺數據，向BI提需求傻瓜式操作十余類可視化方式敏捷運營分析 讓業務持續可創新數據科學Book數據驅動營銷 賦能AI放大價值中臺是買不來的尊重客觀經濟規律的管理和治理結果面向長期用戶價值的分工與合作中臺是組織與體系建設的成果THANKS構建一個人人用好數據的新世界THANK YOU!