2020年終大會-數據治理：15-1.pdf

1、美團酒旅數據治理實踐 美團-大數據部-李建舒 美團基礎研發平臺 1 目錄 背景介紹 治理實踐 未來規劃 2 消除問題 為什么要做數據治理？ 數據采集數據產數據存儲數據應數據銷毀 數據從產到應全流程 數據產 產問題 數據開發 數據治理 3 需要治理哪些問題？ 數據 問題 質量 成本 效率安全 標準 數據常見問題數據常見問題 數據質量 標準規范 成本控制 數據安全 研發及管理效率 4 美團酒旅數據現狀 0 2000 4000 6000 8000 10000 12000 14000 16000 2017Q1 2017Q2 2017Q3 2017Q4 2018Q1 2018Q2 2018Q3 2018

2、Q4 數據生產任務數 臨問題 標準化規范缺失，數據產、存儲和應各環節的流程 規范統標準 數據質量問題多，數據冗余多，數據煙囪式建設，指 標徑亂，法保證數據致性 成本增過快，數據存儲和計算費增快，成本控 制和調優困難 數據安全控制弱，數據產和查詢權限統規則，數 據密級統管理 數據管理和運維效率低，數據使問題的咨詢多，數據 RD需要花費量時間解答業務同學的問題 5 目錄 背景介紹 治理實踐 未來規劃 6 數據治理策略 組織 標準 衡量 技術 數據治理 成本 安全 效率 質量 元數據 技術體系 質量效率成本 元數據 標準化規范及組織保障 衡量指標 安全 數據治理的內容數據治理的實現路徑 7 標準化及

3、組織保障 業 務 數 據 產 品 組 業 務 數 據 開 發 組 后 臺 開 發 團 隊 數 據 平 臺 分 析 具 中 業 務 銷 售 部 產 品 及 運 營 部 商 業 分 析 部 業務部技術團隊 數據管理委員會 制定 組織執 標準化 全鏈路數據標準化建設 數據采集 數倉開發 指標管理 數據應 數據命周期管理 8 數據質量 常問題 數倉規范性差 數據致性問題多 數據應法把控 多個產品中指標邏輯不同 服務接 統數據服務 指標管理 統指標邏輯 數據產品 統戶產品 數據倉庫 統數倉規范建模 消息推送OLAP查詢API接 業務系統 業務系統數據前端流量后臺志 分析主題層 組件層 明細層 應層 維度管理查詢邏輯模型管理指標管理 數據檢索產品業務銷售產品管理者產品 技術實現 9 統一數倉規范建模 模型設計規范 數倉分層和主題 命名、類型、詞根 公共維度、關聯關系 模型開發規范 開發流程 代碼編寫