8-4 貨拉拉大數據治理實踐之穩定性保障.pdf

1、貨拉拉大數據治理實踐之貨拉拉大數據治理實踐之穩定性保障穩定性保障黎仁全 貨拉拉 數據資產負責人/大數據專家|自我介紹|畢業于華中科技大學10年以上大數據治理經驗涉及大數據治理/大數據倉庫/大數據平臺等方向從事過電信、政府、互聯網等行業曾就職于螞蟻集團、平安科技等頭部企業現為貨拉拉大數據團隊數據資產負責人黎仁全數據資產負責人目錄目錄 CONTENTCONTENT|02大數據穩定性保障體系01背景與挑戰03事前-規范與流程04事中-監控與應急05事后-復盤與整改06總結與展望|0101背景與挑戰背景與挑戰|數據鏈路的復雜性數據源Hive表指標標簽特征|保障鏈路越來越多隨著公司業務增長，保障鏈路越來

2、越多，保障的任務也越來越多|鏈路的產出越來越無法保障 2021前3個季度，IT成本在不斷攀升，數據產出卻越來越糟糕|質量問題層出不窮 從2021前3季度的質量問題來看，指標級的數據質量問題呈現明顯增長趨勢，而數據表的質量問題也居高不下|數據質量產生原因數據數據生成生成數據數據接入接入數據數據處理處理數據數據服務服務數據變更不通知下游引發故障上游數據灰度或切流沒通知下游導致漏抽數據不合理的索引策略會影響下游同步數據業務系統臟數據引發下游質量故障任務測試或發布流程不規范引發生產故障數據加工邏輯錯誤導致下游大面積數據錯誤數據質量覆蓋不全或配置不合理導致大量質量問題無法提前暴露遷移不徹底導致基于無人維

3、護的舊鏈路導致數據錯誤開發同學水平參差不齊，低效代碼導致數據延遲產出任務依賴錯誤導致數據缺失異常缺乏全局的模型規范造成大量的重復建設大量全量抽數任務造成抽數任務超時增量合并全量選擇錯誤合并鍵引發錯誤缺乏監控熔點機制導致錯誤數據污染下游高峰期大批量拉生產庫數據可能引發生產事故實時同步數據可能因為鏈路堵塞延遲產出對外數據口徑不統一，數據不一致流向端上數據缺少測試驗收流程，導致質量故障業務指標缺少監控，不能及時發現問題|數據穩定性保障思路制定大數據設計規范制定大數據開放規范制定業務數據變更規范制定大數據測試規范制定任務發布規范監控數據產出時間監控表數據質量監控業務指標質量質量問題熔斷機制緊急修復數據

4、質量問題生成個人/鏈路/團隊質量健康分登記數據質量事件復盤數據質量故障修復數據質量問題專項治理數據問題跟進整改/治理進度考核數據質量水平事中事中監控監控事前事前預防預防事后事后完善完善10|0202大數據穩定性保障體系大數據穩定性保障體系數據治理職責分工 組織保障平臺支撐制度建設項目落地數據治理組織保障：明確職責分工制度建設：制定標準流程，保障落實執行項目落地：貼合業務，追蹤成效平臺支撐：研發支撐系統，提質增效|數據資產體系架構|穩定性保障體系架構|穩定性評估體系-平臺支持完整性分準確性分一致性分質量分度量個人質量分鏈路質量分團隊質量分評分元數據驅動IDP(離線任務)飛流(實時任務)大禹(質量

5、監控)鷹眼(指標監控)個人/鏈路/團隊質量報告(日/周/月)數據質量 完整完整性性一致一致性性及時及時性性準確準確性性及時性分數據是否完整記錄數/指標值同環比波動字段是否為空或指標是否缺失記錄是否重復數據是否保持規范一致或格式一致字段格式一致表關聯一致指標關聯一致數據記錄是否存在異?；蝈e誤字段枚舉值異常超出字段值范圍字段內容錯誤數據是否按要求產出到點未產出運行時間過長|穩定性運營機制質量健康分紅黑榜通報批評任務禁止新權限保障鏈路下線禁止新建操作禁止生產操作禁止加入保障治理收益榜單徽章點亮優秀治理個人/團隊評選懲罰措施激勵措施個人質量分抓手：穩定性評估體系鏈路質量分團隊質量分事件復盤復盤故障復盤

6、故障整改整改/治理整改跟進專項治理|0303事前事前-規范與規范與流程流程|數據規范-控制增量研發流程規范業務數據變更規范數據接入規范任務發布流程規范-確保上游業務側庫表變更及時同步-確保數據接入需求流程規范，抽數不影響業務庫等-確保核心數據需要經過測試驗收值班oncall機制-值班應急處理流程大數據開發規范-規范命名規則、編碼風格等大數據設計規范-規范數倉分層設計，保證模型的穩定大數據測試規范-保障任務發布的規范、合理IDP飛流元初DMS|數據規范-關鍵舉措|0404事事中中-監控與應急監控與應急|監控場景分類數據監控指標監控監控對象任務表字段指標監控頻率離線，T+H，T+1，T+M實時準實

7、時，5分鐘粒度離線，T+H，T+1，T+M實時準實時，5分鐘粒度監控項完整性準確性一致性及時性完整性一致性及時性應用場景監控產品大禹鷹眼防止錯誤數據污染下游防止延遲影響整體鏈路產出防止延遲產出影響決策或線上服務防止錯誤指標影響決策提升業務運營感知能力，給運營提供彈藥兜底線上故障帶來的異常波動|數據質量監控-大禹|實時指標監控-告警實時指標監控-告警|實時指標監控-值班與應急|0505事后-復盤與整改|故障/事件復盤機制-復盤流程準備復盤文檔建故障溝通群舉行復盤會議-遵守復盤文檔規范-責任方、參與方、受影響方-7日內完成復盤復盤整改跟蹤-跟蹤復盤整改情況|故障/事件復盤機制-復盤記錄|整改與治理

8、整改與治理 隊列資源治理隊列資源治理優化隊列資源搶占策略優化任務下發策略非核心鏈路任務占用核心鏈路資源治理核心鏈路隊列削峰治理 任務優化治理任務優化治理抽數任務全改增治理抽數無索引任務治理執行時長大于1小時任務治理執行不穩定任務治理調度“空泡”治理關鍵路徑優化 任務規范治理任務規范治理select*任務治理離職主負責人任務治理分表主鍵錯誤治理無效任務下線治理依賴錯誤任務治理治理整改|0606總結與展望|成效-用數據說話|總結監控告警異常告警值班應急監控過程事前事前預防預防制定流程規范故障整改整改/治理整改跟進專項治理質量健康分排名常態化運營獎懲機制自主治理|思考保姆式運動式治理 VS 自驅式治理怎樣提升指標監控準確性成本&穩定性|展望智能告警策略提升值班幸福感一鍵式自動化治理智能預測算法提升指標監控準確性非常感謝您的觀看非常感謝您的觀看|