8-1 中通快遞數據治理實踐.pdf

1、中通數據治理實踐中通數據治理實踐薛世敏 中通快遞 資深架構師|0101中通簡介中通簡介0202數據治理驅動力數據治理驅動力&目標目標0303 數據治理實踐數據治理實踐0404未來規劃未來規劃目錄目錄 CONTENTCONTENT|0101中通簡介中通簡介|中通快遞介紹中通快遞介紹中通快遞股份有限公司中通快遞股份有限公司創建于2002年5月8號，是一家以快遞為主的大型綜合物流服務企業。市場份額市場份額 23.0%23.0%日均日均單量單量近近70007000萬萬客戶客戶滿意度滿意度“通達系通達系”中名列前茅中名列前茅菜菜鳥指數鳥指數表現表現優異優異國際快運云倉商業冷鏈金融智能星聯傳媒|兔喜中通快

2、遞業務流程圖中通快遞業務流程圖攬收攬收網點網點首中心首中心末中心末中心網點交件網點交件快件轉運快件轉運網點拉件網點拉件派件派件網點網點電商下單電商下單散客下單散客下單集團下單集團下單快遞柜快遞柜快遞超市快遞超市驛站驛站客戶服務客戶服務快遞時效快遞時效利潤收支利潤收支市場份額市場份額|0202數據治理驅動力數據治理驅動力&目標目標|驅動力驅動力-業務痛點業務痛點數據資產數據資產缺乏盤點缺乏盤點1.公司有哪些數據，都分布在哪些系統？2.哪些數據已經采集到大數據？數據標準化數據標準化建設不足建設不足1.指標數據標準化2 主數據標準化.數據質量數據質量問題問題1.臟數據2.維度數據缺失3.數據采集不全

3、.數據模型數據模型待完善待完善1.模型復用度2.煙囪式開發.驅動力驅動力-法律法規法律法規數據數據安全安全法法個人信息個人信息保護法保護法1.1.做好數據做好數據分級分類分級分類和和對數據合規安全訪問；對數據合規安全訪問；2.2.保障數據保障數據保密性、保密性、完整性完整性、可用性；、可用性；|數據治理目標數據治理目標數據數據數據資產數據資產|數據治理體系數據治理體系戰略機制平臺專 題組織與團隊建設組織與團隊建設數據治理組織角色與職責數據認責制度流程建設制度流程建設管理制度考核機制實施細則操作手冊數據認責、文化建設數據認責、文化建設數據資產運營，價值呈現數據資產運營，價值呈現實施實施專題專題實

4、施實施流程流程數據標準管理數據質量管理元數據管理數據安全&隱私基礎控制活動基礎控制活動數據存儲周期主數據管理數據架構&模型支撐活動支撐活動數據服務應用管理數據賦能活動數據賦能活動盤盤規規治治用用元數據管理平臺元數據管理平臺數據質量管理平臺數據質量管理平臺大數據平臺大數據平臺企業數據戰略目標企業數據戰略目標|組織架構組織架構管理管理執執行行|0303數據治理數據治理實踐實踐數據質量治理數據質量治理數據模型治理數據模型治理元數據治理元數據治理|認識數據質量認識數據質量數據質量數據質量是指在業務環境下，數據符合數據消費者的使用目的，能滿足業務場景具體需求的程度。|圖片來源網絡數據質量問題數據質量問題

5、數據質量數據重復數據重復波動值過大波動值過大異常值異常值操作不規范操作不規范數據未采集數據未采集.對數據不信任對數據不信任無法正確做決策無法正確做決策不能精細化運營不能精細化運營|數據質量解決方案數據質量解決方案數據數據質量質量發現發現數據質量發現數據質量發現數據質量管理平臺業務專題分析評估評估分析分析數據數據質量質量驗收驗收數據數據問題問題解決解決評估分析評估分析問題根本原因分析治理成本收益分析數據問題解決數據問題解決業務技術流程數據質量驗收數據質量驗收數據質量是否解決|監控流程監控流程業務層級業務層級關鍵校驗內容思路關鍵校驗內容思路ODS數據源抽取記錄量一致DW數據空值、編碼值一致性、數據

6、重復校驗DM數據加工結果保持總值不變應用指標平衡數據一致、指標值平衡DMDMDWDWODSODS規則配置規則配置規則引擎規則引擎數據加工流程數據加工流程規則檢測支撐規則檢測支撐異常結果輸出異常結果輸出日志記錄存儲日志記錄存儲異常結果分析異常結果分析異常異常結果提醒結果提醒檢測點檢測點設置設置規則能力規則能力實現實現檢測結果檢測結果生成生成各層具體校驗思路各層具體校驗思路上游依賴上游依賴程序處理程序處理質量檢查質量檢查|數據治理實踐數據治理實踐-搭建監控平臺搭建監控平臺規則模板規則模板自定義規則自定義規則消息告警消息告警電話告警電話告警質量全貌質量全貌規則配置質量檢查監控告警流程優化問題報告強/

7、弱規則告警升級強規則阻斷下游任務執行弱規則下游繼續執行強規則告警未及時處理，會升級到leader。|以業務驅動數據質量問題解決以業務驅動數據質量問題解決 量本利分析違規稱重分析時效分析未線上化功能不完善操作不規范數據采集不完整推進線上化完善系統功能制定規則、規范操作數據全量采集|數據質量治理成果數據質量治理成果推動100%計費政策數據線上化，結算時效提升至T-1;更規范的操作更規范的操作完善業務系統功能完善業務系統功能數據全量采集數據全量采集線上化線上化推動業務系統采集關鍵操作環節數據，支持更細粒度的業務分析；協調業務部門細化各類操作規范，操作數據質量進一步提升；推動業務系統人員轉變意識，產品

8、功能不僅僅滿足滿足業務流程需求，同時在產品設計環節考慮下游數據分析需求；|0303數據治理數據治理實踐實踐數據質量治理數據質量治理數據模型治理數據模型治理元數據治理元數據治理|核心運單流程的生命周期短則1天，長則3-5天，異常單甚至更長；財務類周期結算長，涉及政策財經類數據計算回刷時間13個月數據生命周期長數據生命周期長 數據由不同業務對象產生，如快遞員，分揀員，司機，客服等，數據產生依賴業務對象操作規范性對象多數據大對象多數據大 運單核心主流程從下單到簽收涉及業務流程較為復雜涉及運單攬派運簽主流程之外，還涉及結算流程，客服流程等額外流程業務流程復雜業務流程復雜 物流行業本質是服務行業，核心注

9、重營運效率，因此對數據依賴非常強。集團通過數據化運營進行成本管控，運單時效管控，服務質量管控，已成為公司日常運營環節，因此對數據準確性，時效性要求很高數據精細化運營數據精細化運營成本成本時效時效服務服務重重運營運營 時效，時效，服務，服務，成本成本數據鏈路復雜，業務精細化運營數據鏈路復雜，業務精細化運營業務特點業務特點|數倉現狀數倉現狀層級現狀0202安 全safe主題現狀0101規?，F狀0303按照公司業務板塊主要劃分出運單，財經，客服，時效，中轉,汽運等27個一級主題域；數據流向ods-dw-dm-st，核心數據建設集中在dw和dm層級，為下游提供通用公共服務；PB級數據規模；計算任務1萬

10、+個；集群上千臺；支撐與服務集團全領域業務線；數 據 現 狀數 據 現 狀|目前存在挑戰目前存在挑戰業務持續增長項目快速迭代數據建設不規范業務持續增長和數據建設不規范，部分數據應用層很多直接引用原始明細，模型復用性不高數據時效受限于集群資源和業務快速增長，部分核心數據和指標出現時效不穩定計算資源和存儲資源增長速度跟不上業務增長速度，必須要進行資源治理，才能夠持續發展復用性不高時效不穩定資源危機|整體方案整體方案制定集團數據建設，分層和使用規范；嚴格要求各個數據開發和使用團隊遵守以需求為驅動，將設計，開發，上線等數據建設各個階段進行過程管控將影響集團級運營數據和指標進行篩選和評估，把影響較大的模

11、型和應用納入核心資源池中來，重點關注該類模型復用性，時效和資源問題|復用度治理復用度治理流程流程規范規范制定制定過程過程線上線上管控管控核心核心數據數據識別識別需求評審需求評審數據模型設計數據模型設計應用數據開發應用數據開發數據模型評審數據模型評審需求評審需求評審公共模型設計公共模型設計梳理數據建設流程制定數據規范所有數據參與者遵守數據使用數據設計數據開發全流程線上化管控工單申請工單申請“4個核心”梳理識別，重點關注，重點治理，優先保障核心鏈路數據準確，及時端到端端到端核心核心系統系統核心核心數據數據核心核心模型模型核心核心應用應用|復用度復用度治理治理復用度復用度需求需求響應響應及時性及時性

12、時效時效引用引用頻度頻度|成果成果計算任務6點前總體完成80%，關鍵任務完成100%，日常任務時效能夠達到業務期望目標核心領域寬表使用占比高，數據應用研發時效提升50%，讓分析，產品，業務，研發更輕易的使用數據在業務高速增長，且無大量資源增加時，能順利保障大盤和核心鏈路資源和存儲穩定，為業務增長騰出了一定的發展空間應用層數據統一從公共層寬表取數，確保數據口徑一致穩穩快快研發效能研發效能:敏捷敏捷資源：資源：可控可控數據口徑：數據口徑：一致一致時效：時效：穩定穩定|0303數據治理數據治理實踐實踐數據質量治理數據質量治理數據模型治理數據模型治理元數據治理元數據治理|處理邏輯處理邏輯怎么用?表字段

13、詳情表字段詳情使用痛點使用痛點有什么？投 訴投 訴發件人發件人收件 人收件 人費 用費 用車 輛車 輛軌 跡軌 跡運單系統系統在哪里?主題域主題域dw/dm/stdw/dm/st|信息梳理信息梳理010102020303子主題子主題來源系統來源系統概要信息概要信息主題主題開發負責人開發負責人統計規則統計規則主要用途主要用途產品經理產品經理系統系統數據數據表表歸屬主題歸屬主題統計口徑統計口徑指標編碼指標編碼指標類別指標類別產品經理產品經理開發負責人開發負責人指標名稱指標名稱|元數據應用元數據應用一、按主題了解數據全貌|元數據應用元數據應用二、按表、報表、指標等對象對數據進行檢索，并實現表、報表、指標的聯動；|元數據應用元數據應用二、按表、報表、指標等對象對數據進行檢索，并實現表、報表、指標的聯動；|影響影響分析分析元數據應用元數據應用-其他其他|任務治理任務治理數據冷熱度分析數據冷熱度分析0404未來規劃未來規劃|未來規劃未來規劃結合業務發展重點，持續開展數據質量治理，繼續提升數據質量；1 12 23 3基于元數據，從資源消耗、價值等方面實現數據資產價值評估；|聯動業務系統，開展數據架構治理；有什么想知道的？有什么想知道的？What would You like to know？Q Q我想知道我想知道.I wank to know.A A|非常感謝您的觀看非常感謝您的觀看|