翼支付數倉建設與數據治理實踐之路(1).pdf

1、翼支付數倉建設與數據治理實踐之路黃洛 翼支付 高級數據倉庫開發翼支付介紹翼支付介紹天翼電子商務有限公司是中國電信集團有限公司的成員企業，是國資委雙百改革和發改委第四批混改“雙試點”企業，也是“雙試點”企業中唯一的金融科技公司。公司以翼支付APP為載體，提供支付方案、會員權益、民生服務、分期借貸、保險理財、消費電商等服務內容，依托區塊鏈、云計算、大數據、人工智能等技術，致力于推動包括生活服務、金融服務的數字化升級秉持“響應監管、服務民生、資源共享、合作多贏”的理念，聚焦“開放、安全、便捷”的核心產品力，翼支付堅持通過服務投入與產品升級，構建貼合需求的管理與業務體系，以交流融合的業務實踐，推動產業

2、各方實現數字化轉型。講師簡介講師簡介9年數據倉庫開發及數據治理經驗，曾就職于眾安保險。2019年加入翼支付，現就職于大數據與人工智能研究院，負責金融版塊業務數倉建設及治理。有豐富的數倉建設、數據治理實踐及大數據平臺應用經驗。黃洛高級數倉開發C CO N T E N T S數據治理背景數據治理建設內容數據治理成效未來規劃企業級數倉建設代碼冗余、任務時效不穩定祖傳代碼嚴重，任務鏈路長，煙囪式開發嚴重，任務時效得不到保障。元數據信息嚴重缺失缺少建表責任人、字段中文備注、分區字段隨意等，導致庫表清理及新人上手難度很大。數據口徑差異明顯在一些整合數據口徑下，由于各自整合口徑來源不同，后續指標口徑不一致數

3、據安全風險高敏感數據未加密，數據下載入口多或無下載記錄等，數據安全風險高。數據治理背景數據治理建設內容平臺建設平臺建設依托數據開發平臺、BI平臺、元數據管理平臺、數據資產平臺，構建統一的數字化和數據平臺架構數據應用治理數據應用治理通過提升數據易用性、縮短計算和查詢時效、提升數據質量、降低計算存儲成本，構建敏捷的商業分析和數據洞察能力數據規范數據規范通過規范業務生產系統數據保證源數據的質量，構建數倉規范、主數據&元數據管理、數據分類分級保證數倉數據治理的質量等，形成完成全面的數據治理標準數據安全數據安全從數據存儲、數據傳輸、數據使用三個方向進行數據安全鏈路改造，讓企業數據符合國家對于數據安全的合

4、規要求組織協同組織協同成立數據治理委員會(牽頭各組織協同推進治理進程，為治理分歧的最終決策組織)、技術架構委員會(公司系統信息架構審核，基礎數據規范推行落地，提升原始數據質量)、治理實施小組(治理的落地組織，由業務、研發、大數據組成，統一考核，統一調度)，在數據治理委員會的統籌下，緊密協作，形成統一、順暢、敏捷的組織協同鏈路企業級數倉建設-調研階段01020304數據開發平臺：hive-spark計算引擎升級，雙環境調度開發保障、數據質量監控保障、數據運行監控保障、任務運維等即席查詢平臺：提供數據探查入口、管理數據下載審批流程等自研報表平臺：自研可視化平臺，推動國產化進程指標管理平臺：管理原子

5、指標、派生指標、衍生指標的相關元數據信息元數據平臺：覆蓋建表管理、數據地圖管理、血緣分析管理、表生命周期管理、冷熱數據自動化管理、安全分類分級自動化管理企業級數倉建設-平臺護航平臺是骨架，數據是血液！企業級數倉建設-數倉分層企業級數倉建設-維度建模選擇業務過程：以業務為基礎，選擇需要建模的業務過程，如授信、放款、還款、催收等均為不同的業務過程聲明粒度：粒度是維度建模中非常重要的要素之一，在同一事實表中，必須有相同的粒度，不能混用多種粒度(如grouping sets)，如授信表中的授信流水號，訂單表中訂單號等確認維度：維度在業務分析中占據了核心地位，一個好的數倉模型，通常會在不改變粒度的情況話

6、退化一些常用的維度信息確認事實：事實一般是數值類可累加的、不可重復的，在維度建模中一定要注意維度退化造成的數據重復問題，后續模型建設好也需要配置數據質量監控維度建模四步曲命名規范企業級數倉建設-維度建模表命名規范：包含層級、數據域、產品線、業務過程、刷新周期、增全量標識等。如：dwd_數據域縮寫_產品縮寫_業務過程縮寫_自定義命名縮寫_刷新周期標識單分區增量全量標識 字段命名規范：建設數倉共有的詞根命名規范，原子指標命名如 crdt_cnt(代表次數)，crdt_num(代表人數)；派生指標命名不可以在已命名的原子指標中間穿插修飾詞，如：succe_crdt_num,而不是crdt_succe

7、_num代碼規范：代碼中必須有任務名稱(任務中文名+任務英文名)，功能描述、創建人、創建時間、修改記錄等，用于后續數據異常追蹤命名規范命名規范企業級數倉建設-維度建模元數據建表：采取規范建表模式，除需要填寫基本的庫表信息及表的業務描述外，重要的是需要填寫表的生產周期、分區的保留策略、數據層級、數據域、業務條線等信息來完善數據目錄，還需要填寫字段的分類分級、重要數據等保障數據安全資產沉淀。數據開發任務上線：按照規范創建好表、準備好代碼，先在數據開發平臺測試通過，經系統審核后才可以發布到生產環境。指標配置：完成任務上線后，需要在指標管理平臺維護原子指標、派生指標、衍生指標的業務口徑、技術口徑及沉淀

8、指標目標的相關元數據信息。資產沉淀命名規范企業級數倉建設-維度建模任務資源保障：在需求承接的時候，需要溝通好需求的保障等級，若是需要保障的，根據數倉規范中的定義等級將任務調整到響應的資源隊列保障凌晨任務有足夠的資源隊列。任務質量監控：對需要質量監控的任務配置 主鍵唯一性、枚舉值是否有空、非空檢查、長度檢查、字段數值范圍檢查、數據波動性等任務調度監控：任務失敗預警、任務運行相對最近7天運行平均時長過長預警、指定時間未完成預警等。任務保障企業級數倉建設-數據監控表命名是否規范、字段命名是否規范、代碼注釋是否規范規范通過定期復盤、團隊總結，排查可能存在的風險項風險安全敏感信息加密、表字段分類分級、數

9、據下載定期審計計算成本(定期任務優化)、存儲成本(生命周期、冷熱數據管理)成本質量完整性(枚舉值)、一致性(編碼)唯一性(重復)、及時性(產出)數據治理是一個長期的過程，不是一次性的！數據治理成效u 從0-1建設，通過原子指標、統計粒度、業務限定、統計周期四要素來定義管理指標。指標管理u 敏感數據完成分類分級，且L3及以上數據100%加密，數據下載需要審批且下載記錄留存。數據安全u 保障完整的元數據信息、血緣關系、表生命周期、冷熱數據標識，次均治理人力節省3PD。元數據u 一站式治理，2023年治理多個部門，平均資源降低86.18%，計算成本降低近千萬元/年，平均時效提升4.72h。成本&時效未來規劃規劃4數據賦能數據的最終要素還是提供生產力，努力去探索更多的數據賦能場景3指標管理通過指標管理四要素配置預生產代碼，直接在生產使用，減少指標的重復建設2資產管理數據資產總視圖，總覽計算、存儲、小文件、安全等問題，提供一站式治理方案1數倉駕駛艙數倉自己的管理駕駛艙，一覽當前數倉模型中存在的不規范操作及異常監控情況等。感謝您的觀看