【DataFunSummit2023】現代數據棧技術峰會-阿里云DataOps數據運營中心實).pdf

1、DataFunSummitDataFunSummit#20232023阿里云DataOps數據運營中心實踐演講人-李成強(愚籬)-阿里云數據運營中心簡介為企業提供一站式的數據研發與運營能力數據運營中心框架以云平臺為底座，運用工具提供六大技術能力，數據建設和數據運營雙輪驅動，促進客戶建好數、用好數數據運營中心實踐5年持續規劃建設，逐步完善目錄 CONTENT請輸入您的演講內容01.數據運營中心簡介產生背景 業務定義201620172018201920202021DataWorks每年新增內部用戶數23000名覆蓋運營/財務/分析師/開發/算法等崗位年新增內部用戶數2015201620172018

2、201920202021MaxCompute單日處理數據量（PB）2.79EB雙11峰值及來年日常均值單日處理數據量2015201620172018201920202021DataWorks單日調度任務實例數（萬）1181萬50多種復雜業務依賴關系單日調度實例數大數據平臺建設帶來的“數據繁榮”平臺、用戶、業務的正向循環，推動企業數據價值不斷釋放010102020303040405050606標準規范的數據資產標準規范的數據資產如何建好企業數據資產，形成高質量企業核心數據資產安全可控的數據流通安全可控的數據流通如何管好企業數據資產，讓企業數據資產充分流通和使用敏捷高效的工具支撐敏捷高效的工具支撐

3、如何用好云計算與大數據技術組件，敏捷高效支撐數據需求數據質量保障體系缺失數據質量保障體系缺失數據質量問題頻發，造成數據消費者的信任危機數據安全體系不完善數據安全體系不完善數據管理團隊往往從嚴管控，造成數據流通不夠順暢數據管理角色不健全數據管理角色不健全缺少懂業務、懂技術的團隊支撐，造成數據資產迭代更新慢數據資源到數據資產化的挑戰數據繁榮到數據“活起來、動起來、用起來”所面臨的挑戰數據運營中心，為企業提供一站式的數據研發與運營能力敏捷化客戶第一增量交付更低門檻精益化減少浪費價值驅動持續優化工具化標準流程標準動作工具支撐融合化研發與治理業務與技術管理與應用智能化數據驅動算法輔助自主分析面向企業數據

4、研發管理部門，以DataOps為理念，以Dataphin/DataPro工具平臺為支撐，提供一站式技術服務，構建企業級數據資產建設與運營能力，激活數據資產的流通和使用，促進企業數據價值化。請輸入您的演講內容02.數據運營中心框架總體框架 子方案&工具平臺 總體評價指標數據成本治理數據資產運營數據質量治理數據安全治理數據穩定性治理數據應用建設大數據平臺建設數據中臺建設云產品Dataphin智能數據建設與治理平臺DataPro數據資產運營平臺數據引入數據開發數據標準/質量/安全基礎數據運維數據生產經營數據資產運營Maxcompute DataWorksADBHologresQuickBIDatah

5、ubFlink服務方案DataV 建運一體以運促建分庫分表分層分域模型設計數據權限流批一體湖倉一體數據集成數據探查數據建模數據開發數據校驗代碼掃描變更發布鏈路監控應急處理資源優化調度優化代碼優化資產盤點資產編目資產共享資產交換資產評價數據架構域數據標準數據質量數據安全數據模型元數據主數據技術能力建好數，用好數自助分析RDS數據門戶駕駛艙監控分析預警應用分析應用決策應用敏捷數據建設數據運營中心，為客戶提供從“建設”、到“治理”、再到“運營”，一站式、陪伴式技術服務數據運營中心框架工具平臺精益數據運營數據研發域數據應用域數據運維域數據治理域數據流通域數據服務EdasACK云效ADS:匹配業務需求C

6、DM:OneData建模ODS:數據上云&標準化ADS:匹配業務需求CDM:OneData建模ODS:數據上云&標準化發布審批指定管理員ODS:貼源層與源端保持一致標準化基礎資產，利于數據標準、數據安全以及規范建模處理CDM:規范維度建模，統一定義，工具層面避免重復指標建設ADS:貼合業務使用需求，指標下沉到表供業務消費輸入數據標準數據資產建設數據資產管理數據資產需求數據資產查找數據資產消費否是數據調研模型設計模型評審數據開發SITUAT業務調研業務需求Dataphin開發環境Dataphin生產環境準資產(原始資產)資產標準化資產引入已上架資產準資產(待完善信息)數據標準錄入數據標準映射數據

7、治理邏輯表指標可消費表資產管理業務視角資產目錄自助分析（數據分析師）數據應用資產建設資產管理&消費查找&消費查看報表（領導&業務）ADS:加速數據庫自助數據標準、數據質量、數據安全體系數據資產建設全鏈路敏捷數據建設結構化業務數據半結構化文本數據非結構化視頻圖像數據數據匯聚層數據中臺層應用數據中心（ADS）公共數據中心（CDM）垂直數據中心（ODS）離線數據集成實時數據采集文件采集數據庫采集接口采集消息流日志收集數據傳輸流式計算數據服務層API數據服務消息流數據服務庫表數據服務離線數倉大數據處理分析多維實時數據分析數據構建平臺 對象存儲企業營銷端數據企業生產與供應鏈端數據機器學習算法（PAI）數

8、據應用層企業數據門戶領導駕駛艙業務監控預警業務系統數據源外部共享交換數據數倉規劃數據引入數據開發發布運維數據服務數據安全數據質量權限管理數據分析類應用數據智能決策建議統一的大數據平臺、可復用的數據中臺、低門檻的數據應用產品，高效率的滿足客戶數據需求數據資產指標評價模型數據質量模型質量代碼質量數據測試行業規則庫質量評估報告質量考核問題影響分析質量監控大盤數據質量治理數據安全治理數據穩定性治理數據成本治理全域資產運營管理存儲健康分 計算健康分 成本分攤找資產知資產評資產用資產資產規劃資產盤點資產上下架計算資源監測與治理平臺應用監測與治理組件運行監測與治理任務運行監測與治理數據要素交易安全數據生產安

9、全敏感等級智能識別安全審計交易風險監控機構合規審查以數據資產價值評估模型為牽引，構建持續數據資產治理與運營能力，讓數據“動起來、用起來”DataPro數據資產運營平臺組織制度組織制度流程組織角色崗位職責數據確權績效考核激勵機制數據治理流程數據運維監控流程資產流通運營流程精益數據運營質量評價指標安全評價指標成本評價指標使用評價指標運營監控指標提供數據資產從“可見、可知、可用、可評、可管”的業務用數閉環體驗資產全景資產目錄資產詳情血緣關系數據數據消費消費企業數據門戶企業數據門戶領導駕駛艙領導駕駛艙業務監控預警業務監控預警數據分析類應用數據分析類應用數據智能決策數據智能決策數據預覽報表對接輕量取數資

10、產標簽資產推薦SQL查詢元數據圖模型數據專題層元數據模型（CWM)匯聚層離線元數據實時元數據實時元數據統一元數據API網關實時元數據處理統一元數據采集資產價值評估資產交易定價資產目錄規劃數據管理和服務元數據管理元模型管理圖模型管理元數據服務全全域域元元數數據據中中心心數據交換共享和數據服務數據交換與共享中心前置機共享庫數據交換與共享中心數據服務API網關統一數據交換與共享管理庫表訂閱接口訂閱數據交換資產上下架資產分類分級資產在線運營關系型數據庫MySQL/Oracle等大數據引擎MaxCompute/Dataphin/DataWorks等分析型引擎QBI/Tableau/PowerBI等文件類

11、數據OSS/FTP/SFTP等DataPro全域數據資產運營平臺數據數據生產生產找資產找資產知資產知資產用資產用資產評資產評資產管資產管資產數數據據運運營營管管理理以評價指標模型為牽引，讓數據運營中心的價值“看得見”數據運營中心評價指標模型敏捷數據建設評價模型類目評價環節評價指標大數據平臺建設建設完整度使用產品組件使用率數據中臺建設盤數據數量覆蓋率匯數據數量匯集率建資產沉淀公共數據資產數量資產復用率數據開發效率提升比率用資產可用數據資產數量自助式服務占比需求平均滿足時長數據應用建設覆蓋情況累計服務用戶數累計部門數覆蓋率活躍度PVUV使用深度平均使用時長精益數據運營評價模型類目類目評價環節評價指

12、標數據穩定性治理過程基線設置率效果基線破線率平均產出時長數據成本治理資源使用率數據存儲資源使用率數據計算資源使用率數據安全治理分類分級覆蓋率標識率數據安全防護防護率數據權限治理完成率安全日志監測日志接入率數據安全風險自動識別數數據質量治理定標準覆蓋業務范圍數據質量業務標準完成率建規則數據質量規則數數據質量校驗任務數推改進質量問題解決率XX%看效果質量分提升率故障次數故障影響時長數據資產運營可見上架資產總量可知可知資產占比查看資產數推薦資產滲透率興趣用戶感興趣資產占比使用資產使用占比忠誠高活躍資產占比請輸入您的演講內容03.數據運營中心實踐持續服務 價值創造專家服務團隊陪伴客戶5年，完整輸出數據

13、中臺建設與持續運營服務，數據處理任務數數萬個，接入數據源數百個，數據集市表數千張，支撐該客戶零管、電商、集團等數十個典型數據應用，讓數據真正的“活起來、動起來、用起來”?？蛻裘媾R的挑戰業務層面：報表按照部門職能劃分，重復建設。指標缺乏統一標準規范。數據層面：存在大量手工數據，基層人員填報負擔重，部分報表數據準確性不高，顆粒度粗。技術層面：數據加工鏈路冗長，數據及時性不高，工具對拖拉拽式自助分析支撐不夠運營層面：報表維護不及時，推廣及共享不足持續服務給客戶帶來的業務價值大數據平臺：建立起國產化自主知識產權的大數據平臺，成功替換掉DB2數倉。數據應用：報表優化重構，報表數據優化近90%，兼顧各級用

14、戶需求和使用習慣數據資產：基于DataPro實現一套完整的數據資產目錄，掛載數千個數據資產，實現數據資產可識別、可查找、可理解、可消費，最大程度激活數據資產價值統一運營工作臺：運營服務入口統一，實現業務在線化、運營數據化。流程制度：建立一套完整的數據資產建設與運營規范制度，逐步推廣數據文化。組織建設：成立專門的數據運營組織，逐步建立專業的數據服務能力，持續迭代大數據平臺及數據應用。項目起航DataV可視化財務數據中臺深化數據應用建設數據運營中心20192020202120222023阿里云平臺部署銷售端系統遷移上云DataV數據大屏數據資源逐步沉淀大數據平臺擴容財務域核心數據應用大數據平臺組件擴容多個核心業務數據應用上線數據運營組織建設流程、工具、人才培養數據運營中心案例感謝觀看