03-螞蟻金服數據成本治理實踐-阮宏博.pdf

1、螞蟻數據成本治理實踐數據產品與技術部-阮宏博自我介紹多年在大數據領域的開發和數據架構經驗，參與和主導過多個行業的數據架構和數據體系建設當前負責螞蟻金服數據成本治理業務，同時負責建設統一的數據資產治理平臺阮宏博 目錄目錄1 1）背景介紹）背景介紹2 2）組織設計和職責定義）組織設計和職責定義3 3）螞蟻成本治理實踐）螞蟻成本治理實踐增速難衡量增速難衡量效率難效率難看清看清資源增速快資源增速快，會稀釋業務，會稀釋業務的盈利能力的盈利能力成本價值單靠引擎和硬件的紅利已單靠引擎和硬件的紅利已經難以滿足業務的需求經難以滿足業務的需求從平臺視角，從平臺視角，看不清各業看不清各業務使用資源效率務使用資源效率

2、從業務視角，從業務視角，覺得平臺效覺得平臺效率看不清率看不清為什么要做數據成本治理為什么要做數據成本治理組織設計和職責定義組織設計和職責定義通過合理的組織架構，以及清晰的職責定義，可以幫助治理快速落地，且達成目標螞蟻技術戰略螞蟻技術戰略各業務各業務CTOsCTOs螞蟻全域架構組螞蟻全域架構組數據智能架構委員會數據智能架構委員會螞蟻數據工作組螞蟻數據工作組數據成本治理小組數據成本治理小組平臺體系平臺體系定價體系建設定價體系建設 對客定價設計和測算 資源成本體系監控 持續優化單價標準和制度建設標準和制度建設 制定統一的標準和規則 達成共識的目標用量體系建設用量體系建設 資源用量賬單建設 治理策略挖

3、掘和方案設計 提升業務治理和管理的效率組織視角的成本體系和職責定義組織視角的成本體系和職責定義業務體系業務體系職責：接受各業務數據工作組的指導，完成本業務線內的成本預算目標設定、成本治理目標達成，并與產品能力小組配合，迭代成本治理能力支付寶業務支付寶業務數據智能業務數據智能業務數字金融業務數字金融業務安全業務安全業務國際業務國際業務數字科技業務數字科技業務.SRE+基礎資源團隊+數據軟件團隊業務團隊+平臺治理團隊硬件可承載容器池化資源集群已持有實際已分配實際使用硬件選型，定制加速卡，自研硬件.利用統一調度和容器技術來實現池化資源提升流轉效率，無用資源及時歸還容器，降低無效持有通過需求錯峰和分時

4、，來提升配額的利用率管理和評估需求的合理性，平臺提升用量的治理效率財務視角的成本體系和職責定義財務視角的成本體系和職責定義定價售賣定價售賣成本治理實踐成本治理實踐從定價用量管理、單價治理、用量治理、以及平臺能力四個維度分別闡述我們在螞蟻的成本治理實踐整體技術架構整體技術架構單價治理單價治理平臺用量管治平臺用量管治支付寶業務支付寶業務數據智能業務數據智能業務金融業務金融業務大安全業務大安全業務國際業務國際業務數字科技業務數字科技業務.組織保障組織保障制度規約制度規約定價和用量設計健康分規范成本運營培訓分享，最佳實踐財務成本賬單財務成本賬單BU賬單項目/團隊賬單個人賬單健康分和治理健康分和治理策略

5、挖掘策略挖掘計算資源錯峰調度計算資源錯峰調度配額分時任務延遲起調閑時補數據基于時效承諾，自動的對計算資源池，任務起調時間進行統籌規劃，從而實現CPU全天資源的利用率最大化，以及提升鏈路下線鏈路下線提升治理資產覆蓋率和治理效率將策略覆蓋到事前事中事前事中資源管理事前事中資源管理大任務自動查殺運維補數據管控成本發布管控業務用量管治業務用量管治控制成本的增速，確保健康有序發展，提升資源的密度，看清成本的構成控制成本的增速，確保健康有序發展，提升資源的密度，看清成本的構成自動自動重排和歸檔重排和歸檔冷數據重排表級別自動歸檔網絡削峰優化網絡削峰優化跨集群緩存網絡限流架構分拆和遷移通過盡可能的數據本地化存

6、算以及一定程度的網絡限流來降低網絡成本基礎設施和引擎優化降本基礎設施和引擎優化降本熱冷分級存儲算力混部自建網絡.短查詢加速SSD 緩存提升I/O硬件選型.其他資源優化其他資源優化回收站治理tunnel上傳下載系統錯誤治理系統賬號治理非法傳參治理治理.單價單價(效率)用量用量(需求)成本成本目標：目標：平臺產品化計量計費，使用方看得清使用成本建立數據資源的效率評估體系，推進效能整體可衡量資源成本存儲計算網絡其他其他成本軟件運維第三方其他表存儲回收站其他存儲業務消耗系統消耗其他計算可管理可度量基于計量計費體系，向用戶透明化計算/存儲使用量及成本；建立P&L管理定義關鍵指標，包括成本指標&效率指標；

7、單價和用量單價和用量資源現狀資源現狀單價治理單價治理提升配額的利用率，降低單價提升配額的利用率，降低單價存儲資源存儲資源I/O吞吐能力能力（峰值排隊率，日均排隊率）CPUCPU內存內存網絡網絡利用率%日均利用率日均利用率%峰值利用率峰值利用率%日均利用率日均利用率%峰值利用率峰值利用率%日均利用率日均利用率%峰值利用率峰值利用率%結合時效承諾，尋找資源的瓶頸，通過適當的價格引導和技術能力，來提升資源的利用率存儲存儲/計算用量治理計算用量治理管治結合管治結合數據治理策略計算治理數據傾斜join傾斜group傾斜reduce傾斜暴力掃描數據裁剪DynamicFilterClusterZorder業

8、務裁剪增量化改造漸進計算分區裁剪其他優化Map Join低性能函數函數替換參數不合理map傾斜資產退役無效任務和表下線無效報表下線無效標簽下線無效回流下線成本管控運維成本管控事中成本發布管控事中大任務自動查殺事前任務運行成本預估存儲治理存儲生命周期縮短大字段結構化簡單加工重復數據表事前事前事中事中事后事后制定規范，建立標準落實管理持續優化，需求審計平臺治理提效平臺治理提效（成本健康分）（成本健康分）基于累計浪費和時間加成，升級成本健康分算法基于累計浪費和時間加成，升級成本健康分算法1 1 通過產品和技術能力，提升用戶治理體驗通過產品和技術能力，提升用戶治理體驗2 2全面性全面性覆蓋N個核心研發

9、平臺，可快速集成管控能力集成管控能力準確性準確性整合調度頻率的廢棄表和無效任務廢棄表和無效任務識別整合調度頻率和訪問跨度的生命周期推薦生命周期推薦及時性及時性部分策略實現實時健康分刷新實時健康分刷新全天候全天候首創基于增量的離在線更新的架構，平臺實現7 7*2424業務可用業務可用健壯性健壯性基于配置化 +全資產的架構，未來可以快速快速的集成其他不同類型資產的集成其他不同類型資產融入健康分，同時也可以集成更多特色的處置能力個人健康分=(發現日期統計當天治理項每日實際浪費)可量化治理項(?(發現日期統計當天治理項上游每日實際浪費，時間加成)不可量化治理項設計理念：基于累積浪費和時間加成，越久治理

10、，扣分越多設計理念：基于累積浪費和時間加成，越久治理，扣分越多統一治理基準統一治理基準3 3【基于成本目標，設定健康分基于成本目標，設定健康分8585分及格線（即每人最多允許累計浪費存儲分及格線（即每人最多允許累計浪費存儲XTB(xXTB(x元元)或計算或計算xCU(xxCU(x元元)）】存儲健康分存儲健康分計算健康分計算健康分無訪問表無訪問報表無訪問標簽產出無訪問任務連續出錯任務生命周期不合理暴力掃描Top計算重排簡單加工無效生產query參數不合理HashTable優化標準函數替代.事中大任務查殺（避免隨意大任務提交）事中大任務查殺（避免隨意大任務提交）實時資源巡檢實時資源巡檢任務運行超配

11、額任務運行超配額任務運行超時任務運行超時任務運行占比過高任務運行占比過高 從原來的隨意提交，演進到事中的管理和治理模式，禁止隨意提交超大任務導致整個資源池的堵塞和打滿，進而造成高昂的成本消耗，同時也兼顧效率，僅對異常使用進行管治。特殊任務特殊任務白名單開放白名單開放 事前和事后的成本審計（預測未來一年成本消耗，事前和事后的成本審計（預測未來一年成本消耗，在事前做到需求合理性評估）在事前做到需求合理性評估）新上線資產在3天內，預測未來一年后表和任務的成本消耗，從而實現，在成本發生的第一時刻就立即對成本消耗異常的任務進行評估 存量歷史資產，定期只對TOP的進行review持續追蹤和評估成本消耗的合理性，從而推動優化和體系升級 補數據事前評估，通過本次補數據預估成本消耗，從而推動代碼優化和需求ROI的評估平臺治理提效平臺治理提效（事中和事前的成本管理能力）（事中和事前的成本管理能力）如果比作今天的大數據，我們希望數據變的更加普惠，更加經濟如果比作今天的大數據，我們希望數據變的更加普惠，更加經濟讓人人用得起，讓人人用的爽讓人人用得起，讓人人用的爽