7-1 多維分析在云產品計量計費場景中的應用.pdf

《7-1 多維分析在云產品計量計費場景中的應用.pdf》由會員分享，可在線閱讀，更多相關《7-1 多維分析在云產品計量計費場景中的應用.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、多維分析在云產品計量計費場景中的應用李叢|01云產品計量計費介紹云產品計量計費介紹02多維分析應用多維分析應用03相關問題解決方案相關問題解決方案04后續系統迭代演進后續系統迭代演進目錄目錄CONTENT|云產品計費計量介紹01|計量計費模型-計費模型#1|打折用戶采購數據詢價支付發貨云產品線上商城發貨云產品代金券資源包（用量賬戶）其他使用權（直播/點播應用類產品）采購線上選購線下錄入支付信用賬戶現金賬戶代金券賬戶其他數據流線上訂購合同數據計量計費模型-計量模型#2|云產品采集數據衍生用量采集數據時長（顆粒度：秒）次數（顆粒度：單次請求）流量（顆粒度：單個包字節數）其他（原始用量）海量數據有限

2、結構化數據計費用量可計費數據多維分析多維分析衍生用量時長（5分鐘）次數（5分鐘）流量（5分鐘）其他（用量明細）計費用量時長（小時/天/月）次數（小時/天/月）帶寬（小時/天/月）其他訂單數據交易系統計算（資金）賬單數據多維分析多維分析運營報表數據批價打折支付扣券交易多維分析賬務級優惠賬單（用量賬單）數據流多維分析應用02|計量計費模型-計量模型設計#1|原始用量衍生用量計費用量字段userproducteventTimetypedosageTypedosageAttributes（1-128）類型longstringstringstringstringlongstring多維分析實時查詢實時扣

3、減固定屬性（緯度）原始用量數據模型：自定義屬性（緯度）字段userproducteventTimetypedosageTypedosageAttributes（1-128）取值123p_test2022-05-01 00:00:00timeSumvideoTime30room/tinyUser原始用量示例：資源包（用量賬戶）余量多維分析用戶策略定時調整指標預估/結算/分析輸入輸出函數（公式f(x)）時間顆粒度計算緯度原始用量衍生用量求和1分鐘room實時多維分析：不同緯度計算不同時間1次粒度或n次輸入輸出匹配組合主鍵捆綁計費標簽轉換價格屬性衍生用量可扣減/計費用量user+屬性p_test1/

4、p_test2national/intl用戶策略匹配：計量用量轉計費商品進行交易支付計量計費模型-計量模型設計#2#旋轉|processTime(1分鐘粒度)eventTime(1分鐘粒度亂序)0-11-22-33-44-5eventTimeend:第4分鐘eventTime在2-4分鐘窗口內的數據eventTime在2-4分鐘窗口外的數據eventTimestart:第2分鐘計量原始用量多維分析旋轉eventTime(單個窗口兩分鐘顆粒度)0-22-44-66-88-10processTime計量計費模型-計量模型設計#2#切片|時間（2分鐘顆粒度）0-22-44-88-10roomroom

5、1room2room3room4tinyUsertinyUser1tinyUser2tinyUser1tinyUser2計量視頻用量多維分析切片eventTime在8-10分鐘窗口內的數據eventTime在8-10分鐘窗口外的數據計量計費模型-計量模型設計#2#上卷|eventTime(1分鐘顆粒度)0-11-22-33-44-5useruser1user2user3user4eventTime(1分鐘顆粒度)0-11-22-33-44-5useruser1user2user3user4eventTime 0-5分鐘（帶寬最大值）useruser1user2user3user4帶寬最大值的數

6、據帶寬數據值（每個立方體代表一個時間點的帶寬值）帶寬最大值的數據和最大值對應時間點time0-time1-time2-time3-time4計量帶寬用量多維分析上卷計量計費模型-計量模型設計#3#構建實時數倉|ODS數據貼源層（原始數據）DWD數據明細層DIM緯表層DWM數據中間層ADS數據應用層DWS數據服務層原始數據準確性最為重要數據格式校驗模塊+消息隊列實時計算&離線計算API模塊多維分析應用-計量系統架構演化#1|用量接收模塊Flink模塊策略匹配模塊DB(資源包,衍生量,結算)Hive庫表定時任務調度模塊對外API模塊撈量、抵扣模塊庫表對拷(策略、用量、結算)定時任務調度模塊資源包衍

7、生量日結/月結/定時預估結算/包異常重放master消息隊列消息隊列原始用量配置中心用戶實時查詢用量/修改策略/創建資源包數據流配置流實時計量系統特點：1、實時上報2、多維計算3、實時查詢4、實時扣減計費系統系統要求：1、可靠性2、準確性3、高性能插件式扣減ODS數據貼源層（原始數據）DWD&DIM&DWMDWS 數據服務層ADS數據應用層數據格式校驗多維分析應用-計量系統架構演化#2|用量接收模塊Flink(入湖)策略匹配模塊資源包master消息隊列原始用量配置中心策略匹配實時計量系統特點：1、實時上報2、多維計算3、實時查詢4、實時扣減數據格式數據格式計算引擎（實時）計算引擎（離線）DB

8、(資源包,明細,結算)定時任務調度模塊結算/包異常重放計費系統系統要求：1、可靠性2、準確性3、高性能對外API模塊撈量、抵扣模塊用戶實時查詢用量/修改策略/創建資源包插件式扣減消息隊列hdfs/cos數據流配置流flink/spark多維分析應用-算子編排抽象|UI展示層sourcewindowcountselectsinkJson配置層DAG圖sourcesink1sink3sink2多維分析應用-算子編排抽象|用量接收模塊算子執行順序數據流1.sourceflink算子執行序列2.參數校驗3.N次計算4.sink任務管理器、配置解析器Source、sink(調試正式)并行度數據合法性校驗

9、、轉換、過濾、鏡像、拆分(音頻、視頻)通用算子summaxcount熱key散列自定義算子算子抽象功能池master管理任務模塊策略匹配模塊行業解決方案：針對不同行業的一組具有特定執行順序的抽象功能集合配置流1、配置文件替換2、jar包版本替換3、任務checkpoint配置4、任務啟停api1、音頻解決方案（audio）2、視頻解決方案（video）3、帶寬解決方案（bandwidth）1、v1版本音頻配置2、v2版本音頻配置多維計算算子編排抽象原始用量配置中心消息隊列消息隊列衍生用量UI展示層Json配置解析層編排DAG圖N次旋轉/切片/上卷多維分析應用-計量系統用戶策略&用量賬戶演化#1

10、用量接收模塊flink策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列原始用量計費系統資源包原始用量扣減資源包衍生用量扣減資源包計費用量扣減對外API模塊用戶購買資源包資源包優先級排序視頻普通時長收費視頻分辨率時長收費視頻帶寬收費視頻去包頭帶寬收費計費策略：視頻普通時長視頻分辨率時長視頻帶寬視頻去包頭帶寬視頻解決方案：視頻普通時長包視頻分辨率時長包視頻帶寬包視頻去包頭帶寬包抵扣包策略：（用量賬戶）多維計算算子&策略&用量賬戶聯動計費策略1、結算周期（日/月）2、結算用量類型（普通時長/分辨率時長）3、結算方式（余量扣費/直接隔離）1、產品緯度（又稱默認策略

11、）2、用戶緯度（用戶基于結算周期可選擇）策略維度包扣減策略1、扣減比例2、扣減周期（實時/定時）3、扣減歸檔基線（類似git版本管理）4、觸發重放策略（買/退包觸發重抵扣）金額賬戶可重放？|數據流多維分析應用-計量系統用戶策略&用量賬戶演化#2|用量接收模塊flink策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列原始用量計費系統用量賬戶原始用量實時扣減DB用量賬戶撈量、抵扣模塊對外API模塊用戶實時查詢用量/修改策略/創建資源包消息隊列資源包排序模塊資源包按抵扣優先級等排序創建用量賬戶用量賬戶抵扣和資源包購買流程解耦數據流資源包計費用量扣減計量相關問題及

12、解決方案03|bbaaccdc*3d*1Source-KeyBy(user)-Window（5分鐘）-Count-Sinkcbbaaccdac*2cbc*1c*3d*1bd*1Source-KeyBy(roomNumber)-Window（5分鐘）-Count-KeyBy(user)-Window（5分鐘）-sumSinkbbaaccdc*3d*1Source-KeyBy(user)-Window（5分鐘）-Count-Sinkcaaccac*2c*3d*1bd*1Source-KeyBy(user)-Window（10-20秒）-Count-Sinkbbdcbc*1Source-KeyBy(

13、user)-Window（5分鐘）-sumSinkSource-KeyBy(user)-Window（0-10秒）-Count-Sink多個熱點key分步計算大窗口拆分多個小窗口分步計算bbbabaaabbbba*2b*4b*4a*2bbbabaa*1a*1b*2b*2a*2b*4b*4a*2Source-KeyBy-Window（1秒）-Count-Sinka*1b*2a*1b*2Source-KeyBy（localKey）-Window（1秒）-Count-KeyBy（roomNumber）-Window（1秒）-Sum-Sink單個熱點key打散akey-roomNumber key值為

14、a的一條消息b每條用量隨機標記localkey 值為 XY XYXXYY按localkey均勻打散到不同并行度YXXYkey-roomNumber key值為b的一條消息cdkey-user key值為c的一條消息key-user key值為d的一條消息多維分析應用-解決熱點key功能算子抽象souce、sink(調試正式)并行度數據合法性校驗、轉換、過濾、鏡像、拆分(音頻、視頻)通用算子summaxcount熱key散列自定義算子算子抽象功能池|多維分析應用-系統擴縮容平滑升級解決方案#Flink擴縮容|用量接收模塊策略匹配模塊消息隊列消息隊列原始用量masterFlink模塊升級前任務1，

15、用量 taskId=task2升級后任務2，用量 taskId=task2DB(資源包,明細,結算)配置中心收或拒量策略配置用量eventTime=升級生效時間用量taskId=task1失效用量taskId=task2生效flinkDAG變化or并行度縮容服務平滑升級算子并行度擴容flink任務涉及評估擴容資源1、CPU2、內存3、消息隊列producer&consumer對象數（消息隊列鏈接數）4、亂序等待時間（任務恢復Barrier對齊數據eventTime亂序）數據流1、v1版本視頻配置(普通時長求和)1、v1版本視頻配置(普通時長求和)2、v2版本視頻配置(相同分辨率時長求和)原始用

16、量v1原始用量v1多維分析應用-系統版本平滑升級解決方案#后臺系統升級|用量接收模塊Flink模塊策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列配置中心數據流配置流（每條量標記版本號）master管理模塊api用量接收模塊Flink模塊策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列配置中心（每條量標記版本號）master管理模塊api沙箱環境系統v2版本測試集群計量導流部分業務原始用量至計量沙箱環境驗證（鏡像）系統升級策略1、沙箱導流充分驗證存量數據系統兼容性2、存量關鍵節點結果數據自動對賬保證數據準確性（評估標準

17、）3、增量功能自動化測試驗證4、線上集群灰度升級升級前v1版本線上集群多維分析應用-業務版本平滑升級解決方案#業務自助升級|用量接收模塊Flink模塊策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列原始用量v1配置中心數據流配置流計費系統（每條量標記版本號）master管理模塊用量接收模塊Flink模塊策略匹配模塊DB(資源包,明細,結算)定時任務調度模塊結算/包異常重放消息隊列消息隊列原始用量v2配置中心計費系統（每條量標記版本號）master管理模塊升級前v1版本服務并跑升級v2版本服務（新搭建集群or原有集群新建版本）業務自助導流（鏡像or分流）業務

18、調用API下發新版本配置1、v1版本視頻配置(普通時長求和)2、v2版本視頻配置(相同分辨率時長求和)計量系統后續迭代演進04|多維分析應用-計量系統后續迭代演進#1|同一套系統能否解決結算、賬務級優惠、運營統計多維分析？云產品采集數據衍生用量采集數據時長（顆粒度：秒）次數（顆粒度：單次請求）流量（顆粒度：單個包字節數）其他（原始用量）海量數據有限結構化數據計費用量可計費數據多維分析多維分析衍生用量時長（5分鐘）次數（5分鐘）流量（5分鐘）其他（用量明細）計費用量時長（小時/天/月）次數（小時/天/月）帶寬（小時/天/月）其他訂單數據交易系統計算（資金）賬單數據多維分析多維分析運營報表數據批價打折支付扣券交易多維分析賬務級優惠賬單（用量賬單）數據流非常感謝您的觀看|