楊涵冰-Flink 在實時標簽系統中的實踐-已美化TY-y已定稿_compressed.pdf

1、Flink 在實時標簽系統中的實踐 楊涵冰 上海數信息科技有限公司 數據部 架構介紹 #1 經營類 #2 控類 #3 架構簡介 #1 架構簡圖 RDS Flink HBase EMRHive切表 API DTS Sqoop BDS差值修正 四標簽類型 同步線上數據 實時寫，離線修正 原 API調時運算 線下批量計算，邏輯致 即時計算 傳統實時鏈路 實現復雜邏輯 實時 傳統離線鏈路 實現復雜邏輯 離線 原標簽 RDS Flink HBase EMR DTS Sqoop 實時數據同步 離線差值修正 即時計算標簽 HBase Hive PhoenixAPI Hive切表 即時計算 批量計算 實時標簽

2、與離線標簽 RDSFlinkHBase DTS RDSHBaseEMR Sqoop 實時標簽 離線標簽 經營類 #2 邏輯相對簡單多數為單維度的 簡單加 迭代速度較快 量探索類需求 經營類 #2#1#3 經營類案例 需求在決策流引擎中獲取戶的各類信息，根據戶信息進相應營銷。 決策流所需信息中，部分為分散在各個業務系統中的戶信息。如分散在各系統的機號：注冊機號、審核機 號、綁定機號等。通過配置原標簽，可以簡單的將各業務系統的戶信息同步到標簽系統中。 還有部分為需要進簡單運算的數據。如，資授信額度維護在各個資對接系統中，此時將他們分別配置為原 標簽，然后配置個即時計算標簽將這些數據進即時合并運算，

3、便可得到最授信額度等衍標簽。 戶經營案例 控類 #3 邏輯常復雜達數甚全量數據 的聚合處理、排重聚合 處理 迭代較穩定 需求般經過驗證 控類 #2#1#3 常問題 根據某個維度對段時間事件進排重統 計運算。 1、單維度數據量較少。將明細數據存儲 在 HBase 中，直接進統計。 2、單維度數據量雖然多，但單新增數 據量較少。每運算離線統計值和明細 值，實時存儲當明細，進差值統計。 3、數據量計數排重。需要使有損統 計。 排重統計 根據數據的圖關系進計算。 1、階圖關系可以將邊數據存儲在 HBase 中，直接進統計。 2、階、三階等低階圖關系通過多次 HBase 查詢統計。需要注意的是隨著階 數升，查詢量級會迅速增。 圖關系統計 由于整條實時流鏈路較，可能會有時效 性發波動的情況。如果下游系統需要根 據標簽時效性精確控制為，需要通過 些額外屬性來解決。 1、標簽更新時間。判斷當前標簽值的更