網易游戲實時計費風控體系建設.pdf

《網易游戲實時計費風控體系建設.pdf》由會員分享，可在線閱讀，更多相關《網易游戲實時計費風控體系建設.pdf（62頁珍藏版）》請在三個皮匠報告上搜索。

1、DataFunSummit#2023基于Flink的實時支付環境風控平臺建設林佳-易游戲-資深開發程師01支付環境上的風控挑戰02借助Flink從T+1走向實時風控03實時風控平臺的建設04發展歷程與展望未來目錄CONTENTDataFunSummit#202301支付環境上的風控挑戰支付環境上的風控挑戰打開商城選擇道具付款收到道具一次應用內購行為支付環境上的風控挑戰外部服務內部服務支付環境上的風控挑戰下單下單回執客戶端下單支付環境上的風控挑戰下單下單回執支付支付回執客戶端下單渠道支付支付環境上的風控挑戰支付憑證回執驗證回執客戶端下單渠道支付驗證支付憑證支付環境上的風控挑戰發貨通知回執發貨客戶

2、端下單渠道支付驗證支付憑證服務端發貨支付環境上的風控挑戰用戶在手機客戶端的一次點擊服務端多個系統的協同工作跨請求、異構的中間結果、復雜的調用鏈路、不一致的時間標準支付環境上的風控挑戰風控業務會話由一次用戶行為所引發的，需要多個系統協作完成、同時觸發多個請求、產生跨越多個服務提供方調用的全過程。支付環境上的風控挑戰業務會話多服務、多請求產生的異構結果難以直接關聯調用順序復雜，存在并發、異步的情況時間跨度大、業務水位不同步支付環境上的風控挑戰業務會話多服務、多請求產生的異構結果難以直接關聯調用順序復雜，存在并發、異步的情況時間跨度大、業務水位不同步業務會話級的問題定位，極度依賴人工處理和個人經驗，

3、重復工作多，容易錯判開源Tracing方案：依賴全局trace-id通常需要侵入服務打點單次請求鏈路跟蹤支付環境上的風控挑戰數據持續而大量產生數據與數據間存在會話關聯關系數據來源的異構數據結構的異構數據時間步調的不一致ELK體系持續采集T+1 全量離線分析網盤同步/rsync/接口推送/多以業務特制腳本處理各種數據的ETLT+1 Spark離線處理07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00機器數量空閑機器占用機器支付環境上的風控挑戰處理數據最少機器數量結果交付 9時近100T30支付環境上的風控挑戰實時化以提升能效支付環境上

4、的風控挑戰07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00機器數量空閑機器占用機器支付環境上的風控挑戰07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00機器數量機釋放器占用機器降本增效支付環境上的風控挑戰用更少的資源算更多的數據能更早地交付支付環境上的風控挑戰用更少的資源算更多的數據能更早地交付更高效的成本使用更實時的計算結果更及時的決策響應支付環境上的風控挑戰用更少的資源算更多的數據能更早地交付更高效的成本使用更實時的計算結果更及時的決策響應資源/數據能效UPData

5、FunSummit#202302借助Flink從T+1走向實時風控借助Flink從T+1走向實時風控借助Flink從T+1走向實時風控Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.Flink has been designed to run in all common cluster environments,perform computations at in-memory speed

6、 and at any scale.可靠的有狀態計算-可靠語義保證：At Least Once、Exactly Once-故障恢復-避免與外部系統的復雜交互邏輯-TTL借助Flink從T+1走向實時風控Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.Flink has been designed to run in all common cluster environments,perfo

7、rm computations at in-memory speed and at any scale.流批一體化-統一的計算引擎，統一的API借助Flink從T+1走向實時風控-自然的計算邏輯表達-可靠的計算語義-高性能分布式計算借助Flink從T+1走向實時風控零侵入對現有業務零改動無序全局跟蹤ID跨數據源日志維表事實表REST接口實時實時產生結果無需等待T+1低代碼向導式配置微觀鏈路圖還原宏觀報表展示30 000 000 000 events/d借助Flink從T+1走向實時風控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceV

8、iew SchemaKafka SourceView Schema借助Flink從T+1走向實時風控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceView SchemaKafka SourceView SchemaAlioth 數據集市元數據借助Flink從T+1走向實時風控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceView SchemaKafka SourceView SchemaRoam View(ROW)Roam View(ROW)Roam View(ROW)借

9、助Flink從T+1走向實時風控基準補充（非基準）補充（非基準）補充（非基準）基準需要關注的核心風控數據點一旦出現就認定存在一個包含它的業務會話有一個請求ID跟蹤整個業務會話補充非關鍵的、輔助判斷的風控數據點依附到相應的基準風控數據中，不單獨開啟業務會話有至少一個ID可以和基準數據進行關聯簇由同一種數據來源的基準和補充所關聯得到的一個雪花狀數據結構借助Flink從T+1走向實時風控客戶端到計費服下單(log)客戶端打開支付界面(log)客戶端上傳支付憑證(log)客戶端支付完成(log)基準需要關注的核心風控數據點一旦出現就認定存在一個包含它的業務會話關于訂單號字段 order_id 的關鍵風

10、控數據點借助Flink從T+1走向實時風控客戶端到計費服下單(log)客戶端打開支付界面(log)客戶端上傳支付憑證(log)客戶端支付完成(log)補充非關鍵的、輔助判斷的風控數據點依附到相應的基準風控數據中，不單獨開啟業務會話有至少一個ID可以和基準數據進行關聯客戶端獲取商品信息(log)渠道服校驗支付憑證(log)客戶端渠道回調(log)計費服訂單庫下單記錄(db)關于基準的product_id關聯目標的id關于基準的order_id關聯目標的sn關于基準的order_id關聯目標的sn關于基準的trans_id關聯目標的trans_id借助Flink從T+1走向實時風控借助Flink從

11、T+1走向實時風控借助Flink從T+1走向實時風控生成基準簇Flink EventSession Window借助Flink從T+1走向實時風控補充風控點的數據源和基準可能不同需要用不一樣的字段與基準風控結果簇做關聯水位線推進速度不一致、甚至存在局部的同步延遲借助Flink從T+1走向實時風控Flink Event Time Interval JoinWatermark延遲數據隊列side output(16還未支持)補回延遲數據邏輯借助Flink從T+1走向實時風控延遲數據隊列FlinkLuna EngineLate Consumption on FlinkAsync JoinTiDB找回

12、關聯會話補回更新和實時情況一致的關聯邏輯借助Flink從T+1走向實時風控RDBFSMQLuna on FlinkSourcesLunaEngineLabeler/StatisticsSinksLuna風控平臺實時同步(Flink broadcast stream)TiDB借助Flink從T+1走向實時風控RDBFSMQLuna on FlinkSourcesLunaEngineLabeler/StatisticsSinksLuna風控平臺實時同步(Flink broadcast stream)TiDB規則1:最近7日有跨服充值規則2:有跨幣種充值規則3:有跨設備登錄累計風險評估值：7.0借助

13、Flink從T+1走向實時風控DataFunSummit#202303實時風控平臺的建設實時風控平臺的建設實時微觀業務會話檢索與查錯實時宏觀業務環境統計與風控業務會話級數據能效挖掘與提升實時風控平臺的建設微觀業務會話還原實時風控結果宏觀業務環境統計原始數據業務會話分析模板+Flink關聯分析引擎統計/Labeler+Flink實時統計風控策略配置+Flink計算任務實時風控平臺的建設原始數據層計算層LunaonFlinkSource/Sink Schema關聯規則引擎MySQL風控標簽與狀態篩選業務會話詳單查詢會話上下文查詢風控結論展示微觀查詢業務監控業務環境統計風控建議多維度聚合查詢宏觀查詢

14、FSTiDBKafkaRedisStatisticsLabelerLunaPlatform業務會話還原模塊可視化規則配置實時風控平臺的建設數據源和抽取/聚合字段Flink Source/Sink實時風控平臺的建設業務行為樹的配置Flink 實時關聯引擎配置(Luna-CEP)關聯動作Flink UDFs預置風控結論實時風控平臺的建設業務行為樹實時風控平臺的建設分風控場景靈活可查字段業務狀態實時風控平臺的建設直觀展示業務行為路徑業務狀態抽取字段和二級指標原始數據(日志/DB記錄/)AIGC驅動的分析結論導出實時風控平臺的建設風控數據簇維度表in DB事實表in DBHTAP！SQL Join!實

15、時風控平臺的建設宏觀風控圖表實時風控平臺的建設宏觀風控圖表DataFunSummit#202304發展歷程與展望未來發展歷程與展望未來2019各數據源的通用ETL邏輯封裝通用ETL2020支撐用戶維度查詢的實時數據計算用戶畫像2021在iOS支付會話場景上實踐CEP關聯分析2022開始在各重要計費業務會話場景上實踐實時風控2018線上日志的實時分析監控JFlink-SDK 誕生日志分析YARN時代基于YARN的統一集群JAVA API開發到SDK開發過渡SDK時代YARN APPLICATION實時業務統一SDK+配置式開發K8S時代K8S獨立集群運行獨立作業統一流式管理平臺個性化資源策略的獨立K8S集群多租戶實時平臺+配置式起流實時數據集市、數據治理向導式起流發展歷程與展望未來降低監控發現延遲提升監控發現率業務日志實時分析監控發展歷程與展望未來支付鏈路串聯發展歷程與展望未來用戶畫像發展歷程與展望未來支付環境實時風控發展歷程與展望未來Flink-SQL即席查詢風控結果用戶反饋驅動的風控模型修正結合AIGC挖掘更深層次數據價值感謝觀看