A3--鄭嘉慶--實時保障每一筆資金安全螞蟻資損防控架構揭秘.pdf

《A3--鄭嘉慶--實時保障每一筆資金安全螞蟻資損防控架構揭秘.pdf》由會員分享，可在線閱讀，更多相關《A3--鄭嘉慶--實時保障每一筆資金安全螞蟻資損防控架構揭秘.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、實時保障每一筆資金安全,螞蟻資損防控架構揭秘鄭嘉慶螞蟻集團 風險效能部 技術風險數據平臺負責人鄭嘉慶本先后就職于付寶、百度、陸所，對應系統、基礎設施、數據系統、核對系統、團隊管理等的建設略有得。2017年加螞蟻集團技術險部，負責實時數據平臺RMC系統和團隊的建設作，同時孵化了智能化核對系統。RMC作為技術險核基礎設施，承載千萬級TPS實時數據流量的采集、建模、分析和計算，撐資損防控、攻防演練、變更防御、仿真環境、性能容量、應急定位、智能監控等應場景，實時保障螞蟻戶每筆業務請求的穩定可靠。螞蟻集團螞蟻集團 風險效能部風險效能部 技術風險數據平臺負責人技術風險數據平臺負責人嘉賓照片目錄CONTEN

2、TS資損資損防控方法概述防控方法概述01 實時數據系統是關鍵基礎02 專家經驗與智能化互為補充03 總結與展望04 01資損防控方法概述重復扣款螞蟻森林能量丟失幣種錯誤技術風險保障業務穩定，提升用戶體驗與信任花唄借唄余額寶網商銀行支付寶基金螞蟻森林保險Alipay+芝麻信用出行類527大型穩定性故障類1218大型資損故障萬人研發百萬變更上萬系統支付失敗掃碼失敗金額錯誤券的超發地鐵沒扣款紅包無法使用業務的復雜多變研發的復雜多變用戶體驗和信任的直接影響餓了么支付失敗匯率錯誤信用分不準轉賬對象錯誤響應超時獲取數據特定領域方案數據驅動是資損防控的關鍵思路資金關鍵五要素資損防控方法論常見防控手段關鍵支撐

3、T+1核對T+H跑批核對歷史基線核對智能核對專家經驗金額幣種匯率狀態賬戶關鍵要素的生產關鍵要素的流轉關鍵要素的消費數據系統攻防演練標準化可靠性時效性可解釋可回溯高吞吐02實時數據系統是關鍵基礎一筆業務的技術表現非常復雜*取自內部鏈路排錯工具，云圖就資損防控而言，這里還缺少很多數據一筆業務請求橫跨諸多業務BU、團隊、系統、服務，庫表，單元化環境，交錯并行如何實時地識別每筆請求的資金要素？建立單筆模型刻畫用戶請求抽象：單筆數據模型資損防控變更防御應急定位流量回放MSGCALDAL需求：保障每一筆用戶請求ResExpRPCReqStackInsertTraceID/流量染色TraceID/業務單號應

4、用系統進程內數據微服務調用數據業務數據庫數據性能洞察映射應用將業務愿景映射到技術實現GW污點分析UpdateDelete(1)資損防控第一數據訴求在DB表分庫分庫分庫觸發隊列裸數據隊列訂閱端聚合端本地緩存寫讀DRCDRCDRCHBase（Join data）Redis（Row data）:k=join v=pk:index=timestamp:TTL=Xmin:k=pk v=row data構建準實時DB數據流實現思路(binlog)joinjoinjoin各種消費場景（日常全流量運行）（時延敏感）業務無感 準實時 高吞吐 一致性 可回溯 成本可控 支持紅藍攻防演練 基于binlog構建實時數

5、據旁路 面向流式計算 基于位點和時間保障可靠性，故障后可回拉row row row row row延遲觸發幾十萬邏輯表（幾百萬物理分表）業務App旁路(2)通過服務調用構建鏈路骨架構建實時Trace鏈路實現思路應用容器應用JVM進程Log Agentlogs進程內采集拉取解壓壓縮字典訓練標記解析Trace緩存隊列訂閱端聚合端（Redis）壓縮采集壓縮字典同步分組Trace觸發窗口Trace觸發隊列補全路由端(設置TTL)(亂序到達，延續TTL)場景映射分發各種消費場景（日常運行流量）（有效率監控，基于另一款產品的采樣雙端比對校驗）真實鏈路的復雜性 更大的成本挑戰 更大的異步化挑戰 更大的性能挑

6、戰 表達關聯業務 復用緩存窗口思想 訂制Redis邏輯，緩存計算于一體 按需構建和消費（需異常、問題）建設特征體系關聯業務場景（下下頁）tracelogsbizlogserrorlogs(幾十萬)(3)進程內數據為資損防控提供重要補充構建進程切面和采集實現思路應用容器應用JVM進程Log Agentlogs進程內采集壓縮采集壓縮字典同步服務端：復用上頁的Trace流服務端心跳?；顦饵c下發任務管理流量監控熔斷機制采集管控端灰度生效采集切面ASM字節碼AOP切面攔截參數過濾Trace過濾枚舉過濾組合過濾Mvel引擎流量決策（融入防控過程的自動采集任務）（數據明細可視化、可追溯）單機級的業務無感細化

7、到代碼行級的采集追求部署效率全環境生效，全量采集訂制實現采集切面訂制實現防御機制采集端輕量化，計算后移基于特征體系提升采樣有效率oreg.通過參數提前發現金額問題(4)通過流量特征表達業務場景單筆數據模型應用特征刻畫特征度量特征覆蓋率特征完整度特征有效性構建特征流量實現思路（關聯業務場景）按統一的特征標準引流 雨露均沾的流量分布 自動度量，自動保鮮 統一流量特征標準 沉淀流量用例庫 更新和汰換機制params.product=trade101params.actionType=PAY特征清洗特征資產存儲特征保鮮與汰換流量用例庫特征路勁特征值特征場景（eg.淘寶擔保交易支付）eg.請求參數（應用

8、視角的特征分布）03專家經驗和智能化互為補充(1)專家經驗是最簡單直接的防控手段BobAlice轉賬100元表A表B表Cif A.a1=B.bthenA.amount=B.amountA.a2=C.cNODETRIGGER NODEJOINRULE抽象實現應用效果不足 經驗的傳承 不同業務線的重復投入 業務變更的保鮮 覆蓋全螞蟻業務線 上萬的模型、x萬的規則 日常7x24全流量運行 3min告警時效 大促峰值采樣運行人工成本的膨脹檢查：賬戶金額幣種匯率狀態藍軍：注入篡改信息紅軍：根據業務編寫核對模型和規則eg.一個轉賬業務藍軍：度量演練結果異常事件可回溯(2)智能化提供維護成本和效率的補位維護

9、問題冗余問題保鮮問題專家經驗的不足數據驅動的分析思路智能化手段的可行性數據鏈路可共享自動保鮮識別變更自動布防自動構建血緣模型數據血緣可推導數據變更可感知自動推導核對規則業務感知問題(3)通過自動模型表達數據關系單筆數據模型離線推導業務表集合首應用業務場景初篩推導關聯關系離線分組窗口聚合相似度精篩基于特征采樣學習外鍵學習關聯關系學習觸發表構建自動模型 模型托管，消除重復 覆蓋業務長尾，覆蓋小流量表 自動保鮮 可干預（一鍵托管接入布防，生成自動模型）（異常報警可追溯到源頭數據詳情）(在線）組裝模型實例，規則執行（離線）推導規則(4)自動挖掘資金規則，自動布防數據預處理規則推導執行核對模型規則數據采

10、樣外鍵學習關系學習觸發表學習頻繁項集規則核驗告警壓制灰度生效異?；厮莘答?、保鮮多元統計遺傳算法數據編碼啟發搜索序貫覆蓋prefixspan裁剪關鍵訴求規則膨脹vs規則有效率規則保鮮、新業務感知規則的語義表達去黑盒化，推導過程可觀測可干預，專家經驗有效融合可支持規則類型：應用效果覆蓋主要螞蟻業務線高危分母覆蓋80+，增長中日均告警量10筆/二級域04總結與展望智能化專家經驗我們探討了數據系統、專家經驗和智能化核對思路在長尾問題、維護和投入成本等方面起到互補作用數據系統發揮了重要作用，但會面臨人力成本的膨脹高質量的數據系統是資損防控的關鍵前提大模型技術業務領域泛化資損防控技術技術加持能力擴展eg.深入業務領域，解決強業務邏輯的核對問題eg.應用于穩定性領域，如基礎設施環境的一致性核驗eg.通過AIGC生成攻擊點和流量，自動的攻防驗證eg.基于內部系統知識問答增強解釋性和問題溯源技術風險解決方案套件，逐步開源中*數據、智能核對組件籌備中TRaaS：https:/ 數據系統 人才培養ID：Asuka4J？感謝聆聽關注QECon公眾號