京東科技-孟祥濤-實時風險洞察的架構演進與思考(1).pdf

《京東科技-孟祥濤-實時風險洞察的架構演進與思考(1).pdf》由會員分享，可在線閱讀，更多相關《京東科技-孟祥濤-實時風險洞察的架構演進與思考(1).pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、DataFunSummit#2023實時風險洞察的架構演進與思考孟祥濤-京東科技-架構師01實時風險洞察面臨的挑戰02實時風險洞察的架構演進03核心組件剖析04未來的思考與展望目錄 CONTENTDataFunSummit#202301實時風險洞察面臨的挑戰數智化：數字化數智化：數字化+智能化智能化 風險識別、風險分析、風險監控、風險處置交易、營銷、訂單、注冊登錄、實名、設備指紋數據孤島海量數據對 分析效率提出挑戰海量數據挖掘數據價值，輔助業務決策數據驅動決策政策推進數據大爆發大營銷快車占領市場先機管控風險高效運營風險管理的數智化轉型12342 海量數據場景下的實時性與性能保證 實時預警，穩定

2、性、準確性 實時分析，多維即席分析，所見即所得 大促百萬級tps 資源成本的考量3 智能算法賦能預警分析？實時對抗性：黑產攻擊手法呈現出高對抗性和變異性 專家經驗局限性：風險場景多、枚舉成本高。專家閾值太低容易造成告警風暴，閾值太高容易漏警 分析效率低：預警觸發需要手動研判風險 預警治理&優化：預警散落各地，缺少系統化治理、全局視角1 數據接入定制化多，如何通用化解決數據來源多樣性數據標準化口徑數據結構復雜數據復用度低實時風險洞察面臨的挑戰4如何構建通用的風險洞察架構，通用性高、高性能、高擴展 組件化：拆分多少組件 通用性擴展性：哪些關鍵地方需要擴展、如何擴展 性能與穩定性：查詢性能、渲染性能

3、平臺愿景風險實時監控預警與智能分析產品。提供快速的數據接入，助力業務構建全面的業務風險監控預警體系；提供異常檢測算法自動感知業務指標波動異常，并通過歸因算法快速定位分析異常波動原因。實時風險洞察平臺DataFunSummit#202302實時風險洞察的架構演進產品技術解決方案架構設計方法論合適原則一切不按實際場景出發的架構設計都是耍流氓合適l匹配業務發展所處的當前階段l充分結合業務實際的應用場景l考慮業務近1到2年的發展規模簡單原則大道至簡，簡單的方案解決復雜問題簡單l復雜邏輯拆分為多個單一執行單元l控制單元邊界，控制好最小執行單元粒度l不做過度設計演化原則優秀架構一定是以業務不斷發展而演進而

4、來演化l代碼的可擴展性、設計模式l架構的可擴展性l可不斷地在實際應用過程中迭代產品技術解決方案技術選型智能分析豐富可視化圖表智能預警算法模型智能化分析能力34215OLAPAd Hoc實時計算效率成本質量低代碼高擴展高并發高性能可視化、低代碼、拖拉拽基礎的：表格 柱圖 線圖 高階：對比圖，?；鶊D層級鉆取，自定義計算字段準確性及時性穩定性實現路徑拆解數據標準化富化、過濾、分發異常檢測歸因分析小投入高回報架構演進1.0簡單靈活有余、擴展性不足數據接入預警指標數據看板決策明細Quarz調度ES集群風險監控預警風險數據分析整體架構：簡單靈活有余、擴展性不足數據處理：數據接入、數據加工；硬編碼計算架構：

5、計算性能、復雜計算存儲架構：單一ES存儲架構演進2.0平臺化、組件化、插件化技術沉淀數倉管理計算引擎數據建模增強分析平臺化：水平分層架構核心組件插件化低代碼數據架構：配置化接入、插件化、函數化計算架構：內存計算、存算分離存儲架構：插件化擴展問題：數據架構：基于明細查詢分析，效率低，復用低百萬級TPS入庫、計算性能規模越來越大，治理越來越難預警架構：風險場景多、枚舉成本高。嚴重依賴專家經驗，優化調整成本高架構升級面臨的挑戰架構演進3.0實時數倉、智能算法事件總線事件總線決策交易營銷登錄數據源數據源算法服務算法服務異常檢測歸因分析聚類關聯關系大數據平臺統一元數據全鏈路血緣RODSRDWM注冊登錄交

6、易策略設備地址RDWS通用主題活動主題設備主題場景主題營銷主題用戶主題渠道主題信用主題活動用戶設備命中策略RDIM維表FlinkMQ數據建模數據建模數據集Sql引擎條件表達式函數表達式風險洞察風險洞察智能預警智能分析行為分析風險感知策略分析群體分析數據服務數據服務指標平臺數據APISqlSql建模建模JupyterCK類庫封裝算法算法建模建模connectorJoinSourceSourceStandardEnrichTranformTranformFunctionScriptconnectorSplitSinkSinkFilterDataStream&Chain數據架構l鏈路拆分：解析、計算

7、、存儲l分而治之：動態資源；垂直拆分l化繁為簡：Flink 預計算算法服務：l時序異常檢測l歸因分析l圖關系實時數倉l風險實時公共數據模型標準與架構l數據治理、元數據、血緣l6大ck集群；秒級寫入吞吐2500W智能預警：l業務解耦l告別告警洪流產品技術解決方案Message QueueJES 多種數據源可視化配置接入 消息隊列可視化進行字段解析，數據分發落表靈活操作，業務可用，隨用隨建輕松實現 數據建模，可視化拖拽配置及高級SQL編輯器，業務人員、分析師皆可使用數據抽取、數據轉換、數據加載、數據整合標準數據表產品核心功能建設堅實數據資產根基數據決策管理駕駛艙多終端自適應PC、移動、大屏一次制作

8、，多場景應用產品核心功能多場景應用智能算法-異常檢測DataFunSummit#202303核心組件剖析核心組件事件總線產品定位統一風險數據標準化處理流程抽象數據接入、過濾、富化、轉換、分發、輸出等過程提供可擴展架構豐富平臺數據處理能力，提升實時計算、實時數倉、數據湖等平臺的數據開發效率!#$%&()*+,+-.)*/012+-345+-6事件總線架構圖實時數據實時數據事件總線事件總線營銷交易保險實名催收sourcetransformsinkkafkakafkarocketMqrocketMqjmqjmqfmqfmq解析引擎解析引擎腳本引擎腳本引擎過濾引擎過濾引擎jsonpathjsonpat

9、hsnacksnackgroovygroovyavitoravitor規則表達式規則表達式一鍵降級一鍵降級mqmqclickhouseclickhouseesesr2mr2mhbasehbase數據上下文動態分組配置mock數據應用數據應用風險洞察風險洞察JRCJRC集群集群5K集群其他業務系統插件化算子抽象腳本語言函數擴展點消息流量監控函數擴展點函數引擎函數引擎codecodejarjar事件總線自定義函數java codejava jarcode compilerfunction loader1.JDK class loader java.lang.xxx3.APP class loade

10、r(AppClassLoader|WebappClassLoader)mons.xxx2.Ext resource loader mons.xxxregister aviator contextinstance AviatorFunctionDSLevent bus AviatorExecutorFunction ExcecutorAviator 表達式框架函數解析器函數編譯器函數注冊器函數執行器復雜結構解析邏輯類似，抽象共性，一次編譯多處復用關鍵技術插件化連接器擴展、算子擴展、函數擴展點解析器、適配器、UDF、RedisSQL、nGQLJDBC連接器、Cache連接器、工廠模式、模版設計組件

11、定義、解析、注冊、渲染CK、ES、Hbase、MQ存儲集群智能分析引擎智能預警引擎數據源引擎SQL引擎事件總線關鍵技術異常檢測服務支持上萬枚舉值、毫秒級響應模型自動迭代高性能自動進化時序數據的自動化處理和自適應微調自適應能力定義標準、多模型對接擴展，無縫集成可擴展算法網關DataFunSummit#202304未來的思考與展望未來的思考與展望場景化：場景化：場景化分析能力持續建設智能化：智能化：從單指標異常檢測到異常團伙檢測探索；分析模式從個體分析到群體分析湖倉一體湖倉一體：將數據倉庫與數據湖的優勢充分結合，其數據存儲在數據湖低成本的存儲架構之上，擁有數據湖數據格式的靈活性，又繼承了數據倉庫數據的治理能力。感謝觀看