04螞蟻混合云架構及技術風險防控實踐--肖鵬.pdf

1、螞蟻混合云架構及技術風險防控實踐肖鵬（乙未）螞蟻集團 資深技術專家個人介紹個人介紹互聯網技術風險領域 10 年從業經驗 2011 年加入百度運維部 2014 年加入阿里巴巴高德，作為運維團隊負責人全面建設技術風險保障體系，支撐高德業務逐步發展為日活過億的App 2019 年加入螞蟻集團技術風險部，負責智能容量技術團隊和支付寶小程序云北區解決方案團隊，為小程序客戶提供云托管技術和營銷解決方案目錄目錄 螞蟻混合云架構實踐 螞蟻混合云技術風險能力建設 螞蟻混合云應用案例螞蟻混合云架構實踐螞蟻混合云架構實踐螞蟻混合云架構實踐螞蟻混合云架構實踐-背景背景LDCLDC架構架構（Logical Data C

2、enterLogical Data Center）網關單元1應用層存儲層ServiceAServiceBmsmsuid00-49uid00-49單元2應用層存儲層ServiceAServiceBmsmsuid50-99uid50-99網關層uid00-49uid50-99從一朵云演變為多從一朵云演變為多朵云朵云螞蟻混合云架構實踐螞蟻混合云架構實踐-背景背景螞蟻主站網商銀行阿里云底座proxyproxy業務主體A業務主體B業務主體N.螞蟻混合云架構實踐螞蟻混合云架構實踐-問題問題變更布防變更動作防御規則執行記錄變更域核對預警數據模型核對規則風險事件資金域應急組織/定位處置管控預案A處理能力預案B

3、處理能力應急域監控域數據源/指標/告警數據源/指標/告警DB緩存應用運維管控元數據單筆數據鏈路數據 風險數據業務主體A業務主體B業務主體N共共用用業務主體無隔離業務主體無隔離相同環境應用1應用2應用3經驗規則沉淀變更服務防御規則業務定位決策樹自愈預案核對規則1核對規則2各項能力主站基礎設施基礎平臺依賴中間件等技術風險能力沉淀風險防控平臺變更分批監控業務影響分析變更核心應急平臺風險能力強依賴主站風險能力強依賴主站平臺對外部平臺對外部依賴重依賴重，無，無法獨立輸出法獨立輸出基礎依賴域基礎依賴域內域外異構內域外異構混合云架構混合云架構下存在跨云下存在跨云監控、應急監控、應急等新問題等新問題業務租戶A

4、RZRZRZCZGZ業務租戶BRZRZRZCZGZSOFAGW可信原生全局管控區云產品服務資源運營管理運維管控TCMDB元數據云管理平臺業務租戶CRZRZRZCZGZ可信原生管控區云管理平臺獨立與互通技術能力SOFAGW依據業務主體數據獨立性等級要求做部署架構選型計算資源共享、數據獨立存儲獨立機房，專有云交付TLDCTLDC架構架構（Trusted-native Logic Data Trusted-native Logic Data Center Center)業務Saas區構建混合云管控平臺，提供標準云產品和交付能力隔離與互通技術能力，滿足獨立性要求螞蟻混合云架構實踐螞蟻混合云架構實踐-T

5、LDC-TLDC架構架構 核心代碼多云部署 異構云底座 數據/服務的有限互通 協同防御 數據、權限隔離 衛星組件拆分技術風險技術風險技術風險技術風險技術風險螞蟻混合云架構實踐螞蟻混合云架構實踐-TLDC-TLDC架構架構純獨立部署純獨立部署每個租戶一套部署每個租戶一套部署純全局純全局所有租戶共享一套管控所有租戶共享一套管控/數據全局部署數據全局部署衛星衛星所有租戶共享一套管理側的全局部署所有租戶共享一套管理側的全局部署不同租戶內衛星部署執行引擎類模塊不同租戶內衛星部署執行引擎類模塊業務租戶技術風險系統租戶內APP區域中間件業務租戶技術風險系統租戶內APP區域中間件技術風險系統（多租戶化）全局管

6、控租戶業務租戶租戶內APP區域中間件通用代理組件業務租戶租戶內APP區域中間件通用代理組件技術風險系統（多租戶化）全局管控租戶業務租戶技術風險功能組件租戶內APP區域中間件業務租戶技術風險功能組件租戶內APP區域中間件目標：建設單云目標：建設單云多租戶多租戶管理能力管理能力螞蟻混合云架構實踐螞蟻混合云架構實踐-租戶隔離租戶隔離客戶站點（專有云）客戶站點（專有云）技術風險產品系統IAMCMDBCachePaas主站技術風險產品系統IAMCMDBCachePaas客戶站點（專有云）客戶站點（專有云）產品最小集方式方式1 1：產品：產品+依賴底座整體輸出依賴底座整體輸出技術風險產品系統IAMCMDB

7、CachePaas主站技術風險產品系統IAMCMDBCachePaas客戶自有產品集輕量化方式方式2 2：產品去底座依賴：產品去底座依賴目標：一套產品系統代碼，多目標：一套產品系統代碼，多異構異構站點輸出部署站點輸出部署螞蟻混合云架構實踐螞蟻混合云架構實踐-多云輸出多云輸出目標：多云獨立部署，單元目標：多云獨立部署，單元防控體驗防控體驗應急域應急域變更域變更域跨云數據通路數據出口管控管控接入（審批提單/結果回調/）管控能力（審批/熔斷/審計/）出口元數據管理（數據類型定義/脫敏規則/）跨云數據通道接入層（發送/訂閱/）通信信道（https/ftps/）結構化（類型/結構/脫敏/）螞蟻混合云架構

8、實踐螞蟻混合云架構實踐-多云協同多云協同螞蟻混合云技術風險能力建設螞蟻混合云技術風險能力建設業務風險防控數據庫運維管控基礎設施運維管控基礎架構運行管控質量保證資金安全變更管控性能容量定位應急紅藍攻防根基守護風險智能監控風險模型數據仿真灰度環境業務運維防控領域服務基礎技術服務技術風險架構域技術風險架構域螞蟻混合云技術風險防控螞蟻混合云技術風險防控-背景背景監控應急變更通過通過跨云數據通路跨云數據通路解決跨云防控問題解決跨云防控問題壓測監控大盤跨云查詢云B監控云A告警鏈路定位根因分析風險事件跨云傳遞跨云變更時間查詢跨云壓測熔斷跨云傳輸通道同步查詢異步投遞接口管控字段級權限控制信道專線公網監控應急變

9、更壓測云A云B監控大盤跨云查詢云A監控云B告警根因跨云分析云A事件云B拉起應急云A風險阻斷云B容量風險識別指標數據監控/落地指標查詢投遞檢測結果關聯根因投遞事件投遞壓測風險事件螞蟻混合云技術風險防控螞蟻混合云技術風險防控-背景背景跨云業務核心業務保障跨云應急跨云變更網絡監控容量跨云定位跨云監控應用場景跨云監控跨云發現跨云網絡跨云防控技術棧覆蓋SLO覆蓋智能布控跨云告警跨云應急智能告警骨干網專線DNS網絡Maas防控明細數據監控Maas插件統一數據服務統一模型服務多云權限管控監控元信息計算服務對接智能化基座跨云防控智能托管智能異常檢測多段漸進檢測特征&樣本中心跨云數據平臺監控數據平臺多云時序服務

10、采集注冊調度中心采集清洗執行引擎agent時序存儲ceresDB多云數據模塊跨云數據服務SQL引擎跨云數據融合多云時序管理維表跨云鏈路跨云數據鏈路（通訊、脫敏、管控）云站點監控云站點監控云站點監控云站點監控RawData多云數據引擎多云數據引擎解決數據異構解決數據異構螞蟻混合云技術風險防控螞蟻混合云技術風險防控-跨云監控跨云監控agent節點節點節點風險預警（風險事件）應急處理（預案/自愈）節點節點節點節點故障根因（定位）節點節點節點風險預警（風險事件）應急處理（預案/自愈）節點節點節點節點故障根因（定位）節點節點節點風險預警（風險事件）應急處理（預案/自愈）節點節點節點節點故障根因（定位）云

11、A 云B云A 云B云A 云B典型場景典型場景云B葉子節點出現問題，傳導到云A入口應用，云A監控發現云B應用變更，傳導到云A業務大盤下跌，云B阻斷變更云B容量不足，云B應用線程積壓，云A降級恢復螞蟻混合云技術風險防控螞蟻混合云技術風險防控-跨云應急跨云應急業務指標云A業務鏈路跨云調用的主站指標應急平臺可信數據通道定位中臺云B業務鏈路應急平臺監控平臺自愈中臺定位中臺異常trace日志分析異常trace業務日志清洗0.監控觸發告警并提供業務失敗traceid列表1.云A告警拉起應急并根據業務租戶發起跨云應急2.云A定位中臺將失敗的traceid傳給云B定位中臺5.云A根據傳回來的定位根因結論，將云A

12、事件和云B回傳的根因串聯在一起，幫助恢復預案決策2.云B應急根據業務租戶和監控，匹配云應急和啟動跨云的新應急0.云上監控觸發云上告警的通路0.系統指標、業務rpc發生異常3.云B定位中臺對失敗的traceid串聯trace，做異常特征挖掘4.云B定位中臺回傳定位結論，包含站點，租戶信息1.自愈會基于事前在監控的規則產生異常事件2.自愈引擎會基于場景和動作指標決策出用于止血的恢復手段3.自愈通知 應急拉起 應急定位 應急自愈云A云B金融交換螞蟻混合云技術風險防控螞蟻混合云技術風險防控-跨云應急跨云應急可信數據通道應用應用應用應用應用應用應用產品發布應用發布配置發布變更管理變更場景元數據變更事件輸

13、出變更防御能力變更窗口監控告警分批監控參數校驗跨云風險變更管理跨云變更事件變更搜索云內變更事件變更防御能力變更窗口智能分批監控新增突增異常變更工單a變更工單b跨云防御規則監控告警變更窗口變更參數1.觸發變更變更搜索可以查詢2.變更事件同步4.匹配防御3.匹配規則6.查詢變更執行結果6.聚合所有規則結果 變更記錄跨云搜索 變更跨云防御 跨云的數據訪問權限控制云A云B云A云B可信數據通道螞蟻混合云技術風險防控螞蟻混合云技術風險防控-跨云變更跨云變更應用應用應用應用應用應用應用可信數據通道大促活動平臺限流平臺預案平臺雙11大促預案保障場景為例鏈路梳理大促活動平臺限流平臺預案平臺作戰手冊預案梳理執行前

14、后置依賴定時執行壓力機云A業務系統金融交換壓力防御鏈路圖壓力防御鏈路圖云B業務系統壓測平臺壓測平臺監控平臺0.云B系統發生異常1.監控系統觸發熔斷2.監控事件溯源3.執行壓測熔斷可信數據通道 大促多云聯動 跨云壓測熔斷云A云B云A云B螞蟻混合云技術風險防控螞蟻混合云技術風險防控-跨云活動保障跨云活動保障螞蟻混合云應用案例螞蟻混合云應用案例源機房網關系統應用A應用B應用C應用D彈性機房網關系統應用A應用B應用D異步任務異步任務源機房流水型主庫00.01.02.03狀態型主庫00狀態型主庫01狀態型主庫02狀態型主庫03應用側彈出應用側彈出存儲存儲側彈出側彈出彈性機房流水型彈性庫01.03狀態型主

15、庫01狀態型主庫03ZoneZone層面承載用戶層面承載用戶減少一倍減少一倍APPAPP層面可擴容機器層面可擴容機器增加一倍增加一倍源源zonezone流水型流水型DBDB承載用戶減少一倍承載用戶減少一倍狀態型狀態型DBDB拆百后拆百后主備切換主備切換螞蟻混合云應用案例螞蟻混合云應用案例-螞蟻大促場景螞蟻大促場景螞蟻主站獨立持牌公司獨立持牌公司TLDC技術體系/三地五中心租戶隔離部署租戶隔離部署租戶隔離部署TLDC技術體系/兩地三中心同城專有云基座異地專有云基座專線專線從中心化轉為去中心化從中心化轉為去中心化異構到多云底座異構到多云底座實現跨云風險免疫實現跨云風險免疫螞蟻混合云應用案例螞蟻混合

16、云應用案例-螞蟻多主體交互螞蟻多主體交互同城云通基座同城云通基座異地云通基座租戶隔離部署租戶隔離部署TLDC技術體系/兩地三中心同城公有云基座異地公有云基座單租戶部署自動建模-自動識別-自動修復軟件風險識別與修復服務部署風險識別運行時風險識別與處置業務運營時風險識別軟件代碼風險軟件代碼風險代碼和配置中的靜態風險安全漏洞軟件合規配置風險服務部署風險服務部署風險系統部署流程和代碼變動風險故障擴大化指標與端側防御止血不及時變更影響分析系統運行風險系統運行風險系統運行中的風險發現與自動處置智能監控告警容量彈性伸縮應用多活容災單機異常自愈業務運營風險業務運營風險業務運營防薅羊毛等場景識別業務“黃?！比萘?/p>

17、保障活動性能壓測自動識別變更風險，智能決策回滾自動配置監控，容量彈性伸縮，異常自愈自動壓測，容量保障；自動識別業務風險隱私合規軟件缺陷變更異常檢測變更風險防御代碼SCA掃描風險巡檢漏洞一鍵修復安全漏洞性能壓測與分析惡意用戶識別隱私合規政策容量彈性伸縮單機異常自愈變更影響面分析DDOS流量防護軟件依賴合規智能監控告警機房容災多活DB SQL異常自愈黃牛刷單防護螞蟻混合云應用案例螞蟻混合云應用案例-支付寶小程序云支付寶小程序云解決獨立輸出解決獨立輸出場景架構問題場景架構問題支付寶小程序ISV客戶端 PC web/APP小程序云服務區ISV1 小程序后端測試環境生產環境極簡灰度生產流量VPC1VPC

18、1公網訪問公網訪問公網公網/callcontainercallcontainer多語言支持 Java/JS/PHP螞蟻安全容器ISV2 小程序后端測試環境生產環境極簡灰度生產流量VPC2VPC2多語言支持 Java/JS/PHPISVn 小程序后端測試環境生產環境極簡灰度生產流量VPCnVPCn多語言支持 Java/JS/PHP小程序云管控區螞蟻安全容器螞蟻安全容器統一接入 安全防護統一接入 安全防護統一接入前端網關對客產品管控集小程序云技術支撐服務托管服務彈性伸縮DB彈性伸縮高效研發極速部署云函數運維穩定性鏈路追蹤秒級監控云執行環境數據庫分布式數據庫分布式緩存KV數據庫存儲對象存儲日志服務數據庫管理性能工具（TopSQL/慢SQL）安全安全防護環境隔離安全容器隱私計算操作審計智能告警公網訪問公網訪問風險智能托管Cloud IDE技術沉淀技術沉淀支撐專有云輸出支撐專有云輸出螞蟻混合云應用案例螞蟻混合云應用案例-支付寶小程序云支付寶小程序云微信聯系方式微信聯系方式釘釘釘釘聯系方式聯系方式Q&AQ&A