2018年技術中臺-分布式架構在螞蟻業務的實踐分享.pdf

1、技術中臺-分布式架構在螞蟻業務的實踐分享分布式架構的優勢和基本理念分布式架構實踐舉例-分布式TA系統分布式架構下如何保障系統的可靠性及穩定性分享大綱分布式架構的優勢和基本理念TomcatTomcatWARWARUIUI賬戶服務賬戶服務交易服務交易服務訂單服務訂單服務數據庫數據庫ApacheApache優點易于開發測試部署性能擴展簡單，靠堆機器缺點編譯慢啟動慢代碼沖突性能擴展依賴機器WARWAR傳統單體架構特點業務復雜度生產效率微服務架構單體架構復雜度較小時采用單體應用的生產效率更高，復雜度到了一定規模時，單體應用的生產效率開始急劇下降，這時對其進行服務化的拆分才是合算的微服務架構之所以得到廣泛

2、認可，源于對于業務多變性的不可預測，微服務架構能夠不斷的自演化，進而快速適應業務變化微服務架構 vs 單體架構TradeTrade SystemSystemJVMJVMTradeTrade SystemSystemJVMJVMBIZCORECOREBIZ及時到賬BIZ擔保交易BIZ模塊化開發自動服務發現P2P callLoad BalanceAuto Failover以前現在TradeAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceTradePromo

3、tionF5/LVS微服務-注冊中心微服務架構的負載均衡優勢交易數據庫賬務數據庫交易系統賬務系統微服務-注冊中心數據訪問瓶頸解決方案 數據庫垂直切分交易數據庫分庫0101分庫0202分庫0303業務峰值(TPS)(TPS)最小庫數量=單庫容量上限(TPS)(TPS)單位時間業務量 x x 存儲時長最小表數量=單表容量上限交易系統交易系統交易系統交易系統交易系統交易系統數據訪問瓶頸解決方案 數據庫水平切分分布式架構實踐舉例-分布式TA系統聯機網關SFTP前置服務前置服務交易服務交易服務清算服務清算服務業務庫基礎庫業務庫文件上傳/下載文件合并/拆分監控平臺調度服務客戶端管理臺清算串行執行效率低，無

4、法通過增加機器線性擴展性能一般使用大事務，出現問題全部回滾傳統TA系統架構運維工具鏈IaaS業務服務層SOFAStack接入層應用部署配置維護監控預警治理控制日志分析服務治理消息治理任務管理事務管理灰度發布運維后臺管理微服務分布式事務消息隊列任務調度數據代理云應用引擎監控分析網關文件傳輸協議轉換訪問控制賬戶飛天云平臺開戶開戶查詢賬戶管理交易申購贖回消費清算清算流程文件處理文件生成賬務資產登賬收益分配資金清算督核流程核準文件核對分布式TA系統架構鏈路跟蹤分布式清算任務如何高效實現？分布式下，加大應用處理出錯的可能性，那清算任務如何確保正確性？分布式TA系統的需要攻克的技術難題任務調度平臺任務節點

5、任務節點任務節點任務節點任務節點任務節點任務節點任務節點任務節點任務節點調度（定時/事件/手動）按 X 分片再按 Y 分片生成 X*Y 個分片任務節點任務節點任務節點任務節點任務節點任務節點拆分階段執行階段N 個分片N 個分片N 個分片N 個分片N 個分片N 個分片支持自定義分片，高效利用集群計算能力執行中可對任務進行暫停/續跑，強制取消任務失敗重試機制，保障整體計算任務成功分布式任務調度平臺清算任務調度交易申請文件.分片1分片2分片N文件分片99文件分片1文件分片99文件分片1文件分片99文件分片1流水庫2 2流水庫3 3.流水庫100100執行1執行N執行1執行N執行1執行N執行1執行N交

6、易中心清算中心賬務中心賬戶中心任務拆分任務執行任務調度流水庫1 1核心服務日切備份日初始化第一次文件導入小時文件備份清算處理收益計算份額調整清算導出第二次文件導入二次清算收益導出核對異常沖正重做沖正重做沖正重做沖正重做沖正重做回滾維度 按文件 按用戶 按備份點優點 任意流程可回滾 精準逐筆核對，支持按用戶回滾，大幅縮短清算時長清算的容錯和核對機制分布式架構下如何保障系統的可靠性及穩定性灰度發布機制SLBpaypay生產集群paypay生產集群灰度Beta發布分組發布灰度引流全量SOFAStack平臺強大的發布能力支持，精準的流量控制90%10%0001020304050607080910119

7、9清算灰度，支持按用戶維度抽取分片，縮短灰度時間正常表影子表DB數據訪問代理paypay賬戶系統paypay清算系統paypay賬務系統paypay壓測流量引擎paypay某業務系統業務域分布式TA系統1、壓測環境復用生產環境，壓測結果可靠；優于線下壓測。2、壓測數據打標無法進入生產環境，數據表級隔離。線上全鏈路壓測OceanBase高可用機制 基于Paxos協議的典型三副本部署數據強一致性持續可用主備自動切換單機、機房、城市級故障：不停服務，不丟數據商業數據庫DB(主)數據(主)網絡DB(備)數據(備)主庫+備庫可靠性主要依賴于硬件寫事務到達超過半數庫少數庫異常不影響業務兩地三中心多活灰度升

8、級 正常情況下和同城三中心部署的延遲一致 深圳一臺ObServer宕機則會增加異地同步延遲 同城多個核心機房延遲一般在0.5 2ms之間OceanBase常用部署方案同城三機房兩地三中心同城雙活容災架構外部流量SLBpaypay后臺管理公共單庫paypay賬戶paypay清算paypay賬務交易庫交易庫賬戶分庫交易庫交易庫賬務分庫主機房SLBpaypay賬務交易庫交易庫賬務分庫paypay清算交易庫交易庫賬戶分庫公共單庫paypay賬戶paypay后臺管理備機房交易庫交易庫賬務分庫交易庫交易庫賬戶分庫公共單庫paypay微服務paypay消息隊列paypay微服務paypay消息隊列同機房優先，避免跨機房損耗對應用無任何侵入，像單機房一樣開發部署應用容災自動切換謝謝！