02-基于云原生Serverless和消息服務技術采集全球分布業務數據實踐-馬騰.pdf

1、基于云原生Serverless和消息服務同步全球分布業務數據實踐馬騰/資深云解決方案架構師微軟（中國）有限公司議程解決方案背景多種方案架構對比解決方案技術挑戰技術架構設計經驗總結解決方案背景客戶是中國Top3的手機廠商和互聯網公司，海外業務全球分布（美洲、亞洲、歐洲、非洲等）依照各區域的數據合規性要求，每個業務系統數據需要在各個洲獨立存儲，主要是結構化數據。業務場景需要應用及數據集成，將海外業務數據與中國數據中心數據同步不同的業務場景需要實現不同的實時性要求，主要是準實時（1分鐘內）和每天或每月定期同步。國內售后CRM-海外售后CRM雙向定時同步業務場景 ：訂單，定價，促銷策略等業務數據在國內

2、CRM與海外CRM之間異步定時復制SQL Server海外Dynamics 365國內Dynamics數據同步方案？Dynamic（On-premise）東南亞歐洲拉丁美洲技術方案對比云原生Serverless+消息服務云原生數據ETL工具云端VM/容器服務數據庫自帶的數據同步功能技術解決方案架構對比數據實時性成本可靠性安全性性能/彈性運維（精力）云原生云原生Serverless（FaaS）+消息服務消息服務實時或準實時低高高強低云原生數據云原生數據ETL工具工具以定時大批量數據同步為主，可以實現準實時中高高強低云端云端VM或云原生容器服務或云原生容器服務通過自行實現數據同步邏輯可實現實時或準

3、實時高中（需使用其他組件共同保障）中（需使用其他組件共同保障）中高數據庫自帶的數據同步功數據庫自帶的數據同步功能能實時或準實時，使用場景受制于數據庫部署環境低低高低中技術挑戰Serverless計算資源如何保證可靠擴展性和可靠性？Serverless冷啟動問題：如何實現低延遲的計算實例啟動？Serverless函數如何監控，診斷，鏈路追蹤？消息服務如何保障“高價值消息”不丟失不重復，先進先出？消息隊列異常消息如何處理？消息隊列如何實現并發處理機制？消息服務特性使用場景Azure Service Bus支持多種消息傳遞模式，包括隊列、主題和訂閱?？煽啃?、安全性和可伸縮性高。提供定時消息傳遞、消息

4、回溯、基于身份驗證和授權的訪問控制等高級功能。適用于“高價值業務消息高價值業務消息”傳遞場景。例如異步通信、任務分發、應用程序集成等。Azure Event Hub大規模、高吞吐量用于傳輸大量的事件數據，例如傳感器數據、日志數據、跟蹤數據等。Azure IoT Hub專門為物聯網應用程序設計的消息傳遞服務。它支持多種協議，例如 AMQP、MQTT 和 HTTP，以及各種設備和平臺連接和管理大規模 IoT 設備，并可將設備數據發送到云中進行分析和處理。HD Insight-Kafka分布式流數據平臺，提供了高吞吐量、低延遲、高可用性、可擴展性和容錯性等特性大規模流數據處理的場景，例如實時數據分析

5、、數據流管道等Azure上多種消息服務如何選擇？方案架構設計數據同步基于消息隊列加Serverless架構實現準實時數據同步方案通過消息隊列實現異步解耦基于Serverless FaaS架構，實現高可靠、高可擴展、低成本技術方案國內售后CRM-海外售后CRM雙向定時同步業務場景 ：公用業務數據，訂單，價格，促銷策略等業務數據“定時批量定時批量”在國內CRM與海外CRM之間異步定時復制SQL Server海外 CRM國內CRMAzure Data Factory(ETL工具)Dynamics（On-premise）東南亞歐洲拉丁美洲Azure GlobalAzure Data Factory國內

6、服務國內服務CRM-CRM-海外服務海外服務CRMCRM雙向數據實時同步雙向數據實時同步業務場景 ：訂單數據由海外CRM同步到國內CRM（實時或準實時同步實時或準實時同步，要求要求1分鐘內分鐘內）海外CRM國內CRMAzure GlobalDynamic（On-premise）東南亞歐洲拉丁美洲Azure GlobalAzure FunctionsPluginPluginPlugin觸發器Azure Service Bus代碼Azure Functions+Service BusFunction as a Service讓編寫云應用變得簡單根據客戶需求擴展功能使用 C#、Node.js、F#、

7、Python、Java等語言開發函數跨服務輕松安排事件驅動型任務將函數公開為 HTTP API 端點使用無服務器代碼處理事件無需基礎架構管理不浪費資源，只需按實際使用量付費根據工作負載自動縮放Functions-基于事件驅動在 C#、F#、Node.js、Java 等環境中創作函數編碼事件對計時器、HTTP 或 Azure 服務的事件做出反應，并不斷推出更多事件源輸出將結果發送到下游服務，下游服務也不斷增加專注于代碼專注于代碼，而不是管道而不是管道Functions的運行時（Runtime）縮放公有云提供多種SKU，使用高層級或專屬計劃時，確保至少有一個函數實例始終運行，可以沒有冷啟動。Fun

8、ctions冷啟動問題解決方案使用Function原生集成的Application Insights對應用進行診斷監控 通過Application Map和端到端交易詳細信息進行跟蹤使用實時指標流實時可視化事件和指標云原生消息服務Service Bus高級功能隊列Topic發布/訂閱HTTPAMQP/WSHTTPAMQP/WS架構目的架構目的:消息服務 應用解耦 負載均衡（削峰填谷）發布訂閱 安全控制(SAS token,RBAC,managed identity)跨區federation 多可用區支持 異地災備恢復 兼容行業標準(AMQP,JMS)多語言SDK支持:Java/Javascri

9、pts/Python/.NET高級特性高級特性:會話支持 事務性支持 自動轉發 死信隊列(DLQ)定時發送 消息延時 重復消息檢測 消息過濾 出現空閑隊列時自動刪除RBrokerRBroker確保消息不丟失,不重復Peek Peek LockLock方式方式確保消息不丟失確保消息不丟失:消息在消費端沒有返回確認前，并且在鎖定時間內消息不會刪除，鎖定超時后，被其他客戶端拉去。重復檢測窗口重復檢測窗口機制確保消息在設定時間內不重復消息先進先出（FIFO）特性需要先進先出的一組消息，設置相同的Session ID通過死信(Dead Letter)隊列處理異常消息死信隊列支持事務性操作消息并發處理機制多種性能服務層級Service Bus Partitioning多客戶端負載均衡批量處理訪問消息預提取經驗總結Serverless架構的優點：低成本、高可靠、高可擴展性云原生消息服務的優點：異步解耦、高并發、可靠性高在設計全球數據同步方案時，需要考慮業務場景的不同實時性要求，合理技術架構采用云原生 Serverless 和消息服務解決方案，可快速構建可靠的跨數據中心全球務數據同步解決方案，具有高擴展性和高可靠性，能夠滿足業務需要在設計方案時，需要考慮到業務數據安全性和合規性，選擇能夠滿足合規要求的云服務提供商在實施方案時，需要充分考慮監控，鏈路跟蹤，異常數據處理機制，確保數據同步過程的可靠性