3-6 云上數據集成的產品及相關實踐.pdf

1、云上數據集成的挑戰和實踐騰訊云 高級工程師|01云上數據集成的挑戰企業核心訴求梳理02云上數據集成平臺設計方案和平臺分析03云上數據集成產品落地DataInlong產品簡介04云上數據集成的實踐客戶經典案例介紹目錄CONTENT|01云上數據集成的挑戰企業核心訴求梳理數據集成業務概述|交易數據CRM數據日志數據行為數據結構化數據非結構化數據半結構化數據數據開發平臺流計算云數倉數據湖EMRESBIMYSQL數據源數據傳輸數據端集成組件集成產品計算組件DataxSqoopKettleFlinkSparkMRDPDWDI數據集成常用方案介紹|引擎數據源種類吞吐穩定性開源社區場景Sparkl 基于AP

2、I擴展l 高l 資源依賴復雜，環境適應性差l 頂級社區l 大批量l 實時同步l 數據轉換Flinkl 社區有部分，支持行擴展l 高l 環境適應性、數據源親和性差，跨集群訪問配置復雜l 頂級社區l 大批量l 實時同步l 數據轉換Sqoopl 支持的數據源種類偏少l 高l 基于MR框架，運行在hadoop集群，比較穩定l 頂級社區l 大批量l 實時同步l 數據轉換Flink：部分場景吞吐優勢，時延低，周期性數倉等場景下靈活性不足、資源利用率低。Sqoop：支持數據源種類少，基于MR框架，穩定性高。Spark：吞吐極高，參數配置復雜，穩定性差。企業對數據集成的訴求|企業訴求多樣化數據源種類多單個鏈路

3、的數據源多數據源的數據格式多快速搭建開箱即用插件靈活擴展無縫銜接生態海量化TB級每小時百萬條每分鐘天級別持續運行運維簡單屏蔽底層資源可拖拽配置數據傳輸可視化場景化大數據上云湖/倉搭建線上服務系統服務穩定容錯性強準確率高故障自動恢復云上數據集成面臨的挑戰|技術支撐場景全面開箱即用生態一體|02云上數據集成平臺設計方案和平臺實現全場景數據集成解決方案設計|關鍵設計u 多Agent支持u 批流一體，配置統一u 讀寫端解耦業界類似的解決方案：AWS：kinesis+firehouse（多產品配合）華為：DIS（配套解決方案）阿里：DataHub（配套解決方案）高性能低延遲隊列方案分析|inlong在數

4、據采集和消息隊列間增加DataProxy，用于連接收斂、路由、數據壓縮和協議轉換消息隊列異常出現發送失敗時，DataProxy會將消息緩存到本地磁盤進行容災轉發毫秒級時延：基于毫秒級低時延消息隊列，端到端數據同步秒級時延高性能：支持切換不同的緩存隊列，基于存算分離架構的MQ在海量吞吐場景下具備更好的性能和穩定性ComparisonTubeMQKafkaPulsarLatencyVery low，10msLow，250msVery low，10msTPSHigh，14W+/sNormal，10W+/sHigh，14W+/s Filter consumeSupports client filter

5、 or server filterSupports client filterSupports client filterData No copiesMultiple copiesMultiple copiesReliabilityRelies on RAID 10LowHigh,autorecoveryStabilityHigh,running in Tencent for almost 8 years with 33 trillions of message per dayUnstable when topics growsHIghClient languagesupports Java

6、or C+1 client(Official support)7 kinds of clientCAP ModelAPAP or CPCP or AP數據集成彈性平臺實現|任務底層抽象loadermanagerloadertaskloadertaskdeploymentpodpod容器CLSCDB云監控云生態產品.1.每個pod只屬于一個任務2.一個任務可以使用多個pod3.manager主備高可用4.manager和task在不同的pod設計原則job managerresource manager隊列隊列proxyproxyck_sinkhive_sink原始日志原始數據庫log_agen

7、tdb_agentmanager：協調任務管理與資源調度task：執行資源，可分布式并行擴展KAFKA.TTHIVEHBASEES數據源數據端.數據集成平臺高可用設計|Manager故障恢復流程Leader選舉方案1.第一個創建出ConfigMap的成為Leader2.Leader定期續租3.Follower檢查租約時間，過期則重新選舉PodTaskPodTaskManagerDeploymentmanager(standby)manager(dead)manager(Active)12345leader rpc addresstimestamp.ConfigMapETCD容器1.Manage

8、r發生故障2.選舉Leader3.發布Leader信息，并開始服務4.Task感知Leader變化，重新匯報信息5.Leader正式服務|03云上數據集成產品落地DataInlong產品簡介數據集成DataInLong：整體架構圖|CONSOLEAPISDK數據源審計對賬DataProxy-1DataProxy-N匯聚層realtimeSDKofflinesort分揀層TubeMQPulsarkafka緩存層SDKFILEDBHTTP采集層輕量鏈路關系型數據庫：大數據：更多：NoSQL：存儲層指標告警狀態監控資源管理OpenAPI統一調度統一安全統一元數據審批管理服務接入數據鏈路標準服務運維服

9、務數據集成DataInLong：全場景海量數據集成服務|幫助企業建設全業務場景的海量數據傳輸通道海量集成框架一站式敏捷體驗一體化云生態融合無門檻、免運維、低成本平滑適配、全鏈路解決方案穩定、安全、高性能【自研技術增強+內部業務孵化】【云原生算力融合+安全增強】【插件化靈活擴展】【無代碼可視化配置】【開箱即用】【鏈路融合】【產品融合】【資源全托管】【組件融合】產品要素業務價值數據集成DataInLong：全鏈路數據開發與治理平臺搭建|數據集成(DataInLong)獨立DataInLong數據匯聚數據中臺數據建模(DataModel)數據集成(DataInLong)數據開發(DataStudio

10、)數據服務(DataService)數據地圖數據洞察數據共享數據質量(DQ)成本優化(CO)DataOps生產流程：需求規劃開發發布運維DataOps運營流程：采集治理服務應用元數據管理(MetaData)數據安全(SecurityCenter)統一調度(US)數據運營(DataOpeartion)敏捷數據生產一體化運營多租戶管理項目管理用戶管理數據源管理審批管理多環境管理平臺開放基礎數據支撐服務管理體系場景化解決方案數據湖數據倉庫數據開發治理平臺WeData無縫切換DataInLong 提供了開放的技術能力，可與統一調度、統一元數據、統一安全等技術/產品服務快速深度融合。同時，支持平滑無縫升

11、級至騰訊云數據開發與治理平臺WeData，幫助企業更好應對快速變化、日益增長的業務數據需求。數據集成DataInLong：全場景生態融合|穩定、高效、安全的海量數據傳輸通道，覆蓋數據集成全業務場景，無縫融合數據生態實時報表展示離線/實時數據入倉入湖分析數據拉取/主動上報異構數據同步實時/離線數據傳輸產品融合異構數據總線構建全鏈路數據開發與治理平臺/數據中臺搭建|04云上數據集成的實踐客戶經典案例分析DataInLong：云上海量數據集成實踐|穩定、安全多集群部署百萬億級數據量實時高性能消息隊列同步全鏈路數據指標監控為支持商戶/個人兩大微信支付業務場景，InLong內部部署交付兩套系統，每套系統

12、支持集群三副本容災，支持三地多活保障支付業務平穩、穩定、安全運行。為了解決廣告部門數據來源廣泛、采集點眾多的難題，InLong為騰訊廣告提供包括MQ在內的多種類型消息通道和接入方式，支持近百萬億級數據接入和處理，最終實現廣告業務統一監控、告警和核心指標運營實時呈現。DataInLong：云上海量數據集成實踐|全鏈路數據平臺離線數倉與數據同步離線數據開發與調度元數據、數據資產管理與治理企業云原生數據湖構建多種同步方式，多種數據源快速搭建云數據湖實時數據秒級同步iceberg，完成冷熱數據計算某電商平臺：DataInLong in WeData個性化推薦 用戶洞察商品/訂單/庫存數倉數據開發應用場

13、景方案架構某傳統企業：DataInLong+DLC信息采集 日志分析實時數據入湖業務預測應用場景方案架構DataInLong：云上海量數據集成實踐|某商業銀行客戶數據能力中心建設統一開發：18000+個數據任務統一落標：1000個標準項統一管控：19000+張數據表統一對接MYSQL/ORACLE/DB2/文件等多種數據源統一開發HIVE/SPARK/Shell/Python等多種任務基于事件和時間的統一任務調度及運維數據標準平臺建表5000個標準項通過數據開發建模平臺事前落標1000個數據資產平臺展示完整字段級數據血緣統一數據權限的申請、授權、審批等管控精確到人到表的行列權限與動態脫敏控制客戶痛點數據的開發、調度分工分散情況嚴重數據質量低、數據落標困難大數據組件運維復雜、缺乏集中統一的有效運維中心業務數據核心賬務、對公信貸、個人貸款、在線貸款、代發代扣、外匯資金、人民幣資金、理財、基金、網銀、信用卡、柜面、支付清算等方案架構應用場景2021金融業新技術應用創新突出貢獻獎2021年度農村中小金融機構科技創新優秀案例零售和網金業務的指標標簽 營銷集市 反欺詐 智能決策 數據探索