張亮-萬億級消息隊列Kafka在滴滴的實踐_compressed.pdf

1、萬億級消息隊列Kafka在滴滴的實踐 張亮 2020-11-01 建設背景 目錄 建設實踐 總結規劃 建設背景 1 RDS Log File App Behave Log User Report 數據生產 Omega Server canalLog agent User Application 數據采集 DiDi-Kakfa-2.5-900 數據隊列 數據消費 User Application Stream SQL Flink Native App 數據應用 離線數倉ODS 實時數倉ODS實時監控/報表 OLAP分析 線上業務 ? ?峰值生產 2 億/S 集群流量 60GB/S 2W+ Top

2、ic 20+ Cluster? ? 單集群250 Broker 100W+Producer 最大采500MB/S 1.2W+Consumer 最大消費500MB/S 日增消息量2PB 應用現狀 建設背景 業務訴求服務痛點引擎挑戰 Kafka運維友好性性與可觀察 性不足 社區Kafka-Manager能力缺 失，用戶答疑，日常運維消耗 大量精力 磁盤IO熱點導致的集群生產消費雪崩 Topic資源隔離差，流量突增、回溯 消費，影響集群穩定性 日常運維操作對業務不透明， 分鐘級的生產、消費抖動不能 忍 Topic生產、消費安全無管控、 集群遷移對業務不透明 建設實踐 2 建設實踐 高可用建設平臺建設

3、技術創新 引擎可觀察性 Kafka-Manager 磁盤過載保護 資源彈性調度 部署資源隔離 Kafka-GateWay 引擎迭代 高可用建設-部署資源隔離 Broker-Controller Broker-Controller Broker-Controller Broker-Consumer Coordinator Broker-Consumer Coordinator Broker-Consumer Coordinator Broker-Region1 Broker-Region1 n Broker-Region1 1 Broker-Region X Broker-Region X n Broker-Region X 1 Kafka-GateWay Kafka-GateWay Kafka-GateWay Broker-Controller Broker-Controller Brok