5-翟佳 - Flink 和 Pulsar 的批流融合 - ZX的副本_compressed.pdf

1、Flink 和 Pulsar 的批流融合 翟佳 StreamNative Pulsar 的 數據視圖 #2 Apache Pulsar 是什么 #1 Pulsar-Flink 的批流融合 #3 Apache Pulsar 是什么#1 Apache Pulsar 簡介 Apache Pulsar 簡介 架構 1、存儲計算分離 2、節點對等 3、獨立擴容 4、邏輯分區、物理分片 云原生架構 Apache Pulsar 簡介 存儲 BookKeeper 分布式日志WriteAheadLog 低延遲、高吞吐、持久化 強一致性 高可用 讀寫隔離 Apache Pulsar 簡介 應用場景 1、計費平臺、

2、支付平臺、交易系統 2、Worker Queue / Push Notifications / Task Queue 3、Unified Messaging Backbone (Queuing + Streaming) 4、IoT 5、Unified Data Processing Apache Pulsar 簡介 應用場景 http:/pulsar.apache.org/en/powered-by/ Apache Pulsar 簡介 應用場景 1、計費平臺、支付平臺、交易系統 2、Worker Queue / Push Notifications / Task Queue 3、Unified

3、 Messaging Backbone (Queuing + Streaming) 4、IoT 5、Unified Data Processing Flink Pulsar 的 數據視圖#2 Topic Pub/Sub Topic Producers Consumers Time Topic Partition 分區 P0 P1 P2 P3 Producers Consumer Time Partition Segment 分片 Segment 1Segment 2Segment 3Segment 4 Segment 1Segment 2Segment 3 Segment 1Segment 2Segment 3 Segment 1Segment 2Segment 3 P0 P1 P2 P3 Producers Consumers Time Partition Segment 分片 Segm