1-3 張旭-光大銀行準實時數據平臺架構演進.pdf

1、光大銀行準實時數據平臺架構演進演講人：張旭光大銀行準實時數據平臺技術負責人，專注于分布式系統內核研發。在消息中間件&OLAP 領域有較豐富經驗。開源愛好者，Apache RocketMQ committer，Prometheus contributorhttps:/ 準實時數據平臺 架構演進實踐 實時數據湖架構 數據服務總線實踐 未來規劃準實時數據平臺準實時數據平臺 特點 問題Kafka 存儲分層（貼源、標準、發布）內置了很多業務的數據處理邏輯（Spark、Flink、MR）實時數據平臺&計算資源平臺維護了過多的業務處理邏輯業務處理邏輯（需要了解不同業務的邏輯，無法在平臺建設上投入更多的精力）

2、平臺組件過多組件過多，涵蓋了數據的導入、消息存儲、計算、調度等方面，導致平臺定位不夠清晰平臺定位不夠清晰架構演進實踐架構演進實踐架構演進實踐實時數據湖實時數據湖數據服務總線 Schema 解耦 SDK 封裝 可觀測性&可視化數據服務總線-schema 解耦數據服務總線-schema 解耦數據服務總線-SR 高可用最佳實踐客戶端客戶端：a.配置多個實例地址，緩存schema 關系服務端服務端：a.獨立部署b.多實例，主從結構，一寫多讀c.schema 數據緩存d.跨域集群部署及容災方案數據服務總線-SR 跨域部署數據服務總線-SR 優化安全安全&權限權限a.插件實現的簡單 RBAC 鑒權b.au

3、dit log運維運維a.kerberos 整合b.監控打通數據服務總線-SDK 封裝提供統一的客戶端入口提供統一的客戶端入口減少不同客戶端版本帶來的性能差異和穩定性問題方便升級管理、災備切換等更好地規范客戶端行為，增強對客戶端的數據面控制數據服務總線-SDK 消費定制化數據服務總線-SDK 消費定制化數據服務總線-可觀測性&可視化Kafka 服務端&客戶端監控控制臺開發：schema 和消費 schema 的可視化管理總結 更清晰的平臺邊界 覆蓋分鐘級實時貼源數據場景 數據服務總線生態建設目錄 準實時數據平臺 架構演進實踐 實時數據湖架構 數據服務總線實踐 未來規劃未來規劃 實時數據湖 數據服務總線分鐘級貼源場景落地探索湖倉一體、批流一體SDK 開發：災備切換Flink Connector 二次開發信創集群建設管理控制臺運維特性開發THANK YOU!