1-蔣文偉-FlinkSQL在音樂的產品化實踐-TSY.pdf

1、Flink SQL在云音樂的產品化實踐 網易云音樂 蔣文偉 產品功能 Features #2 簡介 Introduction #1 性能優化 Performance #3 運維完善 Operations #4 未來規劃 Future #5 Flink SQL云音樂產品化簡介 Introduction to Flink SQL used in Netease. #1 Flink in Music 支撐音樂每日數千億數據量的日志輸入 對接數百個外部數據源 提供數百名同學進行實時計算開發 運行數千實時計算任務 多種業務場景支撐 應用場景 use scene Content 內容分發 Report 實

2、時報表 Recommend 推薦業務 Index 索引任務 Monitor 實時監控 Example for distribution What is distribution 分發是常見的經典場景 將日志流按業務切分 實時業務的上游 對性能、穩定性有要求 流量控制、持久化等需求 遇到的問題 Problems 開發效率低，業務標準流程難以復用 未能方便的提供標準的組件 定制組件：定時文件清理 學習成本較高：SQL 化開發過程中依然需要詳細的配置文檔 遇到的問題 Problems 通過SQL方式進行HDFS Sink 的配置 外部環境混亂：數據權限難于管理 血緣、監控、報警等配套不統一 遇到的問

3、題 Problems 血緣關系常常用于數據治理 Example For Snapshot What is snapshot 將特征的歷史版本進行存儲 Why need snapshot 防止特征穿越 實時模型效果提升的重要一環 Example For Snapshot 大量實時計算的需求 業務復雜 要求高可用，低延遲 遇到的問題 Problems 開發成本高，調試相對復雜 特殊需求無法快速滿足 定制需求：不同認證方式的Http Sink 傳統調試方式 調優需要對Flink有較為深入的理解 運維成本高，排查問題困難 業務的指標無法監控 每次升級都是一次挑戰 遇到的問題 Problems 產品化目標 our goal 降低用戶的學習成本、運維成本 提升用戶的開發效能 在性能/監控等方面進行賦能 打造云音樂實時計算一站式平臺 云音樂的實時計算Notebook服務 Introduction to