3、網易游戲基于 Flink 的流式 ETL 建設-zx.pdf

1、網易游戲基于 Flink 的流式 ETL 建設 林小鉑 網易游戲 資深開發工程師 專用ETL #2 業務背景 #1#3 調優實踐 #4 未來規劃 #5 通用ETL #1業務背景 網易游戲 ETL 服務概況 網易游戲流式 ETL 需求特點 游戲行業 MongoDB 等 schema-free 的數據庫流行。 數據異構 以復雜內嵌字段避免 大部分 Join 需求。 反范式設計 提取轉換一次，加載到不同 數據倉庫（Hive/Kafka）。 實時離線 數據一致 數據表多且變更頻繁， 需要完善的異常處理。 容錯及恢復 日志分類及特點 日志類別描述格式主要用途目標存儲 運營日志玩家行為日志 header

2、+ json 文本 報表/分析/推薦Hive/Kafka 業務日志業務事件日志文本/二進制報表/分析/推薦Hive/Kafka 程序日志程序運行日志文本日志檢索/分析ES/Hive/Kafka 網易游戲 ETL 服務剖析 運營日志專用 ETL #2 運營日志 ETL 發展歷程 v1 基于 Hadoop Streamingv2 基于 Spark Streamingv3 基于 Flink DataStream 建立基于 Hadoop Streaming + Python 通用處理和 UDF 的離線 ETL。 基于 Spark Streaming 的 POC，但因微批 調優困難、小文件多等問題沒廣泛

3、應用。 基于 Flink DataStream + Jython 運行時 框架，無縫遷移原有 Python UDF。 201320172018 運營 ETL 架構 Python UDF 實現 運營 ETL 運行時 EntryX 通用 ETL #3 EntryX 基本概念 ETL 作業的輸入數據源，通常 是原始數據 Kafka Topic 或經過 分發過濾的 Kafka Topic 可以混合一至多種異構文本數據 Source 定義 ETL 管道的元數據 設置轉換函數，定義流表 Schema 流表 Schema 類似 DDL，包括表 屬性、字段名、數據類型、約束等 StreamingTable 流表 定義流表到目標儲存系統表的 Schema 邏輯映射（字段映 射、表屬性映射） 數據物理格式的自動轉換/加載 Sink EntryX ETL 管道 實時離線統一 Schema 實時表 與 離線表 的