demo-陳迪豪-基于LLVM的高性能Flink Native執行引擎應用實踐-LYS.pdf

1、基于LLVM的高性能Flink Native執行引擎應用實踐 陳迪豪 第四范式先知平臺架構師 Bring high-performance LLVM-based native execution engine for Flink 關于我們 第四范式成立于2014年底，是國際領先的人工智能平臺與技術服務提供商 首創AIOS系統降低AI落地門檻，自研大規模調度系統資源利用率提升50% 基于LLVM加速的Spark/Flink發行版，性能相比開源版本可提升6倍至67倍 About Us 4PD Flink拓展優化 #2 4PD Flink應用場景 #1 Flink Native執行引擎 #3 Fli

2、nk未來發展方向 #4 4PD Flink Extensions4PD Flink ApplicationsFlink Native Engine Flink In Future 4PD Flink應用場景 #1 4PD Flink Application Streaming-first 流式功能豐富，應用開發接口簡單 ，能支持毫秒級流式數據處理 Fault-tolerance 支持主從高可用，無單點故障，與 Yarn / Kubernetes等框架集成度 高 Extensibility 可拓展性強，Source / Sink拓展接 口豐富，支持多語言的UDAF實現 Flink流式框架特性 #

3、2#1#3 Features Of Flink 4PD機器學習自學習系統 行動：用戶搜索、曝光等行為信息 反饋：用戶對于曝光物料的反饋 反思：基于用戶行為、反饋數據，更新模型 理論：學習產生的新模型更新到系統中 反饋 feedback 反思 thinking 理論 theory 行動 action 引用：David Kolb體驗學習：體驗學習發展的源泉 4PD Self-learning System 4PD機器學習自學習系統 1. 用戶基本行為數據接入 2. 數據分發到在線預估和消息隊列 3. 實時部分 基于特征和模型的推理預估 4. 流式部分 用戶行動數據接入 流式特征數據拼接 離線模型訓練和更新 4PD Self-learning System 4PD數據引入管理系統 流式數據引入 Kafka 批數據引入 HDFS / FTP / DBMS / File 定期數據引入 數據格式 CS