2020年Flink Forward峰會嘉賓演講PPT資料合集（共63套打包）

1、FlinkFlink 1.121.12 資源管理新特性資源管理新特性 Flink 1.12 New Features In Resource Management 宋辛童 Xintong Song/郭旸澤 Yangze Guo 資源調度資源調度 ResourceResource SchedulingScheduling #2 內存管理內存管理 MemoryMemory ManagementManagement #1 擴展資源擴展資源框架框架 ExternalExternal ResourcesResources FrameworkFramework #3 未來計劃未來計劃 FutureFuture PlanPlan #4 內存管理內存管理 Memory Management #1 內存模型內存模型 MemoryMemory ModelModel 用于任務執行 For task execution 一個作業到底需要多。

2、基于F-ink和Druid的實時多F分析D 統在蔚來A車的應用 Rea- Time Mu-ti-Dimension Ana-ysis in NIO ? ? ? ? ? ? 技術架A rchitecture ? ? ? 業務背景 Backgroud ? ? ? 狀態空間D型 State Space Mode- ? ? ? 多維分B Mu-ti-Dimension na-ysis ? ? ? 展示 Disp-ay ? ? ? 業務背景 Backgroud ? ? ? 數據接入面臨的問題 What Are The roblems ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 數據接入需要回答的問題 What Are The Questions We eed Answer ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 技術架構 Architecture ? 系統功能。

3、基于LLVM的高性能Flink Native執行引擎應用實踐 陳迪豪 第四范式先知平臺架構師 Bring high-performance LLVM-based native execution engine for Flink 關于我們 第四范式成立于2014年底，是國際領先的人工智能平臺與技術服務提供商 首創AIOS系統降低AI落地門檻，自研大規模調度系統資源利用率提升50% 基于LLVM加速的Spark/Flink發行版，性能相比開源版本可提升6倍至67倍 About Us 4PD Flink拓展優化 #2 4PD Flink應用場景 #1 Flink Native執行引擎 #3 Flink未來發展方向 #4 4PD Flink Extensions4PD Flink ApplicationsFlink Native Eng。

4、From S:ark for Bat.h to Flink for Stream and Bat.h Unifi.ation: Ex:loration LinkedIn Chenya ,hang, Sr. Software Engineer Big Data Platform LinkedIn ? Aa4he /aAk Ceam aC ,:nkedIn, B:g DaCa .laCfoAm ? FoDnd:ng eng:neeA of Aa4he Fl:nk aC ,:nkedIn foA /CAeam and BaC4h Un:f:4aC:on ? BD:lC AAC:f:4:al InCell:gen4e InfAaBCAD4CDAe aC ,:nkedIn ? WoAk:ng aC ,:nkedIn foA 4 yeaAB afCeA gAadDaC:ng fAom CaAneg:e Mellon Un:EeAB:Cy ? ,:nkedIn .Aof:le: hCCB:/FFF l:nked:n 4om/:n/4henyazhang/ ? Ema:l: 4yzhangl:nked。

5、ULTRON 36 基于Fli63D實時數倉平臺 36 R0-l-tim0 DW Pl-tform b-s0d o6 Fli63 ? ? 架構設計 ? ? ? D景與需求 ? ? ? 平臺化之路 ? ? ? 演示 ? ? ? 總結與展望 ?Roa& of platformization emoSummary & Prospect 背景與需求 ack&round & Requirements ? ? ? A于360商業化數據 Ab5ut 360 c53306ci,2iz,ti5n /,t, ?高峰期大約產B實時數據50Gb 7, 業務消費處理帶寬200Gb 7，處理消息大約700WT 7 ?日G處理量超過千億T，上WTB ? ? ? ? 實時的重要性 m-ortance of real time 實時報表 （Real-time Re-orting） ? 實時監控 （Real-time monitoring）。

6、基于基于FlinkFlink DataStream APIDataStream API的的 流批一體處理流批一體處理 Unified DataStream API for Streaming and Batch Execution 馬國維（黎鋼） 阿里巴巴 Alibaba Group 高赟（云騫） 阿里巴巴 Alibaba Group 語義語義 SemanticsSemantics #2 現狀和目標現狀和目標 Status and TargetsStatus and Targets #1 具體實現具體實現 ImplementationImplementation #3 總結總結 Users should use operators with specified time characteristics. *1.12中未完全在Batch模式中禁用基于Processing Time的接口（如Processing time win。

7、Flink SQL 在字節跳動的優化 & 實踐 李本超 字節跳動架構研發工程師 Apache Flink Committer Optimization and Practice of Flink SQL at ByteDance # #1 1 整體介紹 Overview # #2 2 實踐優化 Practice & Optimization # #3 3 流批一體 Unification of Streaming and Batch # #4 4 未來規劃 Future Work 整體介紹 #1 Overview Flink SQL 在字節跳動的發展歷程 2018.12 Blink 開源 2019.07 開始基于 1.9 分支構 建內部的 SQL 平臺 2019.10 基于 1.9 Blink Planner 的 SQL 平臺上線 2020.10 上線基于 1.11 Batch SQL 平臺 2020.11 上線基于。

8、數據接入數據接入 #2 數倉數倉與數據集成與數據集成 #1 數據入倉湖數據入倉湖 #3 數據打寬數據打寬 ( Joins )( Joins ) #4 總結總結 #5 #1 數倉與數據集成 數據倉庫 與 數據集成 數據倉庫是一個集成的（Integrated），面向主題的（Subject-Oriented），隨時 間變化的（Time-Variant），不可修改的（Nonvolatile）數據集合，用于支持管 理決策。 數據倉庫之父 Bill Inmon 于1990年提出 數據倉庫的首要目的：數據集成，將多個分散的、異構的數據源整合在一起，便于 后續分析。 數據集成 與 ETL 數據集成的主要步驟： 數據接入（Extract） 數。

9、Flink SQL的功能擴展與深度優化 杜立 / 騰訊高級工程師 The Extensions And Optimizations For Flink SQL In Tencent Practice 窗口操作功能擴展 02 背景及現狀 01 回撤流優化 03 未來規劃 04 Background And Current SituationExtensions About Flink WindowOptimizations For Retraction MechanismFuture Plans 背景及現狀01 Background And Current Situation 如何創建一個Flink任務？ 基于底層API開發，面向開發人員 Based On Low-level API, For Developers 功能靈活多變 Most Flexible 易于性能調優 Easy To Optimize Performance 。

10、PyFlink 核心技術剖析及應用 付典阿里巴巴阿里巴巴 ApacheApache FlinkFlink PMCPMC | | 阿里巴巴技術專家阿里巴巴技術專家 PyFlinkPyFlink 核心技術核心技術 #2 PyFlinkPyFlink 簡介簡介 #1 PyFlinkPyFlink 應用場景應用場景 #3 PyFlinkPyFlink 未來規劃未來規劃 #4 AboutAbout Me Me Flink CEP PyFlink Flink Committer Hadoop, HDFS, Hadoop Security， Sqoop Sqoop Committer Apache Commons Committer Flink SQL 2017.52017.102019.42020.12013.62016.12016.3 2020.8 Flink PMC PyFlinkPyFlink 簡介簡介#1 PyFlinkPyFlink 項目的目標。

11、美團Flink可用性建設實踐 孫夢瑤 美團 How we define and improve the availability of a Flink job in Meituan 可用性對實時計算 的意義 #1 Why Focus on Availability 實時作業可用性 定義與衡量 #2 Whats Aavailability and How to Measure 可用性優化 方案與實踐 #3 How to Improve the Availability 實時可用性 后續規劃 #4 Where to Go Next 可用性對實時計算的意義#1 Why we focus on the availability of a flink job 可用性 Availability 可用性 = 正常工作時長 服務時長 服務時長 故障時長 服務時長 = 在一個給定的時間區間內，。

12、Flink TiDB 聯合實時數倉的探索實踐 齊智 PingCAP 實時分析組研發工程師 Flink TiDB 實時數倉 #2 TiDB 架構簡介 #1 用戶案例 #3 未來方向 #4 Introduction to TiDB ArchitectureFlink TiDB Realtime WarehouseCase Studies Future Plan TiDB 架構簡介#1#1 Introduction to TiDB architecture TiDB 基礎架構 TiDB basic architecture 在整個 TiDB 集群中： 1. TiDB 組件負責接受查詢、進行無狀態匯總計算 2. TiKV 組件負責存儲、底層計算 3. PD 負責調度 不同的 TiKV 節點按 Raft 協議做數據復制， 以此實現高可用性。 In the TiDB cluster。

13、FI基于 pac+e Flink+Iceberg 的實BA倉建設實踐 Best practices to build data lake+ouse wit+ pac+e Flink and Iceberg in Tencent 蘇舒 FIA據平臺部高級工程師 Flin- + Iceberg F建實A數倉 Build real-time data ware+ouse based on Flin- and Iceberg ? 背B及I點 Bac-ground and painpoint ? 數據湖技D Apac+e Iceberg Datala-e tec+nology Apac+e Iceberg ? 未來規劃 Future plan? 背景及痛點 B ckground nd p inpoint #1 內部助力用戶 Internal booster user QQ 音樂 QQ music 騰訊廣告 Tencent ads 騰訊看點 Tencent andian 小程序 w。

14、Flink如何實時分析Iceberg數據湖的CDC數據 阿里巴巴 李/松/胡爭 23選擇 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3實時寫 4F取 # 未來規劃 #4 #見的CDC分析方案 #1 離線 HBase 集u分析 CDC 數a 、CDC記錄實時寫入HBase。高吞P + 低延遲。 2、小vSg詢延遲低。 3、集u可拓展 ci評C B點 、行存o引不適O分析A務。 2、HBase集ur護成e較高。 3、通過Re12o4Server定DHF23e， ServerlB化Rs存完H用不上。 4、數a格式q定HF23e，不cF拓展到 +arquet、Avro、Orcn。 t點 A3a/21 Kudu 維護 CDC 數據p 、支持L時更新數據，時效性佳。 2、CK加速，適合OLAP。

15、實時 OLAP，從 0 到 ? ? 機遇挑戰 #2 業務背A #1 架F演進 #3 架F優化 #4 C來展B # FutureO5ti2izati43ArchitectureCha11e3geBackgr4u3d 業務#景 #1 ? 業A介B - AB() Busin1ss ,ntro0uction - AB() )ata BlockchainA, (Artificial ,nt1llig1nc1 (lou0 (10-+ (B-(, E-+ 業務介紹 - 區塊鏈技術B案提供商 No 炒幣鏈上數據I計礦池 usiness Introduction - -ockchain Technica- So-ution Provider ? 機遇挑戰 #2 Challen#e 之前的架構 The Architecture Of The Before ABH節點 (Blockchain Node (arser MyS)LHive Spark(resto MyS)LTableau 遇到。

16、網易流批一體的實時數倉平臺實踐 ? ? ? 實時數倉A臺建設 ? ? ? 實時計算演進及業務背景 ? 基于 rctic流批一體實踐 ? ? ? 未來規劃 ? ? ? real-time compute developme-t a-d busi-ess backgrou-d real-time data warehouse platform buildi-g practice of arctic i-tegrated with streami-g a-d batch feature pla-i-g 實時計算演進及業務背景? ? ? -e l-time compute development nd business b ckg-ound lo-h實時計算演進 real-ime compu-e developmen- 實時數倉業務需求 ? ? ? ? ? ? ? ? 實時需求多樣性 ? ? ? ? ? ? ? 運維保障 ? ? ? 。

17、Flink St,te B,-kend Improvements ,nd Evolution in Re-ent Ye,r 李鈺 Ap,-he Flink PMC, 阿SFF實時P算C儲I擎B隊負R人 A云 Ap,-he Flink Committer, 阿SFF高級開發EM師 -aB4point -4l5 2ontain43 #2#1 -pilla1l4 stat4 1a2k4n3 Ro2ksDB M4morD Mana64m4nt #4 Pro6r4ss o5 Up6ra3in6 Ro2ksDB # Must know Do2um4nt Up3at4 #5 Futur4 Work #6 #rogress of S1illable State Bac-end #1 /rev9ew vers9on o6 sp9ll12le st1te!21c:end 9s 1v19l12le! Chec: 9t oCt on 6l9n:!p1c:1ges we2s9te 1nd g9thC2! https:#6l9n:! p1c:1ges.org#p1c:1ges#。

18、基于 Fl nk 的滴滴實時數倉實踐 ? ? 業務&踐 ? ? ? 整體概況 ? ? ? 平臺&引擎 ? ? ? 總結反思 ? ? ? 未來規劃 ? ? ? 整體概況? ? ? 建設歷程 ? ? ? ? ? ? ? ? ? 需求驅動 分散建設 統一規劃 規范建設 業務實踐 經驗沉淀實時數倉 平臺引擎 現狀 ? )標作業 ? 資源(量(Vcores) 業務實踐? 數倉分層 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 延遲消費 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 利用OLAP特性 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 數據校驗 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 體系架構 數據體系 建設規范 一站式開發。

19、ByteDance MQ-Hive Real-time Data Integration Based on Flink LiChang at ByteDance About Me LiChang Joined the ByteDance data management suite team after graduating in 2016, and built ByteDances one-stop data middle platform Focus on distributed computing and storage under large-scale data, and provide efficient and reliable global data integration solutions #2 Data Integration Challenges #1 MQ-Hive Real-time Data Integration Based on Flink #3 Future Outlook #4 Evolution of MQ-Hive Technology Data。

20、 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 騰訊看點基于Flink構建萬億數據量 下的實時數倉及實時查詢系統 架構設計 rchitecture desig- ? ? ? B景介紹 Backgrou-d ? ? ? 實時數倉 Real-time data warehouse ? ? ? 實時查詢系A Real-time query system ? ? ? 背景介紹 B ckground introduction ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 可解決的業務B點 Solved pain points 開發前調研 esearch before development 業務流程 Business flowchart 背景介紹 Background introduction ? ? ? ? ? ? ? ? ? ? ? ? ? ? 可解決的業務痛點 Solved pai1 po。

21、Single Task ecovery and egional Checkpoint 廖嘉逸 字節跳動基礎架構工程師 R3gional &h31kpoint T制 #2 單點恢MT制 #1 Intro2u1tion o4 Singl3 Task R31oB3rC M31hanism Intro2u1tion o4 R3gional &h31kpoint M31hanism 字節跳I在 &h31kpoint WFO優化 # R戰 S來規劃 #4 Oth3r OptimiDations on &h31kpoint at BCt3Dan13 &hall3ng3 Futur3 Work 單點恢復機制 # I1troductio1 of Si1gle Task #ecovery Mecha1ism G務ka Qe )oin g拓撲 er大（30M QPS）、并發數t 16k * 16k) Joh時s內小部M數據丟S T數據pLg持j性mdt Topology of mBltipl3 s。

22、Apache link在汽車之家的應用及實踐 Practice of Apache link in Autohome ? ? ? AutoStream平臺 ? ? ? 背景及現狀 ? ? ? 基于Flink的實時生態 ? ? ? 后續規劃 ? ? ? 背景及現狀 B ckground nd current situ tion ? ? ? 第一b段：Storm平I T2e f3r:t :ta1e: Storm p4atform 基于純編碼T式開H, 痛點： Deve4opment ,a:ed on pure cod3n1, Pa3n po3nt: 開HP本d H312 deve4opment co:t 痛點 痛點2 c以維護、管理 D3ff3cu4t to ma3nta3n and mana1e 痛點3 對SD不友好 Poor :upport to ware2ou:e 痛點4 a算低效 Ineff3c3ent h二pc：EDo0DB7am1.。

23、 ?-?-? ? ? ? 目錄 Cont4nts 黑I單R制 Bl12klist M4261nism#2 相關背O B12k5roun3 啟F速MC化 Bootstr1p Pro24ss OptimiB1tion#3 YM器C化 Y1rn S2643ul4r OptimiB1tion# 資源隔WC化 R4sour24 Isol1tion OptimiB1tion#5 未S展P Futur4 Work#6 相關背景 Backgroun# #1 業務規模 Bus1ness Scale 1 3+ strea51ng jo+s 8 3+ +atc0 jo+s 8er day 作業數量多 1 3+ yarn nodes QPS u8 to 5 M+ Parallel1s5 u8 to 3 3+ 機器規模大單作業并B大 問題和挑戰 Problem and Challenge ?d? ?d?F?a ?CO? ? ? ? ?O? ? ?e?O ?I? 黑名單機制 Bla#klist Me#hanis。

24、Flink Flink 實時計算在小紅書的應用實時計算在小紅書的應用 How we use Flink in XiaoHongShu 欒艷明 - 小紅書實時數據平臺工程師 小紅書：標記你的生活 1億+ 月活 80億+ 每日筆記展示 基礎設施基礎設施 # #2 2 推薦算法場景推薦算法場景 # #1 1 接下來的挑戰接下來的挑戰 # #3 3 Q 基礎設施基礎設施 上任務流程上任務流程(UDF + DDL + DML)(UDF + DDL + DML) 上任務流程上任務流程 SQL Editor UDF + DML Sql ValidatorRun SQL Flink Cluster on k8s Job Submit監控 報表 create table xxxx; insert into xxxx; 上任務流程上任務流程 SQL。