DataFunSummit 2024數據湖架構峰會嘉賓演講PPT合集（共23套打包）

1、DataFunSummitDataFunSummit#20242024螞蟻基于螞蟻基于PaimonPaimon數據湖實踐數據湖實踐閔文俊-螞蟻集團-技術專家自我介紹畢業于南京理工大學,畢業后一直從事大數據方向的工作.目前在螞蟻負責Flink實時計算和數據湖相關的開發工作.應用場景應用場景未來規劃未來規劃目錄目錄 CONTENTCONTENT功能改進功能改進PaimonPaimon介紹介紹Data。

2、DataFunSummitDataFunSummit#20242024京東統一存儲實踐京東統一存儲實踐王騰蛟-京東零售-數據開發工程師崗0101 概況簡介概況簡介0202 跨域存儲跨域存儲目錄目錄 CONTENTCONTENT0303 分層存儲分層存儲1 概況-京東數據平臺整體架構可視化分析(BIEngine)數據服務(Easy Data)統一元數據服務實時開發平臺（Easy Real Time。

3、DataFunSummitDataFunSummit#20242024結合數據湖的結合數據湖的實時數倉架構演進實時數倉架構演進陳偉強 京東 京東科技實時數倉負責人數據湖之前的實時數倉方案數據湖之前的實時數倉方案實時數倉的定義以及常見的實時數倉設計 老版本架構在應用中的問題老版本架構在應用中的問題老版本方案的設計背景及問題 結合數據湖的實時數倉方案結合數據湖的實時數倉方案新方案的演進過程及其收益新。

4、DataFunSummitDataFunSummit#20242024京東零售數據湖應用與實踐京東零售數據湖應用與實踐陳洪健-京東-大數據架構師背景和痛點背景和痛點迭代和優化迭代和優化效果和收益效果和收益未來展望和規劃未來展望和規劃目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101背景和痛點背景和痛點數據實時性和完整性矛盾在線分析。

5、DataFunSummitDataFunSummit#20242024愛奇藝廣告數據湖實踐愛奇藝廣告數據湖實踐董麗婷-愛奇藝-高級研發工程師愛奇藝廣告愛奇藝廣告廣告數據架構如何廣告數據架構如何數據湖如何對癥下藥數據湖如何對癥下藥踩坑踩坑目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101愛奇藝廣告愛奇藝廣告愛奇藝廣告愛奇藝合約&am。

6、DataFunSummitDataFunSummit#20242024實時湖倉在視頻號場景的應用實踐實時湖倉在視頻號場景的應用實踐演講人：梁溪微信視頻號高級數據工程師 梁溪實時湖倉Oteam成員目前負責視頻號湖倉架構設計和開發迭代應用實踐應用實踐未來展望未來展望目錄目錄 CONTENTCONTENT背景介紹背景介紹項目總結項目總結DataFunSummitDataFunSummit#202420。

7、DataFunSummitDataFunSummit#20242024實時入湖實時入湖HudiHudi應用解決方案應用解決方案楊宣-華為-大數據開發工程師數據集成整體方案數據集成整體方案數據入湖通用方案數據入湖通用方案數據入湖進階方案數據入湖進階方案目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101數據集成整體方案數據集成整體方案。

8、DataFunSummitDataFunSummit#20242024數據湖數據湖在快手的應用實踐在快手的應用實踐靳國衛 快手姓名:靳國衛目前負責生產社交數據團隊10年+數據相關工作經驗，主導快手、滴滴、美團核心業務數據體系建設及公司級BI產品的規劃及落地擅長OLAP技術和數據湖技術并多場景實踐落地數據湖在快手的應用歷程數據湖在快手的應用歷程問題與挑戰、技術選型、應用過程、推廣策略、生態建設數據。

9、DataFunSummitDataFunSummit#20242024元數據驅動的數據治理元數據驅動的數據治理李然輝-京東科技-數據資產管理負責人我們面臨的時代背景我們面臨的時代背景元數據驅動的數據治理元數據驅動的數據治理未來展望未來展望目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101我們面臨的時代背景我們面臨的時代背景數字經濟。

10、DataFunDataFun#20242024大模型時代下,基于湖倉一體的數據智能新范式陳蘢久-阿里云-高級產品專家目錄1.大模型爆發帶來的數據行業變革3.阿里云AnalyticDB：在AIGC時代下，驅動企業架構升級2.對于企業數據平臺的能力變革要求大模型時代來臨2023.3.142023.3.162023.3.172022.112023.4.112023.2.25ChatGPT 3.5發布大。

11、DataFunSummitDataFunSummit#20242024PaimonPaimon架構下的數據湖探索架構下的數據湖探索陳卓宇-Paimon社區挑戰挑戰PaimonPaimon存儲實現存儲實現CDC IngestionCDC Ingestion數倉業務對存儲的期望數倉業務對存儲的期望目錄目錄 CONTENTCONTENTLookUp JoinLookUp JoinDataFunSumm。

12、DataFunSummit#2024面向Data+AI時代的數據湖優化與實踐演講人：李志方 騰訊 高級工程師01AI時代下數據湖面臨的挑戰02基于PyIceberg的AI訓練/推理鏈路03Apache Iceberg 簡介04Iceberg向量表與向量查詢目錄 CONTENTDataFunSummit#202401AI時代下數據湖面臨的挑戰數據湖的發展趨勢 第一代數據湖（03）只支持分區粒度重寫。

13、易嚴選湖倉體建設實踐祝佳俊易嚴選01現狀&問題02實踐&效果03未來規劃錄 CONTENT01現狀與問題1 數據架構現狀2022:Aapche Iceberg在易嚴選批流體的實踐存在的問題T+1d ODS原始數據準實時湖時調度準實時 ODST+1d DWD每天調度T+h DWD每天調度311T+1DWD產出鏈路3不同時效不同任務需要等待T+1 ODS數據制作任務完成后才能開始運任。

14、陳梓麟 RisngWave Labs基于RisingWave構建流式湖倉我介紹 陳梓麟（Dylan）RisingWave流數據庫內核研發（2022-now）阿云分布式數據庫PolarDB-X內核研發（2018-2022）主要作向：SQL查詢優化，分布式計算 RisingWave介紹和使場景 使RisingWave的基礎概念 RisingWave與流式湖倉 核技術內幕 未來與展望 Agenda什么。

15、實時數據湖 Paimon 0.7 的研發進展李勁松(花名之信)阿里云Apache Paimon is a lake format that enables building a Realtime Lakehouse Architecture with Flink and Spark for both streaming and batch operations.Paimon innovative。

16、DataFunSummitDataFunSummit#20242024SmartNews SmartNews 基于基于FlinkFlink的的IcebergIceberg實時數據湖實踐實時數據湖實踐戢清雨-SmartNews-數據平臺架構師SmartNewsSmartNews數據湖介紹數據湖介紹基于基于Iceberg v1Iceberg v1格式的數據湖實踐格式的數據湖實踐基于基于FlinkFl。

17、DataFunSummit#2024Delta Lake 3.1 最新最新特征特征劉兆磊(Fred Liu)-Databricks-軟件工程師目錄目錄 CONTENT 2023 回顧 Delta Lake 3.1 最新特性 Update and Merge with Deletion Vector 刪除向量 Metadata only optimize on count/min/max 元數據查。

18、Alluxio 3.0分布式數據湖/AI緩存架構的探索和實踐Alluxio Staff Engineer,Alluxio PMC Member劉嘉承數據湖/AI世界現狀：紛繁復雜的數據平臺帶來的新挑戰Alluxio開源項目、公司歷史及開源社區過去十年的演進Alluxio架構、主要功能及核心技術革新Alluxio 2.x-3.x 的演進過程及效果內容概覽現狀:紛繁復雜的數據平臺ALLUXIO 4數。

19、DataFunDataFun#20242024OPPOOPPO數據湖加速大數據湖加速大模型訓練模型訓練分享人：陳哲嘉 OPPO-高級大數據平臺工程師OPPOOPPO數據湖平臺介紹數據湖平臺介紹Glacier 自研湖倉引擎流批一體大模型任務加速大模型任務加速大模型任務接入數據平臺Rust加速大模型任務技術規劃技術規劃目錄目錄 CONTENTCONTENTDataFunDataFun#2024202。

20、DataFunSummitDataFunSummit#20242024京東零售基于主動元數據治理實踐與探索京東零售基于主動元數據治理實踐與探索呂代軍-京東-數據架構師數據管理挑戰數據管理挑戰數據治理體系建設數據治理體系建設主動元數據治理實踐主動元數據治理實踐總結與未來展望總結與未來展望目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#2024202401。

21、DataFunSummitDataFunSummit#20242024嗶哩嗶哩基于嗶哩嗶哩基于IcebergIceberg的智能數的智能數據組織優化實踐據組織優化實踐楊金德-嗶哩嗶哩-高級開發工程師智能優化背景智能優化背景智能優化實踐方案智能優化實踐方案智能優化成果及規劃智能優化成果及規劃目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#20242024。

22、vivovivo湖倉一體構建歷程湖倉一體構建歷程背景傳統數倉的痛點組件選型及業務接入組件能力增強未來展望背景在增效降本的大背景下，vivo大數據基礎團隊引入數據湖技術為公司業務部門湖倉加速的場景進行賦能。主要應用在流批同源、實時鏈路優化及寬表拼接等業務場景。傳統數倉的技術痛點鏈路冗余基于Lambda架構的數倉存在計算、存儲冗余，輸出口徑不一致等缺陷傳統數倉的痛點 不支持流批同源升級后的Kappa。

23、許世彥Apache Hudi PMC，Onehouse 開源項目負責人Apache Hudi 1.0 新功能預覽提綱Apache Hudi 簡介Hudi 1.0 的重新思考Hudi 1.0-beta 的重點新功能 Apache Hudi 簡介Apache Hudi 簡介開開發發格式格式CDC 增量支持增量支持事事務務+并并發發內置性能內置性能調優調優+更多更多自自動動數據目數據目錄錄同步同步MO。