1、DataFunSummit2023阿里云EMR STARROCKS 產品化實踐演講人:李咸海-阿里云-研發工程師 EMR StarRocks 簡介 可觀測性 增量計算 總結EMR整體架構硬件資源ECS(Intel,AMD,倚天)/神龍/ECI調度資源EMR on ECSEMR on ACKEMR Serverless存儲資源OSS-HDFS(Powered by JindoData)分析場景新版。
2、聚水潭云原生OLAP架構最佳實踐演講人:溪竹、星毛目錄業務介紹數倉架構OLAP最佳實踐未來展望Contents01 業務介紹業務介紹 聚水潭 聚水潭成立于2014年,以電商SaaS ERP切入市場,憑借出色的產品和服務,快速獲得市場領先地位。發展至今,聚水潭已對接300+線上平臺渠道,累計服務商家超過100W+。2020雙11季全網處理訂單總量達8.52億,全國每發出5-6個包裹中就有1個來自聚。
3、諾亞財富金融數字化轉型中諾亞財富金融數字化轉型中OLAPOLAP的探索和實踐的探索和實踐演講人:李欣 諾亞財富 數倉總監目錄目錄諾亞財富挑戰和選型業務案例最佳實踐C Contentsontents01 01 諾亞財富諾亞財富諾亞財富(紐交所代碼:NOAH,港交所代碼:6686)諾亞控股有限公司以“諾亞財富”為品牌,源起于中國,是首家在港美兩地上市的中國獨立財富管理機構,開創了財富管理和資產管理的。
4、DataFunSummit#2023Doris Bitmap精確去重優化實踐魏翔-美團-OLAP引擎開發工程師01精確去重簡介02Bitmap 聚合性能優化03結合Doris向量化引擎優化04優化效果與總結目錄 CONTENTDataFunSummit#202301精確去重簡介DataFunSummit#202301精確去重簡介去重計算場景與業界解決方案MPP架構兩階段聚合Roaring Bit。
5、實時物化視圖:加速大規模時間序列數據查詢的利器炎凰數據 彭江濤2023.06.101目錄為什么01是什么02怎么做0304展望和總結2引言https:/ 預先計算出常用的耗時或復雜查詢的結果集v 以便查詢時能夠快速訪問和使用這些預先計算的結果OrderTimeItemIDOrderIDpricenumberT1ID1OID15002T2ID2OID23004T3ID3OID34007T4ID3O。
6、DataFunSummitDataFunSummit#20232023A Apache Doris pache Doris 優化器的優化器的未來未來周明宏SelectDB 高級研發工程師重塑重塑為什么我們要重做 Doris 優化器性能性能瓶頸瓶頸突破性能瓶頸的兩個小故事優化的優化的本質本質以統一的視角重新理解優化的規則挑戰挑戰理論上很完美,但是。目錄目錄 CONTENTCONTENTDataFu。
7、DataFunSummit2023OLAP火山EMR的最佳實踐演講人:琚克儉-火山引擎-研發工程師EMREMR產品概述產品概述 EMR OLAP云原生 EMR OLAP客戶案例分析 EMR OLAP未來規劃DataFunSummit2023!#$%&()*+,-!#$%&%()使用EMR產品,延續開源架構技術棧,并協同開源大數據生態與火山生態%*+,-./0,12.1345678。
8、DataFunSummitDataFunSummit#20232023MatrixOneMatrixOne:HTAPHTAP數據庫數據庫中的中的OLAPOLAP設計設計龍冉 矩陣起源 研發工程師MatrixOne 簡介矩陣起源是一家數據庫創業公司,致力于打造開源超融合異構數據庫MatrixOne,MatrixOne是一款面向未來的超融合異構云原生數據庫管理系統。通過全新設計和研發的統一分布式數據。
9、張張 鑫鑫 北京奧星貝斯科技有限公司北京奧星貝斯科技有限公司 OceanBase 開源架構師從從TPTP到到APAPOceanBaseOceanBase OLAPOLAP 核心技術解析核心技術解析DataFunSummitDataFunSummit#20232023技術交流:釘釘 332540540101 OceanBase 簡介0202 SQL 并行執行0404 行列混合存儲引擎0505 資源。
10、DataFunSummit2023Impala在數據湖中的性能優化黃權隆-Cloudera-Staff Software EngineerImpala與數據湖Iceberg相關優化Codegen優化未來展望DataFunSummit2023Impala與數據湖數據湖概覽 SQL查詢引擎,面向交互式查詢場景 數據/元數據都在外部存儲上,無狀態 MPP架構,內存計算,C+內核 Open Storag。
11、ClickHouse高可用實踐演講人:賀鈺城 聯想 開源優化架構師目錄生產制造企業的數據現狀clickhouse集群架構clickhouse數據集成問題clickhouse查詢并發性能的提升Contents01 生產制造企業的數據現狀生產制造企業數據庫使用現狀1、業務系統分散采用了不同的關系型數據庫2、現有大數據平臺處理能力T+13、數據量不斷積累,關系型數據庫無法滿足需求謎一樣的數據流向迷一樣。
12、?3?2?0?,?,?SQL?MaxCompute?/?/?/?MaxCompute?582200122151619Reduce InputReduce Input After Dynamic Parallelism191010?。
13、DataFunSummitDataFunSummit#20232023貨拉拉大數據貨拉拉大數據DorisDoris穩定性穩定性保障實踐保障實踐楊秋吉-貨拉拉-OLAP負責人梁健聰-貨拉拉-大數據工程師背景與挑戰穩定性能力保障穩定性流程規范總結與規劃目錄目錄 CONTENTCONTENTDataFunSummitDataFunSummit#202320230101背景與挑戰貨拉拉介紹貨拉拉介紹36。
14、DataFunSummit2023演講人:劉建波-騰梭科技-研發總監 數據需求的產生 OLAP選型困擾 Apache Doris實踐 業務場景落地產品演進1、互聯網網貸業務2、助貸+聯合貸導流3、純自營業務II)、技術架構單體應用-分布式應用-微服務 I)、業務架構網貸-聯合貸-新零售 OLAP選型困擾1、生態復雜且門檻高、技術勸退2、投入產出比極低、成本勸退1、訴求:需要的不是大數據平臺,而是。
15、DataFunSummit#2023京東One-Service數據服務體系建設周慧通-京東集團-技術研發與數據中心01 昨天02 今天03 明天04 致謝目錄CONTENTDataFunSummit#202301昨天數據服務發展需求驅動煙囪式滿足業務場景解決業務痛點第一階段第二階段第三階段主題服務以主題為系統邊界各司其職主題化定義驅動生產數據資產一體化平臺One-Service服務一體化主題化服。
16、37手游量子智能廣告系統基于云原生Olap的應用實踐演講人:徐玉立 37互娛 數據架構師目錄業務背景量子系統建設實踐37手游OLAP演進未來展望Contents01 37手游的業務背景公司介紹 全球TOP20上市游戲企業,2022年營業收入164.06億元,境內業務收入104.12億元,境外業務收入59.94億元(同比增長25.47%)。公司介紹 迄今為止,37手游累計運營逾2000款手機游戲,。
17、混合存儲架構中的數據編排Saiguang|Alluxio內容列表數據訪問的主要命題1243Alluxio最佳適用場景Alluxio的緩存加速、命名空間、接口轉換基于Alluxio的數據管理5基于Alluxio的數據聯邦數據訪問的主要命題data localityHDFS RBFhdfs-fusedistcp單一分布式系統多系統,多中心內存,L1/L2緩存文件系統命名空間Virtual FileS。
18、DataFunSummit#2023StarRocks 物化視圖:助數據湖分析王歡明-StarRocks-程師01StarRocks 數據湖分析02StarRocks 物化視圖03MV for LakeHouse04總結展望錄 CONTENTDataFunSummit#202301StarRocks 數據湖分析StarRocks 3.0 OverviewRealtime IngestionBat。
19、DataFunSummit#2023ByConity對ClickHouse的存算分離實踐-字節跳動-資深研發程師01ByConity研發背景02ByConity介紹03ByConity存算分離設計04ByConity存算分離優化錄 CONTENTDataFunSummit#202301ByConity研發背景ClickHouse架構Shared-nothing+MPP架構 Shard&R。
20、DataFunSummit#2023海量數據下的OLAP引擎實戰余志鵬-螞蟻集團-級技術專家我介紹余志鵬(花名百惱),螞蟻年兵2013 2018年,阿速賣通(Aliexpress),主要負責營銷平臺、卡券平臺、積分平臺的建設2018 Now,螞蟻數據DeepInsight性能負責01為什么需要通過ADM來解決OLAP場景下表性能問題02通過Cube解決OLAP場景下報表性能問題03通過采樣解決O。
21、DataFunSummit2023天穹OLAP:實時湖倉融合架構實踐演講人:程廣旭-騰訊-高級工程師為什么需要湖倉融合湖倉融合新架構未來展望及規劃DataFunSummit2023為什么需要湖倉融合實時數倉 VS 數據湖對比項對比項實時數倉實時數倉數據湖數據湖架構存算一體/存算分離存算分離計算引擎自帶計算引擎,一般為MPP架構依賴第三方計算引擎,如:spark、presto等存儲引擎一般集成寫入。
22、DataFunSummitDataFunSummit#20232023小米集團基于小米集團基于Apache Apache DorisDoris的的OLAPOLAP實踐實踐魏祚小米集團-數據庫內核研發工程師Apache Doris Committer&PMC系統選型及應用現狀系統選型及應用現狀小米數據生態中的小米數據生態中的DorisDoris小米用戶行為分析實踐小米用戶行為分析實踐未來規。
23、RaftKeeper:構建跨機房高可用OLAP集群演講人:京東 吳建超 架構師目錄項目簡介功能和架構性能優化跨機房架構Contents01 項目簡介項目背景lZookeeper引起的問題lRaftKeeper項目Zookeeper在OLAP中的角色:1.Meat data store:Table definition、Partition Info etc.2.Operation Log:Inse。
24、DataFunSummitDataFunSummit#20232023A Apache Doris pache Doris 實時查詢實時查詢分析分析李航宇SelectDB 數據庫內核研發、Apache Doris Commiter架構演變Apache Doris Apache Doris 介紹介紹包括 Apache Doris 整體架構及存儲引擎介紹Apache Doris 2.0 Apache。