阿里云大數據計算產品與解決方案全新發布-大數據平臺技術論壇（9頁）.pdf

《阿里云大數據計算產品與解決方案全新發布-大數據平臺技術論壇（9頁）.pdf》由會員分享，可在線閱讀，更多相關《阿里云大數據計算產品與解決方案全新發布-大數據平臺技術論壇（9頁）.pdf（9頁珍藏版）》請在三個皮匠報告上搜索。

1、#高雪峰阿里云智能計算平臺產品與解決方案總經理阿里云大數據計算產品與解決方案全新發布阿里云大數據計算產品能力持續演進全頻譜智能數倉01湖倉一體2.002數據安全與隱私計算03新一代云原生離線實時一體化數倉升級發布 MaxCompute和Hologres10X性能高速原生互訪，深度集成 實時計算Flink版加工Hologres Binlog，ODS-DWD-DWS-ADS 全鏈路事件驅動數倉開發 原生支持OSS/DLF數據湖，高速數據入湖、入倉 支持標準SQL協議，對接19款主流BI，第三方開發工具DataHub數據總線運營看版數據大屏MaxCompute離線數倉服務分析Hologres實時數倉

2、實時計算Flink版OSS/DLF 數據湖在線應用DataWorksHologres：服務（Serving）能力大升級混合負載、統一服務計算資源基于資源組隔離，實現多租戶多負載細粒度隔離，支持導入、加工、建模、服務多種負載隔離，支持OLAP、點查多場景統一數據服務出口。企業級在線服務不停機熱升級；硬件故障10 x加速恢復；豐富的在線慢查詢診斷能力。索引創新，性能突破存儲升級，行列共存，一張表同時支持高性能OLAP(列存)和高QPS點查（行存）兩種能力；支持JSON索引，原生支持、半結構化數據。原生Binlog，支持端到端事件驅動開發高可用架構通過共享存儲的多實例部署，滿足高可用需求，支持讀寫分

3、離、實時熱備等多種場景；支持單實例進程級多副本服務，支持更高吞吐云原生數據湖構建DLF升級發布元數據共享化服務化元數據，滿足單表百萬分區元數據管理。支持超過10萬DB，1億Table，10億Partition統一的數據權限對接多引擎，支持庫/表/列等細粒度數據訪問控制數據入湖多數據源一鍵入湖，支持離線/實時入湖方式，用戶自定義數據預處理過程數據探索提供便捷的數據探查能力，快速對湖內數據進行探索和分析E-MapReduceDatabricksMaxComputeHologresPAI數據湖計算跨平臺高速網絡元數據管理元數據服務元數據發現元數據遷移數據入湖多種數據源MySQL、Kafka、SLS、

4、OTS 等.離線/實時入湖支持全量、增量的入湖場景數據湖格式支持Delta Lake/Hudi/Iceberg格式OSS數據湖存儲訪問訪問權限訪問日志審計數據探索數據探查權限控制數據湖構建（Data Lake Formation）異構數據平臺融合:湖倉一體2.0 升級發布統一元數據視圖跨平臺高速網絡湖倉統一開發平臺湖倉統一數據管理與治理湖倉集成共享數據DataWorks統一任務調度數據倉庫數據湖智能Cache+查詢加速內置存儲HologresMaxComputeE-MapReduceData Lake FormationOSSHDFS湖倉智能數據分層 更快的業務洞察-從提交工單開通湖倉一體升級

5、為 DataWorks 自助開通，實現分鐘級打通數倉與數據湖 更廣泛的生態對接-從支持 HDFS 數據湖擴展到支持阿里云 DLF+OSS數據湖方案，全新支持Delta Lake、Hudi 等主流數據湖格式-與 Hologres 存儲打通與高速互訪-支持更多外部聯邦數據源(RDS、HBase Upcoming！)更高的性能-全新支持智能 Cache 配合 MaxCompute 查詢加速(MCQA)功能，使數據湖查詢性能提升 10+倍以上 更好的綜合數據開發與治理-整合并簡化湖倉一體的開發和管理流程-支持 MaxCompute 與 EMR/CDH 任務混合調度-支持跨湖倉的元數據采集，構建湖倉統一

6、元數據視圖無縫銜接數據開發流程隱私計算任務與日常數據生產調度任務無縫銜接輕松支持日常聯合營銷、聯合訓練等綜合場景隱私計算平臺不再是孤立系統大規模分布式隱私安全計算能力云原生超大規模分布式，支持彈性擴展，實現高性能隱私計算能力內置MPC/FL/TEE技術基礎算力在10-30s內完成百萬條隱私數據求交（帶寬達150Mbps）自研飛天分布式架構賦能隱私計算全棧數據安全體系從底層（數據中心/網絡/供電）至交互界面（權限管理/隱私保護）超20項安全能力滿足監管合規基于數據倉庫安全能力構建隱私計算數據分享可追溯、數據可用不可拿預置豐富的安全計算算法預置多種安全計算方式：隱私求交PSI、PrivateID、

7、匿蹤查詢、聯邦學習等提供安全算法定制擴展框架覆蓋多種隱私計算場景數據安全與隱私計算幫助企業/組織間構建安全、合規、高效的數據分享渠道，實現數據價值釋放。公共云&專有云Pubic Cloud x Private Cloud打破數據規模與成本線性增長魔咒：性能提升超70%，成本下45%05000100001500020000250003000035000400004500050000MaxCompute TPCx-BigBench 100TB7,830.00 QPM18,176.71 QPM25,641.21 QPM26,501.53 QPM46,059.27 QPM201720182019202

8、020210501001502002503003504000.002,000.004,000.006,000.008,000.0010,000.0012,000.0014,000.0016,000.0018,000.002019-MaxC 2020-MaxC 2021-MaxC性能性價比3,383.95 QPM3,767.91 QPM6,427.86 QPM9,296.45 QPM16,649.75 QPM307.86 USD/QPM380.55 USD/QPM169.76 USD/QPM115.71 USD/QPM64.4 USD/QPMTPCx-BigBench 30TB2017年 MaxCompute全球首次100TB規模TPCx-BigBench測試通過2021年，與Intel合作，100TB測試性能較2020年提升73%，連續5年保持全球最高分2021年，30TB規模下性能較2020年繼續提升79%，同時Price/QPM降低為2020年的55.7%2018-vendor12019-vendor2THANKS