阿里云數加大事記（31頁）.pdf

1、大數據操作系統，七年磨一劍陳鵬宇（不老）阿里云 高級產品專家阿里云數加大事記數加進化史：內部業務錘煉數加對外開放：普惠大數據與合作伙伴共贏目 錄content2009年，馬云說阿里巴巴是一家數據公司Facts：百萬級客戶日均筆數過萬極低壞賬率七年前伴隨數加一起成長的業務：阿里金融（螞蟻小貸）數據加工數據倉庫數據加工流水線EDWADMCDM模型運算決策引擎算法部署模型決策訪問接口模型結果在線系統金融業務貸款保險理財數據化運營的信貸流水線阿里金融帶來的啟示：從 Data1.0（看數據）進化到 Data2.0（用數據）7一切業務數據化，一切數據業務化云計算大數據金融營銷信用安全風控客服物流搜索IOE

2、+Greenplum+Hadoop+存儲昂貴，可擴展性差。再過幾年，IOE的成本就可以使得公司破產存數據孤島各業務部門的數據散落在多個集群，彼此之間數據不通，數據共享太難太難！通數據重復建設由于數據不集中，導致數據被拖來拖去、重復存儲和計算。光淘寶商品類目表就有70多張！用阿里金融的生存狀態：刀口舔血如何孵化更多阿里金融？阿里巴巴大數據背后的挑戰EB級的數據算不算得動？百萬張表如何管理？數據質量之殤：一分錢一百萬大集中的數據如何確保安全？Hadoop,GP,Oracle,MaxCompute(原ODPS)登月：史無前例的數據和應用大搬家所有BU參與，歷時一年半，耗費數萬人天。123統一平臺，數

3、據大集中統一的存儲，統一的計算引擎，統一的數據開發平臺資源共享，彈性分配基于ODPS多集群技術，由數以萬計的服務器提供超級計算能力，按需彈性分配給各數據開發團隊數據隔離，分權管理基于ODPS多租戶機制，各部門可獨立管理自身的數據，獨立做數據授權統一大數據技術平臺關系網絡關系網絡部門部門1部門部門3部門部門5部門部門2部門部門4安全的數據共享機制（基于MaxCompute多租戶數據授權模型）MaxCompute集群 多租戶數據不搬家，可用不可見公共技術平臺One Platform公共數據服務One Data中臺后臺前臺業務DWODPS，ADS統一的大數據技術平臺數據共享算法共享知識共享數據安全數

4、據質量數據標準運營管理生態建設統一的數據倉庫公共數據產品和數據服務金融營銷信用安全風控客服物流搜索成本管理阿里大數據體系架構公共技術平臺One Platform公共數據服務One Data中臺后臺前臺業務DWODPS，ADS統一的大數據技術平臺數據共享算法共享知識共享數據安全數據質量數據標準運營管理生態建設統一的數據倉庫公共數據產品和數據服務金融營銷信用安全風控客服物流搜索成本管理運營數據存通用阿里大數據體系架構集群1集群2集群n飛天：一臺計算機ODPS：一個計算引擎One Data：一個數據倉庫One Service：公共數據服務人群畫像特征工程關系庫行為庫全局元數據管理，全鏈路血緣跟蹤賬號

5、，權限，計量完整的數據中臺數加對阿里集團業務的支撐阿里集團99.9%的數據和計算跑在阿里云數加平臺上面 單集群上萬臺 支持多集群，全國十多個數據中心 上萬 名開發者 幾千 個項目 EB 級數據規模 百PB 日計算量應用場景：個性化推薦|風險控制|全集團統一的數據倉庫BI機器學習數據可視化存：數據大集中，MaxCompute統一存儲和計算通：統一規范，打通各個業務單位用：推動數據開放和交換，促發展，養生態阿里云大數據平臺 數加數字娛樂其它領域淘寶天貓AAliexpress電子商務支付寶小貸保險基金螞蟻金服聚劃算高德友盟菜鳥物流物流醫療UC數加對阿里集團業務的支撐數據上云 數據集中存儲 大規模計算

6、能力 統一元數據數據資產化 數據整合 數據地圖 數據管理 資產計量業務創新 數據化運營 精準營銷 互聯網金融 智能物流數據生態 數據開放 業務閉環 生態伙伴 運營數據1 12 23 34 4存存通通用用 Data 1.0：DW和BI為主，“看”Data 2.0：數據化運營，“用”Data 3.0：運營數據，“生態”小結：阿里大數據實踐之路數加進化史：內部業務錘煉數加對外開放：普惠大數據與合作伙伴共贏目 錄content阿里云基礎設施然后呢？Data產生大量數據業務系統數加平臺的定位和使命阿里云基礎設施業務系統|數據應用數加平臺計算引擎分析工具數據展現批量/實時算法能力數據采集/同步數據服務在線

7、數加平臺的定位和使命數據交換|數據管理|數據安全采集|存儲計算|加工數據分析深度挖掘數據服務應用加速器數據展現公安交通互聯網視頻能源物聯網合作伙伴合作伙伴 平臺開放性，兼容開源系統 完善的配套開發工具 一站式體驗面向開發者的大數據操作系統數加的服務模式專有云數據回傳租戶2部門1租戶3租戶1部門2租戶4專有云數據上傳專有云公共云平臺 多租戶隔離 按需租用的計算能力和服務 全球數據互通和在線協作能力 相同的云架構 部署在客戶專有環境數加的內外部客戶對內支撐阿里業務對外服務企業/政府客戶數加：大數據平臺+人工智能平臺數加進化史：內部業務錘煉數加對外開放：普惠大數據與合作伙伴共贏目 錄content人

8、工智能一站式數據開發、分析、應用平臺BI數倉可視化數加平臺數加平臺數據應用數據應用-行業場景化應用-您最擅長您最擅長交給我們交給我們數加+合作伙伴大數據操作系統大數據中間件計算引擎計算引擎Core您可以省心：再多的數據，也存得下、算得動可租用的存儲和計算資源圖形化的編程和分析界面程序運行托管、運維監控您可以省力：10000行的代碼，可能只需寫100行Focus 在核心業務邏輯實現搭積木式快速拼裝應用通用算法庫語音識別API圖像視頻API文本分析API推薦引擎分析引擎關系網絡規則引擎開發工具開發工具GUI數加如何賦能合作伙伴？900人天？30人天！開發一個個性化推薦需要多長時間？開發一個活動直播大屏需要多長時間？一個月？3天/1小時數據市場天池大賽