華為：華為云大數據中臺架構分享(27頁).pdf

《華為：華為云大數據中臺架構分享(27頁).pdf》由會員分享，可在線閱讀，更多相關《華為：華為云大數據中臺架構分享(27頁).pdf（27頁珍藏版）》請在三個皮匠報告上搜索。

1、大數據中臺架構分享 華為云 龍江 數據中臺背景洞察 華為數據中臺頂層設計 華為云數據中臺解決方案DAYU 目錄 業務場景：智慧工廠全球運營指揮中心 智慧工廠 智能供應鏈管理 第三方風控 | 全球供應量可視化 | 質量控制前置 | 智能供應鏈（訂單、 倉儲、物流） 質量管控 質量大數據（事后） | 質量預測模型（事前） C2M 動態供應鏈 | 柔性生產線 智能物流 智能倉儲 | 智能裝箱 | 物流可 視化追蹤 | 智能清關 智能制造 資產管理 | AGV廠區物流 | 產線預防性維護 | 智能安全監控 | 工廠能耗管理 | 設備虛擬化 | 設計生產一體化 生產運營可視化 業務模塊 數字化應用 數字

2、化運營數字化指標運營系統 質量管控 工序數據質量實時監控預警 E2E融合質量數據預警系統 數據可靠性分析 物聯網數據 應用 數據資產管理 物流數據采集系統 IT產線數字化 生產安全數字化 制造能耗數據管理 云制造數據 分析 測試，儀表，診斷，維修數據/智能診斷， 裝備維護，大數據云調度 制造數據 可視化 訂單全流程可視 制造測試網絡監控可視 質量管控數據可視 網絡資源 規劃 實時的路徑 規劃 作業 能力規劃 工廠 DC 卡車運輸 -防盜感應器 客戶 三級運輸 國際運輸 運輸 連接承運商和貨主 預測性運輸 按需送達 大數據分析 客戶需求、風險、外部運力等信息及時感知，自動給出預 測性方案 智能化

3、 基于Geocode的 智能地址獲取和校驗 感知式存儲 AS/RS WMS&TMS 揀料叉車 with RFID Sensors 智能眼鏡驗收撿料 RFID Scanner揀 料 國家倉 基于先進技術與工具，物流信息自動感知與采集，實物 流全程可視 數字化 承運商執行過程與結果 可視，績效自動生成 智能化 基于云端的與內外部高 度集成的物流IT系統 實時的物流信息驅動精 準的資源計劃管理 智能化 車輛追蹤 與LSP管理 二次運輸 自動線體 帶感應器的 裝車垛口 卸貨 by Trailer Skate Dock 數字化的運輸跟蹤 連接連接 連接 連接 連 接 連 接 業務場景：智慧物流與智能倉儲

4、數字化運營 企業越來越重視數字化運營，核心重點是數據管理、可視以及數據治理 超過60%計劃或已經建立數據管理委員會 基礎大數據產品逐步成 熟，數據安全、數據開 放以及主數據管理需求 旺盛。 大數據能力框架，數字資產管理作用將被關注 From 信通院、艾瑞咨詢：預計到2020年，大數據軟件市場規模將達 到268.2億元，年復合增長率38.6%；大數據服務市場規模將達到 165.9億元，年復合增長率41.4%。初步估算數據管理市場約43億，核 心發展方向：數據資產管理、 數據可視化以及機器學習 From 中國信通院中國大數據發展調查報告2018 n 井噴增長的數字化業務需求 n 數據隱私和安全將對

5、業務發展帶來 影響 n 數據貫穿企業內外分布在多個系統 n 人工智能將切實重塑商業模式 n 規?；?、復雜的業務生態 新趨勢及挑戰 Gartner數據分析和數據管理演進模型 本地 領域級 企業級 大數據 邏輯 數據倉庫 報告 商務分析，展板 數據科學，人工智能/機器學 習 自然語言處理 信息生態和價值化 使能 商業 成功 Wave 1 Wave 2 Wave 3 Wave 4 Wave 5 卓 越 數 據 管 理 增強分析和優化組合 （無處不在；自動化；算法集 市) 卓 越 數 據 分 析 基礎分析 （描述性、診斷性分析) 高級分析 （預測性、規范性分 析) *來源Gartner CDO Cir

6、cle Workshop Leading Innovation Practices n內部數據 n外部開放數據 n社交數據 nIoT 數據 n個人數據 n 業界洞察Gartner：日益增長的數字化需求、復雜的業務生態系統、數據的分布式 存儲趨勢，驅動企業需要構建一個跨越孤立數據、簡單、一致的數字化運營生態系統 目標： 從煙囪式多個平臺向融合大數據平臺，建立統一的數據采集與 整合大數據處理、計算及數據服務能力，降低大數據使用成本 通過集中各領域數據，方便創新，讓數據產生更大價值 大中臺、小前臺，前臺特種兵敏捷作戰單元+中臺航母艦群精 確制導炮火 統一數據平臺(基礎設施復用) 離線 分析 近線 分

7、析 實時 分析 內存 分析 現網煙囪數據IT系統 數據采集 運營 生產 數據采集數據采集 建模 挖掘 數據中臺 統一數據資產中心 統一數據建模、分析與挖掘 統一數據服務 統一數據采集 銷售 預測 建模 分析 客戶 分析 建模 分析 銷售客服生產 輔助 運營 系統 應用 系統 客服 應用 新業務 挑戰： 1、獨：煙囪系統，數據孤島嚴重。重復開發、成本 浪費； 2、斷：數據理解與數據價值鏈條的斷層； 3、缺：缺標準、缺治理、缺數據； 4、難：知數據難、要數據難、懂數據難； 數字化運營，需要由傳統的煙囪式IT系統向數據中臺轉型 生產數倉銷售數倉 客服數倉 數據中臺背景洞察 華為數據中臺頂層設計 華為

8、云數據中臺解決方案DAYU 目錄 數據中臺定義與愿景 定義：全域級可復用的數據資產中心與數據能力中心，提供清潔、透明、智慧的數據資產與高效、易用的數據能力， 使能業務數字化運營； 愿景：讓數據成為如水和電一般的資源，隨需獲取，敏捷自助；讓數據極大發揮價值，推動業務創新與變革； 業務對象、規則、過程數字化 數據聯接 數據透明 數據采集/處理自動化、智能化 數據領域由企業擴展到生態伙伴 數據敏捷自助 安全共享（隱私、授權、權限等） 數據合規 算法模型（AI） 實現特性 數據實時可視 數據清潔 數字業務化 數據中臺建設框架：1）以業務數字化為前提，數據入湖為基礎，建設數 據資產中心；2）打造能高效承

9、載數據中臺建設的數據運營平臺能力中心 數據服務 CBCcloudscopeHRMS 數據 消費 數據 源 業務報告實時可視智能決策自助分析運營監控 批量/實時采集 數 據 資 產 中 心 數據能力 中心 CMDBEsee 客戶基本信息 主數據 云服務信息 云服務發布 記錄 事務數據 售賣記錄 故障信息 營銷活動 客服投訴 支付 客戶財報 外部數據 行業信息 國家風險 財經信息 國家 基礎數據 Region 業務日志 非結構化數據 流媒體 視頻 文件 主題聯接（數據模型、標簽、圖譜） 分攤智能運維模型 數據計算（規則、算法、模型 等） 銷售收入預測模型員工主題 站點主題 合同主題 客戶主題智能搜

10、索 文本挖掘 存貨主題 領域知識 圖譜 項目主題 云服務主題 維度 區域 產品 數 據 湖 完整、清潔的邏輯數據湖 統籌推動、以用促建，急用先行 為數據中臺提供一站式“原材料” 匯聚各業務源系統數據，清洗/注冊數據資產 業務對象、規則、過程數字化 對準需求，驅動業務數字化 數據采集/處理自動化 持續數據治理，提升數據質量 數字化運營數字化運維業務流效率提升 滿足自助、智能的數據消費 識別多場景數據消費需求 構建數據消費快速響應機制 數據業務化，數據反哺業務，促進數字化運 營 中臺消費場景 3 業務平臺 中 臺 核 心 資 產 數據質量 元數據管理 數據采集 數據服務 數據開發 數據可視化 數據

11、地圖 數據共享 與安全 數字化研發 內部數據 外部數據 運營系統運維系統人員機房建設 CM 客服 社交媒體 數 據 服 務 數據清洗 資產配置 數 據 建 設 平 臺 建 設 1 2 主題連接層，數據中臺核心資產 建立“面向對象、面向主體、面向業務流” 的數據聯接和標簽 持續沉淀業務規則、算法、模型 建設公共數據服務，減少重復開發 數據中臺建設兩條主線： 數 據 建 設 數據產生數據提供數據整合、標識、聯接、建模數據消費 業務數字化消費場景數據湖中臺核心資產 數據湖源數據 指標數據 運營數 據 銷售數 據 CBC cloudscope SCM 收入觸 發 數據服務 數據實時可視 診斷預警 故障

12、數 據 FUXI 項目數 據 財務數 據 主題聯接 發票信息 合同基本 信息 開票計劃 業務 主題 收入觸發回款核銷 開票觸發 計劃 云服務運營大屏 技術保障全景 銷售毛利成本中心 數據服務- 云服務建設全流程明細 數據服務-交付項目收入明 細 安全態勢感知 故障智能預警 數據調優診斷 智能擴容推薦 研發效率大盤 數據可視與分析 運營指標運維指標 平 臺 建 設 智能決策中心 大數據服務數據接入服務 MRSDLI Ccloud Table 數據呈現與決策 數據智能服務 OBS DWSES 云服務運營大屏 技術保障全景 銷售毛利成本中心 安全態勢感知 故障智能預警 數據調優診斷 智能擴容推薦 研

13、發效率大盤 智能決策中心 實時數據接入DIS 批量數據遷移CDM 數據庫實時同步Dsync 日志數據采集log 數據運營平臺DAYU 數據開發 數據開發/處理/ 調度運維 數據治理 元數據管理/數據地圖/ 數據質量/業務指標數據標準 數據可視 大屏開發/ 發布預覽 智能分析 自助BI/ 報表OLAP 數據服務 服務創建/ 發布服務市場 行動分析決策 數 據 消 費 描述 發生了什么 ? 診斷 為什么會發生 ? 自愈 系統自我控制解決問題。 預測 將會發生什么 ? 指導 要采取什么措施 ? 人工判斷和采取措施 人工判斷和采取措施 人工判斷和采取措施 人工判斷 和采取措施 數字化運營的不同層次數字

14、化運營的不同階段 階段一： 數據實時可視 數據展示實時可信 報告上線在線開會 支持數據層層下鉆 階段二： 診斷預警 階段三： 智能決策 提前感知業務問 題 自動預警潛在風 險 智能分析問題根因 洞察趨勢推薦方案 支持客觀精準決策 中臺數據消費解碼：包含不同層次和階段的數字化運營 數據消費的不同用戶類型 業務人員數據科學家IT開發人員管理者 數據中臺背景洞察 華為數據中臺頂層設計 華為云數據中臺解決方案DAYU 目錄 數據運營平臺DAYU，產品定位與價值 定位：提供給數據工作者（數據管理者、數據分析師、數據開發者）的一站式、高效易用的數據治理運營平臺； 客戶價值：幫助企業快速構建端到端的智能數據

15、系統，消除數據孤島，統一數據標準，加快數據變現，促進數字化轉型； 數據遷移 實時 接入 離線 遷移 第三 方 工具 敏捷可視能力自助分析能力全局治理能力高效探索能力快速開發能力 用戶 數據消費 支撐 業務 主題/ 畫像/ 指標 的訪 問查 詢檢 索 數據開放 應用 分析 數據源 DAYU平臺：一站式數據運營 數據開發 Pipeline開發、調度 數據可視化 大屏可視，BI視圖 數據規范 數據模型，約束規則 數據質量 質量規則、質量報告 全域數據目錄（元數據Catalog） 公有云數據湖 MRSDLIGESDWS 私有云數據湖 嚴管數據非嚴管數據 數據接入 實時 接入 離線 遷移 第三 方 工具

16、 數據流數據流 調度流調度流 命名：DAYU 像大禹治水一樣幫助企業進 行數據治理與運營，最終讓 數據變為企業創新的新能源， 助力企業新增長。 行業模板 行業模板+運營，一站式構建企業數據中臺 智能數據湖運營平臺DAYU 快速開發 全局治理共享開放數據可視 具有最優性價比的端到端 技術平臺，支持用戶數據 找得到，管得住 沉淀行業能力，快速構建 數據中臺，助力用戶數據 用得好 智能數據湖 存儲計算 主題數據 模型 指標計算 Pipeline 行業數據 算子 行業應用 模型 數據規范設計，基于華為數據體系建設方法論沉淀而成 數據標準不統一數據業務斷層 數據重復建設歷史不可追溯 現狀 目 標 數據標

17、準系統化、流程化 數據需求全鏈路打通 數據研發自動化、無碼化 元數據中心 流程 引擎 數據需求管理 數據領域建模 指標定義& 數據模型 權限&安全 統一標準 指標定義 規范設計 數據構建方法論行業標準 指標內容 指標發布 下線 指標合集 輸入：業務數據化需求 輸出：標準化數據中臺設計 一站式敏捷大數據開發治理，全流程可視 治理 資產服務 開發 使用SQL進行圖片識別，快速 完成非結構化數據處理 create table cars_no(filePath string, result arraystruct) using ocr options ( path obs:/bucket1/wangf

18、ei/cars, ocrApiUrl /v1.0/ocr/plate-number, ocrEndpoint -north-, ocrRegion cn-north-1) Submit ID LogTimeNumberNumberColorColorLoacationFileFile 1 20180722 10:09:46 粵B 12345白 坂田五和大道 obs:/bucket1/wangf ei/cars/file002 2 20180722 10:09:46 粵B 67890黑 坂田五和大道 obs:/bucket1/wangf ei/cars/file002 實時機器學習、深度學習，增

19、強實時數據分析 能力 SQL中調用各種機器學習算法和深度學習框架， 降低AI能力使用門檻 AI能力與SQL融合，懂SQL就可以開發AI業務 可復用的行業模板，加速數據價值發現流程 行業數據標準行業主題數據模型 行業指標計算流程行業算子行業指標 業務對象中心（五大庫）：產品、客戶、合同、站點/網絡、員工 數 據 湖 數 據 主 題 ITR主題 HR主題行政主題 IT主題 CNBG銷售 研發主題 供應主題采購主題 交付主題 RC經營主題 企業運營 消費者運營 運營(ITO/DSO) 流程域主題：經營、運營 區域數據平面 數據地圖 業務實體(項目合同)經營(收入/成本) 合規(內控/賬實) Data

20、 Lake：800+對象 7000+實體 100+萬屬性 供應數據 95%進底座 CNBG數據 50%進底座 GTS數據 60%進底座 產品數據 90%進底座 流程IT數據及其它 90%進底座 數據統一采集入湖 數據統一入湖，實現5大業務對象的數字化 案例：華為內部IT數據運營，助力華為“清潔數據的數字化運營藍圖” 推動數據入湖，實 現內、外數據的獲 取 構建五大庫，實現 五大關鍵業務對象 數字化，實現數據 同源，減少數據搬 家 重點建設大數據和 人工智能平臺， “數據獲取數字 化 智能化”三步 走 案例：智慧園區數據運營，助力企業降本增效 智能數據湖運營平臺DAYU 人員主題庫車輛主題庫資產

21、主題庫設備主題庫 組織主題庫時空主題庫事件主題庫資源主題庫 園區主題庫 批量數據集成實時數據集成 數據ETL可視化開發 任務調度管理權限管理 數據集成 數據標準數據質量 元數據管理指標監控 數據地圖數據血緣 數據治理 園區智能運營中心IOC 公司管理數據業務子系統數據外部互聯網數據數據來源 智能數據湖底座 構建園區8+個主題庫 主題庫含5000+屬性 數據集成開發從15天縮短到 1天 數據應用開發效率提升50% 接入園區個數100+ 數據分析由T+1到實時 應用數據 14省國家電網：融合電力企業全域數據，助力企業業務優化和創新 智能數據湖 智能數據湖運營平臺DAYU 原始數據 計量數據 設備數

22、據 負荷數據 能效數據 交易數據 發電數據 設備監控 負荷預測 電價預測 用電習慣 發電預測 節能建議 主題數據 人 機 廠 電線 綜合能源服務 電力駕駛艙 用電預測 電力大數據典型場景 其他行業，基于華為云智能數據湖解決方案，在更多領域幫助客戶實現數字 化轉型 政府零售汽車 融合各領域數據，包括民生、 交通、氣象、經濟、工業、商 業、服務等，規范數據標準， 實現數據資產管理，全域數據 可視化 基于數據資產，對外提供數據 服務，包括一網通辦、民生服 務、企業服務等應用場景 打通零售企業全域數據，包括 ERP、CRM、訂單、會員、電 商、O2O等 基于全域數據支持企業經營決 策，如經營報表、客戶畫像、 個性化推薦、訂單全鏈路追蹤 等應用場景 融合內外部數據，包括生產制 造、用戶聲音、車輛狀態等， 經過整合清洗、數據模型的建 立分析，可視化呈現分析結果 基于數據分析結果優化設計、 生產、經營 華為云智能數據運營平臺價值 融合 全域數據打通，再無數據孤島 效率 行業模板+全流程可視，快速構 建數據價值鏈條 變現 數據-資產-價值，成本中心 向利潤中心轉變 智能 +AI智能融合數據處理，數據統 一管理 華為云 智能，見未來