1、基于云原生數據倉庫AnalyticDB PG 的最佳實踐江敏數瀾科技聯合創始人兼副總裁Contents目錄01背景介紹02方案介紹03客戶實踐04公司簡介背景介紹01數據中臺發展趨勢行業增長勢頭明顯當前我國數據中臺行業處于從萌芽轉向高速發展的過渡期,伴隨著數據量的爆發式增長、數據處理技術的進步,以及企業數字化轉型驅動市場需求不斷增加,行業增長勢頭明顯,市場規??焖贁U張。標準化、輕量化將成趨勢數據中臺在行業頭部已逐漸落地,而對于數據中臺能力要求相對簡單的中小企業,為其提供標準化、輕量化的整體解決方案將是目前市場的主要訴求。來源:艾瑞咨詢來源:艾瑞咨詢小微企業大型企業數據中臺技術應用的挑戰底層架構
2、復雜傳統數據中臺架構思維,導致客戶在選型&部署大數據組件(HadoopFlinkPrestoKylin等)、開發&調度數據任務(Hive SqlFlink SqlMRSparkPython等)和運維&運營數據(Data QualityValueMetadata)需要多方進行權衡考慮,架構復雜,使用門檻過高。運維成本高伴隨著傳統數據中臺底層架構的復雜性,隨之而來的是復雜的IT人員體系以及高昂的運維成本。響應時效挑戰大隨著數據量的不斷增加以及業務需求的不斷迭代,如何快速響應業務人員需求、減少數據分析的等待時間、讓一線業務人員有更好的體驗將成為數據中臺成功的關鍵指標。方案介紹02基于輕量級數據中臺的
3、數字化應用全景輕量級數據中臺業務管理應用敏捷開發平臺(Developer for AnalyticDB)AnalyticDB for PG傳統數字化業務管理應用主數據管理軟MDM企業資源計劃管理ERP客戶關系管理CRM證券交易實時監察系統人力資源管理系統HRM數字化轉型創新應用應收應付全鏈路元數據監控系統制造客戶數字營銷服務系統制造基于規則引擎智能審計系統通用高凈值客戶挖掘系統金融多維指標分析系統通用慧眼視頻行為分析系統安全人車軌跡伴隨分析系統安全輕量級數據中臺技術體系OSS AnalyticDB for PG Developer for AnalyticDB數據體系研發資產體系 采購資產體系
4、 生產資產體系 倉儲物流資產體系 銷售服務資產體系 財務資產體系 人事資產體系服務體系通用技術服務(如水流量API)算法模型類服務(如泵站預警API)基于場景的數據治理質量管控體系-RQC(元數據 數據標準 數據質量)價值運營體系-CVO(價值模型 資產管理 成本模型 數據安全)數據(Data)市場數據服務(DataAPI)市場數據模型(DataModel)市場應用(App)市場數據運營門戶業務數據源數據場景數據可視化場景運營分析駕駛艙調度運營大屏數據業務場景綜合智能預警平臺智慧審計分析精準營銷分析更多ERP系統PLM系統MES系統CRM系統OA系統E-HR系統費控系統.輕量級數據中臺業務架構
5、環境管理用戶管理數據源管理集群管理資源管理業務數據數據同步模型開發模型監測AnalyticDB for PGTDMODSDWDAPI(AnalyticDB for PG)數據API模型API應用管理命令流數據流數據流智能應用輕量級數據中臺技術體系業務模型開發業務流程開發數據地圖數據安全業務模型質量管理API開發API上線/下線API鑒權API監控Developer for AnalyticDBERP系統PLM系統MES系統TMS系統CRM系統OA系統預算系統資金系統E-HR系統費控系統.數據體系業務數據+緯度|-名稱|-位置|-地域范圍|-.員工|-工號|-姓名|-性別|-年齡|-學歷|-.智
6、能算法引擎通用技術引擎服務體系數據體系(基于業務主題對數據進行標準化及分類管理)資產體系(基于對象建模構建基于實體的業務視角下的資產類目體系)治理體系客戶信息|-客戶名稱|-客戶id|-聯系方式|-地址|-客戶類型|-.設備|-設備名稱|-設備編碼|-設備類型|-設備級別|-設備尺寸|-規格|-年檢標志|-.產品|-產品名稱|-產品編碼|-產品類型|-生產時間|-規格|-型號|-.類目|-類目代碼|-類目名稱|-類型|-級別|-創建時間|-開始生效時間|-截止時間|-.供應商|-供應商名稱|-代碼|-供貨類型|-法人信息|-聯系方式|-信用評價|-.物料|-物料名稱|-物料編碼|-材料類別|-
7、規格標準|-生產廠家|-質量數量|-下料尺寸|-下料說明|-測量系數|-.組織|-組織名稱|-組織編碼|-所在部門|-部門角色|-創建時間|-生效時間|-截止時間|-.財務基礎|-時間|-科目|-收付|-金額|-占比|-.應收服務|-應收API|-憑證API|-.API.應付服務|-應付API|-.API.客戶服務|-客戶信息API|-API.異常監測|-單據異常API|-合同異常API|-.API.+維度|-告警API|-.API.預警|-財務告警API|-應付告警API|-應收超時API|-.API.供應商主題域|-供應商信息|-組織數據|-.采購域|-采購招標管理|-貨源管理|-需求計劃
8、管理|-采購合同管理|-采購訂單管理|-采購結算管理|-.銷售域|-人員信息|-客戶信息|-營銷銷售基礎數據|-市場營銷|-銷售管理|-.財務管理域|-財務管理|-費用報銷|-應付管理|-應收管理|-預算管理|-資產管理|-資金管理|-.計劃域|-預算計劃|-生產計劃|-銷售計劃|-投資計劃|-采購計劃|-.倉儲域|-庫存管理|-出入庫管理|-盤點管理|-.設備域|-生命周期管理|-設備維修管理|-臺賬管理|-.以制造業為例輕量級數據中臺數據及服務體系專題領域分析(如財務專題的管財合一、應收應付分析;人力專題的員工360視圖)輕量級數據中臺典型應用場景時序數據分析(如軌跡熱力分布態勢分析、軌跡
9、伴隨分析、碰撞分析、行程預測)數字孿生輕量級數據中臺典型應用場景多維實時數據監控態勢客戶實踐某商業集團03數據收集難該商業集團運營了省內50對+高速公路服務區(高速驛網),占整個省服務區的80%以上??偛繉τ诟鞣諈^統一管理、統一經營面臨巨大難題,信息共享不暢、協同性不強等問題日趨嚴重。且隨著社會的進步,公眾的期望越來越高,這與高速驛網現有的服務能力形成了較大的差距。亟需通過數字化轉型提升數據化決策能力、提升公眾服務體驗。建設背景問題痛點50對+服務區,各自獨立,只能收集部分統計數據;多種信息系統獨自建設,歸口各不統一;無法有效獲得周邊路段的數據;數據孤島問題明顯。數據管理混亂各位數據管理部門
10、不一,沒有形成統一的資產目錄;數據標準不一,數據質量參差不齊;跨部門數據使用協調繁瑣。數據使用弱數據大部分處于沉睡狀態,對于公眾可提供的服務能力有限,對于管理者運營監控、資源調度、業績評估以及經營決策等方面缺少必要的智能洞察。數據的資產化管理視頻行為分析輔助招商決策數據可視化分析門店賦能商場客流分析商戶客流分析運營分析運營情況與時間/活動的關聯分析各出入口趨勢輔助活動策略分析顧客動線做出調改決策分析人群畫像研究顧客分布分析店鋪運營情況并做出指導預測店鋪經營趨勢并提前準備結合租金收繳情況完善風控為商戶談判提供數據支持為門店提供全場客流情況輔助決策為門店提供進店率分析改善經營為門店提供店鋪關聯度分
11、析優化營銷提高運營工作效率!提高收租管理能力!輔助商戶經營提高銷量!應用場景客戶價值智能化輕量化簡化傳統中臺架構,用ADB替代Hadoop生態,降低企業資源存儲及計算的復雜度和成本;為多維分析決策提供保障。場景化以具體的業務場景為切入點,自下而上,圍繞場景開展數據治理,構建數據資產,支撐數據應用需求,貼近價值。通過對各類數據的采集、加工、治理及應用,并結合成熟的業務模型,釋放數據價值,支撐業務的智能化。公司介紹04數瀾科技客戶1,000+軟著及專利100+團隊400+截止目前,數瀾使用旗下核心產品“數棲平臺”,已為1000+企業客戶提供數據中臺建設服務,幫助客戶使用數據中臺作為關鍵數字技術推動企業的數字化變革。數瀾總部位于杭州,在華北(北京)、華南(深圳)、華西(成都)、華中(武漢)設有本地化團隊,核心成員均來自阿里巴巴、華為、IBM、百度、金蝶、甲骨文等一線企業,是國內較早一批大數據服務創新實踐者。數瀾科技成立于2016年6月,自成立之日起,秉持“讓數據用起來”的使命,幫助企業持續數據資產化,賦能業務創新。使命Mission:讓數據用起來 愿景Vision:成為客戶信賴的數據應用基礎設施供應商THANKS