萬里牛實時數倉的演進之路-大數據平臺技術論壇（25頁）.pdf

1、萬里牛實時數倉的演進之路陳曉亮湖畔網絡大數據平臺負責人Contents目錄01萬里牛是誰02萬里牛的數據中臺之路03萬里牛與Hologres萬里牛用互聯網服務推動企業創新值得依賴與尊敬的云服務商業內最早的SaaS ERP服務商主要針對電商、跨境、實體門店等業務群體。萬里牛產品體系豐富，以ERP、跨境電商ERP、WMS（倉儲管理系統）為核心，搭建融合商業智能BI、新零售、多牛訂貨系統等為一體的產品矩陣，幫助電商企業快速布局跨境和新零售，提升訂單處理效率，實現數字化業務管理，為企業降本增效。萬里牛的產品矩陣BI訂貨系統ERP（含跨境）WMSCRM智慧零售萬里牛的客戶中糧集團倍思科勒鴻星爾克釘釘恒源

2、祥青春寶日本樂天客戶對數據的痛點業務環節產生了大量數據卻不會通過數據分析來反哺業務人工整合數據費時費力難以保證準確性統計繁瑣、耗時長結果與市場、業務節奏脫節作業流程的優化和調整無法通過數據來直觀評估效果數據質量更高數據來源覆蓋更高數據時效更快數據指標獲取更快數據融合性更強數據系統穩定性更強客戶對數據的訴求積累的數據能夠持續產生價值萬里?！皹I務+數據”雙中臺天貓/京東等（國內平臺）Amazon/AliExpress等（國外平臺）微商城門店B2B 直播美團餓了么ERP WMS CRM 智慧零售分銷系統訂貨系統BI 實時大屏數據中臺業務中臺權限中心訂單中心商品中心會員中心庫存中心支付中心財務中心結算

3、中心渠道中心訂單數據會員數據庫存數據商品數據財務數據運營輔助奇門/虎符/方舟萬里牛開放平臺財務系統三方倉儲快遞物流三方支付TMS OA 其他.數據沉淀API離線計算實時計算共享服務中心前臺客戶觸點萬里牛全渠道中臺運營管理第三方系統業務支撐系統（SAP/用友/金蝶/oracle/NetSuite等）（菜鳥/京東）萬里牛的數據中臺之路DataWorks 數據同步（DataX）DBHologres MC查詢加速 ADS緩存數據資產管理系統數據中臺 v1.0DBDBDB數據服務可視化CRMDataWorks任務編輯調度，數據質量MaxCompute離線數倉萬里牛的BI產品結構全渠道前臺200+電商平臺

4、+自建線上小程序+公眾號+APP商城+門店萬里牛作業系統ERPWMSCRM會員中心 商品中心 訂單中心財務中心 倉儲中心 店鋪中心萬里牛前臺萬里牛POS萬里牛分銷BI 產品數據權限數據大屏報表發布企業咨詢業務支撐店鋪畫像商品畫像ABC分析庫銷分析滯銷分析商品定價模型線上鏈接分析業務指導全域交叉分析鉆取/切片自由設計自定義數據集交互式分析每日看板會員看板銷售看板發貨看板利潤看板庫存看板進銷存看板主題看板數據集市銷售主題會員主題店鋪主題商品主題庫存主題進銷存主題財務主題數據中臺離線數據實時數據自定義導入其他業務系統數據來源數據清洗數據建模數據來源聯合分析數據質量賦能輸出維度管理指標管理算法引擎高速

5、通道數據服務數據中臺 v1.0成果和不足不足1.數據時效性差，沒有實時能力2.產品場景化弱，學習成本高成果1.解決數據孤島2.從0-1采用維度建模方法建設離線數據倉庫3.實現零代碼可視化交互式分析實時數倉需要解決的問題Lambda架構下聯邦查詢實時數倉的運營成本LambdaDataWorks 數據同步（DataX，Binlog）DataWorks任務編輯調度，數據質量DBHologres 聯邦查詢 MC查詢加速 ADS緩存數據資產管理系統數據中臺 v2.0DBDBDBMaxCompute離線數倉數據服務可視化CRMHologres 實時數倉數據中臺 v2.0成果和不足不足1.缺少流計算能力成果

6、1.構建可用的實時，準實時數據倉庫2.開放底層數據，支持靈活多樣的數據服務萬里牛與Hologres為什么選Hologres維護成本低資源靈活性高一站式實時數倉架構簡單支持OLTP，OLAP與阿里云大數據組件兼容性高Hologres扮演的角色Hologres實時，離線 聯邦查詢離線查詢加速低qps低并發下冷熱數據混合查詢服務實時，準實時 計算引擎聯邦查詢實時，準實時 計算引擎Holo 微批ODSADS合成視圖T-0Holo內表Binlog數據同步H-1.H-nHolo內表準實時計算H-0 H-1Holo內表實時數據H-2.H-nHolo內表準實時數據T-2.T-nHolo外表離線數據T-1.T-

7、nHolo外表離線計算成果和不足1.聯邦查詢視圖支持查詢實時離線數據2.聯邦查詢運行時長10s如果只涉及內表查詢運行時長1s1.維度表從離線同步，時效性差2.實時，準實時的統計直接從ODS走效率是問題成果不足聯邦查詢實時，準實時 計算引擎Holo 微批ODSADS合成視圖T-0Holo內表Binlog數據同步H-1.H-nHolo內表準實時計算H-0 H-1Holo內表實時數據H-2.H-nHolo內表準實時數據T-2.T-nHolo外表離線數據T-1.T-nHolo外表離線計算DWDT-0Holo內表Flink 實時低qps低并發下冷熱數據混合查詢服務ODS合成視圖T-0Holo內表Binlog數據同步T-0T-7Holo內表實時數據T-1.T-nHolo外表離線計算T-8.T-nHolo外表離線數據Hologres目前的不足多數據源實時同步的問題資源隔離的問題Java API 要求版本高THANKS