新氧云原生全棧數倉最佳實踐-大數據平臺技術論壇（16頁）.pdf

《新氧云原生全棧數倉最佳實踐-大數據平臺技術論壇（16頁）.pdf》由會員分享，可在線閱讀，更多相關《新氧云原生全棧數倉最佳實踐-大數據平臺技術論壇（16頁）.pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、新氧云原生全棧數倉最佳實踐高宏超數據中臺數據研發部總監Contents目錄01新氧簡介03新氧基于阿里云大數據平臺04新氧大數據平臺建設效果02新氧自建大數據架構公司介紹 新氧是中國最大、最受歡迎的提供查詢、挑選和預約醫美服務的垂直在線平臺。業務已覆蓋中國超過350個城市，以及日本、韓國、新加坡、泰國。已吸引近6000家認證醫美及消費醫療機構入駐，供用戶選擇。新氧平臺上有超過470萬篇美麗日記，提供真實有效的決策輔助。美東時間2019年5月2日，新氧在美上市，交易代碼：SY，成為全球互聯網醫美平臺第一股。業務模式用戶友好，醫生機構看口碑 社區口碑價格透明，打破信息不對稱 方案比價凈化行業，摒棄

2、黑醫美亂象 正品聯盟平臺保障，售后服務更安心 平臺保障 行業首創醫美社區+電商模式新氧自建大數據架構數據統計截至2020年6月（上云之前）*Flume機構/醫生基本信息展示、經營信息展示數據接入SentryKerberosLDAPKettleMaxwell認證授權離線集群計算引擎HiveYarnSparkImpalaKylinImpala數據存儲ImpalaESKafkaHDFSHbase實時集群計算引擎FlinkYarnSpark數據存儲KafkaHbaseGrafana+PrometheusAzkabanJenkins調度&監控Zeppelin對外服務HUEJDBC/API新氧自建大數據的

3、挑戰與問題基于Azkaban的調度系統無法管控隔離任務調起的計算資源開發環境與線上環境未分離集群上線任務未嚴格管控及代碼review集群資源無法準確統計各業務方使用量業務方面：技術方面：數據質量較差，數據無法深入業務，支持業務決策業務對公司全局數據無渠道獲取，不知道數據倉庫有哪些數據業務部門數據需求得到的響應時間過長業務變化快，數據結構更改，上層影響無法評估，響應慢問題；新氧大數據平臺優化的決策項安全中心權限審批操作審計備份&恢復數據存儲計算成本人員投入成本降本增效數據安全保障降成本提人效統一數據開發平臺任務監控報警安全集市數據脫敏敏感數據發現異常操作審計監控數據資產管理數據質量監控元數據&血

4、緣關系數據生命周期數據資產有效管理集市成本使用分攤數據計算隔離計算成本可拆分數據可視化TableauQuickBIDataV數據組件可擴展數據挖掘PAI實時計算EMR-Kafka新氧基于阿里云大數據平臺數據架構用戶運營管理商家運營系統數據可視化分析市場投放系統大屏監控ABTest系統推薦搜索&風控反作弊APP基礎數據中心WebH5小程序請求日志日志采集/接入系統數據采集/接入交易系統用戶會員商家機構內容金融計算與存儲平臺離線計算-MaxCompute流式計算EMR Kafka+Flink+Hologres數據總覽數據資產管理（DataWorks）數據地圖數據質量數據使用分析安全中心資源優化數據

5、集成清洗結構化建模研發調度運維標簽生產異常報警主題數據中心流量內容商家用戶產品交易運營售后數據開發（DataWorks）多維數據中心用戶數據體系統一數據服務（OneService）利用數據管理平臺模型設計模塊，以業務板塊+業務過程+分析維度為架構構建（OneData）內容數據體系商家數據體系流量數據體系利用維度建模，以業務對象+統計指標/標簽為架構構建（OneData）運營數據體系金融數據體系API金融媒體新氧大數據建設效果-數據方面1.2020年9月之后數倉數據處理ETL任務平均運行時間效率上提升2-3倍，詳細如柱狀圖：2.2020年9月之后數倉數據處理ETL任務從上午10點提前到6點前完成

6、，詳細如曲線圖：0250500750100012501500ODSDWDDWSDM阿里云平均運行時長自建數據平臺平均運行時長01002003004005006007001:002:003:004:005:006:007:008:009:0010:00 11:00 12:00阿里云運行任務數自建數據平臺運行任務數新氧大數據建設效果-業務方面（商家運營）商家多維數據層（DWS）數倉貼源層（ODS）主題模型層（DWD）機構/醫生數據(認證/入住/合同信息等)機構/醫生業務數據(內容/流量/商品/方案/交易/商機/財務等)機構/醫生數據集市（基礎數據+經營數據）數據輸入標準API（輸入源：主動認證/入

7、住/BD錄入）數據輸出標準API（輸出方：C端用戶/機構醫生/內部應用）第三層：功能應用層權限管理第一層：數據訪問權限第二層：API接口調用權限業務線身份認證控制+應用端控制數據權限新氧APP/PC/M站（服務C端用戶）機構/醫生基本信息展示、經營信息展示機構/醫生工作臺（服務B端用戶）機構/醫生基本信息展示、經營信息展示商家運營管理系統（服務內部人員：BD/運營/管理層）公司內部：聚合查詢平臺（全面、集中、統一口徑、安全、PC/APP）機構/醫生管理數據看板運營數據看板管理層看板BD拓新支持業務數據層數據平臺存儲計算層數據平臺交換層權限管理層數據應用層決策應用層新氧大數據建設效果-業務方面（

8、商家運營）新氧大數據建設效果-業務方面（用戶運營）用戶多維數據層（DWS）數倉貼源層（ODS）主題模型層（DWD）用戶基礎數據（脫敏）(注冊系統)用戶瀏覽行為數據（脫敏）(APP、PC、M站、小程序等)事實標簽集市（基礎數據+行為數據）圈定人群用戶信息管理畫像信息查看、維護設定計劃紅包策略、Push、短信、私信查看數據用戶路徑分析、用戶分層分析、用戶粘性分析運營&觸達統一視角用戶分析看板各業務視角運營數據看板業務數據層數據平臺存儲計算層畫像標簽層標簽應用層決策應用層用戶交易行為數據（脫敏）(APP、PC、M站、小程序等終端產生的交易數據)社會屬性人口屬性地理屬性模型標簽集市（基礎數據+挖掘預測

9、數據）內容興趣品類偏好產品偏好用戶貢獻用戶分層用戶價值根據標簽選擇人群投放效果跟蹤、策略效果跟蹤新氧大數據建設效果-業務方面（用戶運營）新氧大數據建設效果-業務方面（活動大屏）Sku提報監控交易轉化漏斗成本補貼預警目標監控提示風險支持決策新氧大數據平臺阿里云方案優勢及收益用戶體驗1.DataWorks替代Hue、Zeppelin、Azkaban等開源產品，一站式開發。2.全面托管的調度、監控告警、數據集成服務3.極致彈性擴展，用戶無感知。安全保障整個數據處理都是基于阿里云的產品和公有云的架構，天然有安全防護基礎，同時一旦出現問題，也會提供專業性的安全咨詢和保障，輔助于安全產品，快速有效的解決安全風險問題。成本1.總體資源成本降低30%的同時性能提升2-3倍。2.免運維，開發和運維專職人員原有3人，目前下降為半個兼職人員。產品成熟穩定使用的阿里云的產品大部分是基于商業產品，包括MaxCompute和DataWorks，同時阿里云提供集群穩定版本以及貼身服務支持，使得產品更加穩定可靠。THANKS