58大數據應用架構實踐-1.pdf

《58大數據應用架構實踐-1.pdf》由會員分享，可在線閱讀，更多相關《58大數據應用架構實踐-1.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、2020.08.18-19 5858同城大數據應用實踐同城大數據應用實踐 DataFunTalkDataFunTalk 高級數據架構師黃世錢 5858同城大數據應用架構實踐同城大數據應用架構實踐 分享人：余意 目錄 業務介紹 58數據應用平臺 大數據技術實踐 分享人：余意 背景 58業務矩陣:房產、招聘、黃頁、交友、二手、寵物、車輛、金融、部落等 每日數千萬uv 每日數百億新增數據 5pb日處理數據量 每日140000+數據任務 核心 價值 量化歷史 預測未來 3VS 特征 大量 快速 多樣 基礎 簡單 高效 低成本 分享人：余意 部門業務矩陣 分享人：余意 一站式用戶行為分析平臺-WMDA

2、智能數據采集功能 智能無埋點 靈活手動埋點 跨端數據收集 埋點驗證及測試 場景化數據分析功能 實時流量 多維報表 留存轉化 廣告監測 渠道運營 行為回溯 WMDA功能描述 項目 Web/H5iOS 簡單指標 分群留存漏斗 復合指標 Android 多維 報表 小程序 看板 全埋點 指標 管理 應用 管理 廣告 管理 維度 管理 成員 管理 實 時 概 覽 智能 路徑 合并指標 手動埋點 分享人：余意 WMDA-應用案例 分享人：余意 WMDA數據模型 數據收 集協議 事件 模型 用戶 定義 信息 補全 時間 糾錯 會話 （Session） 頁面瀏覽（Page）頁面瀏覽（Page） 行為事件 （

3、Action） 行為事件 （Action） 行為事件 （Action） 行為事件 （Action） 頁 面 屬 性 用 戶 屬 性 指標匹配 規則 平臺 Web/H5小程序APP 類型 頁面瀏覽 頁面內元 素點擊 手動埋點 分享人：余意 WMDA整體技術架構 項目挑戰 百億超大規模數據 數百分析維度 實時離線結合 即席多維分析 即席多維留存查詢 技術挑戰-OLAP1.0 目標百億pv、數億uv即席聚合查詢 數千篩選維度、數十度量 實時和離線保證數據最終一致 OLAP引擎 Kylin、Druid、pinot、clickhouse 準實時攝入 數據覆蓋更新 小數據量 簡單維度 精準Uv計算 技術挑戰-OLAP2.0-Druid功能介紹 查詢功能 TimeSeries、GroupBy、TopN、Search、 Select、Scan 查詢速度 支持Rollup、預計算、亞秒級 自由控制時間粒度