NoETL自動化指標平臺打造分析自由_Aloudata大應科技.pdf

《NoETL自動化指標平臺打造分析自由_Aloudata大應科技.pdf》由會員分享，可在線閱讀，更多相關《NoETL自動化指標平臺打造分析自由_Aloudata大應科技.pdf（27頁珍藏版）》請在三個皮匠報告上搜索。

1、NoETLNoETL自動化指標平臺打造自由分析自動化指標平臺打造自由分析杜雪芳Aloudata 合伙人&首席業務架構師2024/05/26AloudataAloudata：領先的自動化數據管理軟件服務商領先的自動化數據管理軟件服務商P10CEO 周衛林，原螞蟻集團數據平臺總經理10+原螞蟻/阿里 P8 及以上高級專家70%+產研人員占比16+軟著成都杭州杭州上海北京深圳2021/05，公司成立2021/06，獲紅杉中國天使輪投資2021/08，簽約招商銀行2021/09，獲 Pre-A 輪融資2022/05，NoETL 引擎在招行銀行規?；瘧?023/12，ABC 產品家族正式發布，全面商業

2、化2024/01，多個行業頭部客戶簽約 16 項軟著 6 個技術專利 多項信創認證 中國信通院高質量數字化轉型產品測評認證 多項兼容性認證和軟件產品證書 2023 年信通院兩個“星河”標桿案例 2024 IDC PeerScape：金融領域數據管理分析服務最佳實踐案例目錄 Contents1.數據分析的本質2.目前的數據分析模式3.NoETL 自動化指標平臺打造自由分析體驗4.總結數據分析的本質數據分析的本質01典型的數據分析場景理想的數據分析體驗典型的數據分析場景典型的數據分析場景公司公司年累計銷售額年累計銷售額完成比例同比環比團隊團隊/員工員工運營決策運營決策渠道分析：渠道分析：天貓、抖音

3、、京東、拼多多、商品分析：商品分析：SPU、SKU、動銷分析、首發、評價、會員分析：會員分析：VIP、新/老、客單價、流失分析、轉化分析：轉化分析：瀏覽下單轉化率、交易失敗分析、營銷活動分析營銷活動分析客群分析：客群分析：標簽、用戶畫像策略分析：策略分析：優惠券發放、歸因分析產品體驗優化：產品體驗優化：路徑轉化、體驗優化ABAB實驗、供應鏈管理實驗、供應鏈管理管理駕駛艙管理駕駛艙業務自助分析業務自助分析考核指標考核指標部門部門線上年累計銷售額線上年累計銷售額各渠道，占比線下年累計銷售額線下年累計銷售額各區域，占比當月累計銷售額當月累計銷售額當日銷售額當日銷售額經營分析看板經營分析看板下鉆拆解下

4、鉆拆解明細數據明細數據業務運營工作臺業務運營工作臺數據接口數據接口業務期望的數據分析體驗：快、全、準業務期望的數據分析體驗：快、全、準快快 試錯快試錯快：結果快速驗證 決策快決策快：快速優化決策 定位快定位快：快速定位原因 查詢快查詢快：查詢秒級響應全全 細數據細數據：獲取明細數據 高靈活高靈活：指標靈活度高準準 數據準數據準：數據一致 口徑清口徑清：指標口徑清晰可視目前的數據分析模式目前的數據分析模式02數倉+BI 的分析模式目前模式存在的問題目前的分析模式：目前的分析模式：“數倉數倉+BI+BI”的分析模式的分析模式業務系統數據日志數據第三方數據維度表事實表事實表維度表寬維度表寬事實表寬事

5、實表寬事實表各類匯總表更大的寬表更大的寬表明細層明細層匯總層匯總層3.3.亂：亂：指標口徑不一致指標口徑不一致相同指標針對不同業務部門、不同場景（譬如經營分析和 AB 實驗）需要開發大量不同的表，不同報表的指標數據對不上，導致業務決策的失誤。2.2.缺：分析不靈活缺：分析不靈活以固定報表開展監控分析，業務無法從匯總數據下鉆查看明細數據；在開展自助分析時，受查詢性能和需求不確定性影響，分析字段欠缺。1.1.慢：需求響應慢慢：需求響應慢任意維度/指標的新增或變更都依賴 ETL 人員，需求響應長達 2 周甚至超過 1 個月；指標口徑變更時，需要進行多個地方的修改回刷。數據集數據集數據集報表 1報表

6、2報表 3數據集數據集數據開發平臺數據開發平臺BIBI 工具工具報表報表慢慢缺缺亂亂以用戶交易分析為例，傳統模式帶來的問題以用戶交易分析為例，傳統模式帶來的問題用戶行為表訂單明細表發貨明細表產品維表用戶維表渠道維表事實表事實表（DWDDWD）維度表維度表（DIMDIM）用戶行為寬表用戶訂單寬表用戶發貨寬表輕粒度匯總表輕粒度匯總表（DWS)DWS)日粒度轉化分析日期品類地區渠道訪問用戶訂單用戶發貨用戶重粒度匯總表重粒度匯總表(ADS(ADS）品類分析表品類訪問用戶訂單用戶發貨用戶渠道分析表渠道訪問用戶訂單用戶發貨用戶報表報表1：按天用戶交易分析：按天用戶交易分析日期品類地區渠道訪問用戶訂單用戶發

7、貨用戶報表報表2：品類交易分析：品類交易分析品類訪問用戶訂單用戶發貨用戶分天交易分析品類交易分析渠道交易分析BIBI 數據集數據集報表報表3：渠道交易分析：渠道交易分析渠道訪問用戶訂單用戶發貨用戶數據開發平臺數據開發平臺BIBI 工具工具ITIT 側：指標重復開發、變更維護成本高側：指標重復開發、變更維護成本高根據業務報表需求定制化開發，同一指標不同分析維度開發多張表；一旦需求發生變化，必須經過冗長的開發鏈路進行變更業務側：試錯成本高、決策迭代慢業務側：試錯成本高、決策迭代慢用戶分析時，受限于報表背后的有限分析字段，無法基于數據指導決策，業務憑經驗決策，試錯成本高、決策迭代速度慢NoETLNo

8、ETL自動化指標自動化指標平臺打造分析自由平臺打造分析自由03什么是 NoETL 自動化指標平臺NoETL 自動化指標平臺的核心能力如何打造“快、全、準”的分析體驗BI 工具 AI 工具 自建應用 經營分析 運營分析 AB 實驗AloudataAloudata CANCAN：NoETLNoETL 自動化指標平臺自動化指標平臺應用場景指標平臺數據倉庫指標管理基礎指標派生指標復合指標維度管理原始維度分組維度計算維度指標應用指標目錄指標分析指標歸因權限管理查看權限指使權限行級權限貼源層公共層DIM用戶維度物料維度店鋪維度DWD主題域 1主題域 2主題域 3主題域 4主題域 業務系統業務系統業務系統業

9、務系統業務系統業務系統管管：統一指標口徑管理研研：應用層自動化代持用用：靈活一致指標消費基于標準化和自動化能力，提供基于標準化和自動化能力，提供“快、全、準快、全、準”的分析體驗的分析體驗標準化指標定義標準化指標定義強大的語義數據模型和函數能力，復雜指標實現配置化定義，實現指標的共享復用，確保指標數據的準確性和全面性自動化指標研發自動化指標研發IT 無需開發寬表與匯總表，只需選擇需要物化加速指標，系統自動編排、刷新與回收數據，確保秒級的查詢響應速度AloudataAloudata CANCAN 指標平臺指標平臺 vsvs 傳統傳統 ETLETL 指標加工流程指標加工流程業務系統數據日志數據第三

10、方數據維度表事實表事實表維度表寬維度表寬事實表寬事實表寬事實表各類匯總表更大的寬表更大的寬表明細層明細層匯總層匯總層應用層應用層指標平臺（語義層）：指標平臺（語義層）：邏輯層與物理層解耦，無需大量寬表和匯總表開發語義模型語義模型原子指標原子指標派生派生指標指標復合指標復合指標業務系統數據日志數據第三方數據維度表事實表事實表維度表快：指標定義即消費，低成本試錯驗證，實現指標體系快速迭代快：指標定義即消費，低成本試錯驗證，實現指標體系快速迭代客觀性原則客觀性原則指指標標體體系系建建設設四四大大原原則則好的指標需要客觀、真實的反應業務發展情況系統性原則系統性原則指標體系的建設需要有全局性、結構性和層

11、次性，需要體現出對業務運作的全面理解動態性原則動態性原則指標體系不可一塵不變，需要跟隨業務規劃及時迭代，動態調整敏感性原則敏感性原則業務變化，需要能被指標敏感的捕捉到，并反映出來強大的指標定義能力，支持任意指標標準化定義，實現快速探查強大的指標定義能力，支持任意指標標準化定義，實現快速探查通過指標平臺實現配置化定義，無需在數倉寫 SQL 開發，低成本進行指標體系的試錯驗證指標統計周期：業務限定：基礎度量：1.1.當日當日/近近N N日日/本年至今本年至今e.g.昨日/近 7 日/本年至今上周/近 7 周/本周至今2.2.自定義周自定義周/財年財年e.g.自定義周：周二周一自定義年：4.13.3

12、13.3.自定義日歷自定義日歷e.g.近 5 個交易日上一個交易日1.1.常規維度值篩選常規維度值篩選e.g.狀態=已支付郵箱結尾為2.2.指標結果篩選指標結果篩選e.g.上月交易量 0 的用戶近 7 天領券金額 0 的用戶3.3.指標指標 TopNTopN 的維度值的維度值e.g.上月交易量前 3 的產品當日持倉金額前 3 的債券1.1.簡單聚合簡單聚合e.g.交易筆數/人數/金額2.2.時間維度多次聚合時間維度多次聚合e.g.日均交易人數月日均交易金額最大值3.3.非時間維度多次聚合非時間維度多次聚合e.g.單股最大凈流入金額地區門店日均訂單量特定特定維度篩選維度篩選忽略忽略只保留/只排除

13、特定維度篩選特定維度篩選參數特定維度篩選參數將維度篩選值作為度量輸入參數快：突破數據需求的最后一公里，業務全流程自助分析快：突破數據需求的最后一公里，業務全流程自助分析ETL 工程師提出數據需求物理表定制開發業務人員ITIT 準備數據，分析維度準備數據，分析維度固定固定BeforeBefore業務人員業務人員原子指標任意維度ETLETL 工程師工程師公共層建設及原子指標定義靈活組裝分析業務自助定義指標，分析維度業務自助定義指標，分析維度靈活靈活AfterAfterITIT：無懼業務需求的變化：無懼業務需求的變化數據分析效率10倍提升業務：指標維度靈活組裝業務：指標維度靈活組裝指標開發與變更成本

14、降低70%快：指標智能歸因分析，快速幫助業務深層次洞察波動原因快：指標智能歸因分析，快速幫助業務深層次洞察波動原因指標維度下鉆歸因指標維度下鉆歸因維度層層下鉆分析，維度層層下鉆分析，直至定位根本原因直至定位根本原因指標因子關系歸因指標因子關系歸因按照指標的因子關系找按照指標的因子關系找出指標的相關性影響出指標的相關性影響兼容不同兼容不同 MPPMPP 引擎（引擎（StarRocksStarRocks、DorisDoris、.).)物化數據構建物化數據構建物化方案推薦查詢命中改寫查詢命中改寫物化元數據索引查詢自動改寫物化命中選擇快：自動物化加速，實現十億數據秒級查詢響應快：自動物化加速，實現十億

15、數據秒級查詢響應自動物化編排周期物化刷新指定日期回補增量物化構建JDBC指標數據查詢API 自動物化構建自動物化構建自動物化方案推薦自動物化鏈路編排指定日期數據回補增量物化數據構建完備物化監控運維 查詢命中改寫查詢命中改寫直接基于指標語義查詢，無須關心物理表，系統基于物化元數據信息，自動進行查詢物化數據選擇，并自動改寫成最優的查詢執行 SQL指標語義查詢，無需關心物理表指標語義查詢，無需關心物理表全：語義模型定義指標，業務可基于虛擬明細大寬表靈活分析全：語義模型定義指標，業務可基于虛擬明細大寬表靈活分析訂單表訂單表成交時間訂單id產品id客戶id交易金額銷售數量銷售價格客戶表客戶表客戶id客戶

16、名稱客戶所在地區產品表產品表產品id產品名稱類目表類目表產品id產品類目id產品類目名稱退款表退款表退款時間退款id訂單id產品id客戶id退款金額退款狀態退款原因語義數據模型（邏輯關系而非物理關聯）語義數據模型（邏輯關系而非物理關聯）交易金額交易客戶數交易訂單量退款金額退款訂單量退款客戶數指標指標維度維度客戶名稱客戶所在地區產品名稱產品類目名稱退款原因虛擬大寬表虛擬大寬表一個指標，一個指標，任意維度下鉆任意維度下鉆一個維度，一個維度，串聯任意指標串聯任意指標多指標多維度多指標多維度靈活組裝靈活組裝全：用戶可以基于所有指標和維度靈活組裝分析全：用戶可以基于所有指標和維度靈活組裝分析無需加工匯總

17、表，實現無需加工匯總表，實現將來自不同事實表的指將來自不同事實表的指標放在一起分析標放在一起分析無需提前打成寬表，用無需提前打成寬表，用戶自主選擇維度開展不戶自主選擇維度開展不同切片分析同切片分析全：典型分析場景示例全：典型分析場景示例 -留存分析留存分析指標標簽化快速圈選分析人群指標標簽化快速圈選分析人群支持維度下鉆分析不同客群的留存率支持維度下鉆分析不同客群的留存率全：典型分析場景示例全：典型分析場景示例 -客群分析客群分析指標標簽化快速圈選分析人群指標標簽化快速圈選分析人群基于豐富的維度全面精準刻畫用戶畫像基于豐富的維度全面精準刻畫用戶畫像準：指標平臺提供準：指標平臺提供完善的指標規范管

18、理能力，完善的指標規范管理能力，實現指標口徑的統一實現指標口徑的統一指標數據規范指標數據規范指標分類分級指標分類分級指標類目管理指標類目管理自定義擴展屬性自定義擴展屬性指標質量管理指標質量管理指標重復校驗指標重復校驗指標監控預警指標監控預警指標上下架管理指標上下架管理指標指標發布發布審批審批指標版本管理指標版本管理指標權限管理指標權限管理指標血緣分析指標血緣分析指標查看權限指標查看權限指標使用權限指標使用權限指標行級權限指標行級權限指標運營監控指標運營監控指標使用分析指標使用分析總覽總覽資源分析資源分析指標規劃指標規劃指標定義指標定義/管理管理/使用使用指標治理指標治理完善的指標管理產品能力完

19、善的指標管理產品能力準：準：指標管理流程透明化、可視化，保障指標口徑的一致性指標管理流程透明化、可視化，保障指標口徑的一致性業務需求部門提出需求指標平臺中搜索選擇對應指標申請權限提交指標需求申請同步至指標平臺YESNO重新提交需求需求審核部門確認需求合理性需求合理性審核指標定義開發完善及調整需求YESNO指標開發部門指標口徑溝通指標定義開發指標發布審批指標消費應用調整指標定義YESNO產品能力+管理辦法，完善企業指標管理流程，實現指標口徑統一的“長治久安”分類分級屬性標準同名不同義、同義不同名校驗指標血緣跟蹤、指標版本管理指標權限管理NoETLNoETL 自動化指標平臺價值總結自動化指標平臺價值總結靈活且一致的分析體驗靈活且一致的分析體驗指標口徑指標口徑100%100%一致一致 快快全全準準數據分析決策效率數據分析決策效率1010 倍提升倍提升虛擬的明細大寬表虛擬的明細大寬表0 0 字段缺失字段缺失Aloudata 公眾號產品試用Thank