周子堯-快手一站式BI平臺的演進.pdf

《周子堯-快手一站式BI平臺的演進.pdf》由會員分享，可在線閱讀，更多相關《周子堯-快手一站式BI平臺的演進.pdf（41頁珍藏版）》請在三個皮匠報告上搜索。

1、快手一站式BI平臺的演進主講人：周子堯領域驅動設計啟發下的AI視覺分析引擎構建主講人：戴 昊演講嘉賓介紹周子堯目前就職于快手數據平臺部，負責分析產品研發方向有7年大數據分析系統研發經驗，10多年的互聯網產品研發經驗曾就職于硅股創業公司，互聯網房地產，美團數據科學部有多次從0到1搭建業務或中臺的數據分析系統經驗關于快手與大數據平臺快手數據平臺短視頻直播電商商業化游戲平臺快手數據平臺的使命是“提升數據決策效率，利用數據助力業績提升”萬級EB級PB級萬級百萬級集群規?？倲祿咳諆粼鰯祿咳栈钴S用戶數日分析查詢數十萬級報表數BP平均日活23Q1 3.74億日均時長23Q1 126.8分鐘 電商GMV2

2、3Q1 2248億 短視頻+直播電商，本地生活，招聘，積累驅動快手的使命是“幫助人們發現所需、發揮所長，持續提升每個人獨特的幸福感”目錄CONTENTS快手BI平臺介紹1234快手BI平臺的演進與實踐快手BI平臺的實戰案例總結與未來規劃快手BI平臺介紹1關于商業智能(BI)BI數據戰略數據報告數據分析數據探查數據整合數據倉庫智能分析產品定位商品定價戰略布局制定目標業務動作產品迭代.經營策略商業經營.技術BI（Business Intelligence）即商業智能快手一站式BI平臺-KwaiBI整體介紹1.5W+MAU10W+模型數100W+圖表數接入業務150+愿景：致力于通過豐富分析工具產品

3、，打造一站式的數據分析平臺，提升數據獲取與分析效率。10W+報表數快手一站式BI平臺-KwaiBI生態體系取數（取數據）SQL取數分析（做分析）可視化（看大數）建門戶（經營，業務，部門）自助分析模板取數Notebook指標取數PC看版移動端看板數據大屏推送（推結果）異常監控智能分析PC/移動端KIM推送郵件推送開放集成頁面嵌入開放接口數據協同數據集數據建模門戶管理業務運營數據準備數據來源大數據存儲引擎：CH/Druid/HIVE數據庫：Mysql，KV本地數據CSV/Excel指標中臺集五大消費場景一體靈活的數據準備服務標準化指標中臺應用豐富的開放集成能力線上數據Docs,云文件（嵌入）快手一

4、站式BI平臺-KwaiBI核心流程大數據計算和存儲數據開發和管理數據源鏈接數據源管理Step1數據接入Step2 準備數據數據加工數據建?？梢暬灾治鯪otebookAI/MLStep3 分析數據指標管理數據看版大屏數據門戶數據推送Step4 消費數據hiveMysqlExcelClickhouse.數據來源BI開放集成數據抽取KwaiBI核心四步驟：數據接入，數據準備，分析數據，消費數據快手BI平臺演進與實踐2快手一站式BI平臺-發展歷程2020年-2021年2021年-至今2019年以前按需定制(開源,采購,自研報表)數據來源TableauHUE老報表Superset產品開源 采購簡單報

5、表開源 采購簡單報表+KwaiBI 1.0 KwaiBI分析產品矩陣規模MAU:3000MAU:8000MAU：1.5w+特點擴展差、體驗差，成本高分析能力較弱，運維成本高，定制成本高一站式體驗，分析能力強、場景覆蓋度高、質量保障強數據來源數據來源快手一站式BI-KwaiBITableauHUEKwaiBI1.0Superset平臺化初步建設（KwaiBI1.0 初步完成搭建）分析產品矩陣（通用分析與專題分析）工具化體系化平臺化 平臺化-背景介紹煙囪式建設HUE簡易報表MYSQLHiveMysqlDruid取數報表可視化可視化需求交付專業數據服務團隊數據消費用戶可視化+取數KwaiBI1.0D

6、ruid.平臺化-面臨的挑戰挑戰一：煙囪挑戰一：煙囪式開發，導致研發效率低式開發，導致研發效率低，用戶體驗差，用戶體驗差KwaiBKwaiBI1.0I1.0、TableauTableau、H Hueue、SupersetSuperset、自研老報表自研老報表、老推送平臺老推送平臺等等，8 8套套數據工具數據工具并存并存。挑戰二：挑戰二：分析門檻高，分析效率低分析門檻高，分析效率低需掌握需掌握SQLSQL等技能才能做數據分析等技能才能做數據分析，業務同學不具備業務同學不具備SQLSQL能力，能力，這些需求無這些需求無論大小均交論大小均交由由DEDE完成完成挑戰三：數據質量問題多，數據口徑難保障挑

7、戰三：數據質量問題多，數據口徑難保障數據多處開發，多處加工，多處消費，數據多處開發，多處加工，多處消費，數據質量問題頻繁發生數據質量問題頻繁發生體系化-核心打法“平臺化”-”體系化“，核心打法三步走：1.“消滅煙囪”，統一化產品，降低研發成本，提升體驗2.搭建”自助分析工具”，降低分析門檻3.實踐”HeadLessBI”理念，一處定義，多處生效，保障數據質量煙囪式開發-問題分析與解決思路問題分析：KwaiBI 1.0 功能及易用性不足梳理KwaiBI1.0平臺，存在數百個功能缺失與體驗問題用戶NPS調研中，發現體驗與功能問題嚴重影響用戶使用KwaiBI 1.0 架構難擴展，難添加新能力解決思路

8、：消滅煙囪引入清晰可擴展分層架構設計全面梳理功能缺失和易用性問題，體系化補齊缺失能力消滅煙囪-統一技術分層架構BI技術架構=查詢模型計算服務+語義模型平臺化 技術架構KwaiBIKwaiBI SQL查詢引擎Hive表TableauVizQL查詢引擎SupersetNativeSQL查詢路由老報表平臺自訂SQL查詢路由MysqlDruidkuduHUEHiveSQL查詢路由.交互界面查詢模型查詢引擎數據模型取數可視化大屏RedisHbaseDruidHive統一數據集語義模型統一查詢引擎查詢模型統一語言（OAX）計算服務體系化 技術架構消滅煙囪-統一語言OAX介紹OAX（Open Analysi

9、s Expression）開放分析表達式取數可視化大屏RedisHbaseDruidHive統一查詢引擎查詢模型統一語言（OAX）計算服務0304050102數據的觀察角度，即從哪個角度去分析問題，看待問題；用戶可使用數據集字段和UDF來定義維度例如：城市、區域從維度的基礎上去衡算這個結果的值；用戶可使用數據集字段和UDF來定義指標例如：GMV數據源和可視化展示的中間環節，承接數據源的輸入，并為用戶輸出模型例如：國民經濟數據集觀察指標數據的時間范圍例如：2022年觀察局部角度的結果值，包括維度篩選和結果值篩選例如：城市=上海維度指標數據集時間范圍過濾條件分析五要素分析需求：2022年中國分城市

10、GMV數據取數服務消滅煙囪-統一語言OAX案例+GMV整體 +GMV分城市 +GMV同比OAX DSLNative SQL翻譯分析需求：2022年中國分城市GMV（占比，年同比）維度指標數據集時間范圍過濾條件消滅煙囪-統一查詢引擎緩存加速層SQL構建層元數據層（數據集）查詢構建層執行計劃層引擎查詢層AST樹構建SQL構建緩存構建緩存預熱淘汰模型維度指標表達式權限DAG計劃構建查詢適配器引擎查詢視圖查詢構建二次加工計算HIVE Druid其他CH Mysql執行引擎看版分析大屏取數分析應用分析查詢引擎統一DSL（OAX）Dag計劃/查詢優化元數據驅動緩存管理適配引擎查詢與結果處里消滅煙囪-統一化

11、產品收集歷史功能最小功能集可擴展架構擴展能力平滑遷移RedisHbaseDruidHive統一數據集補齊功能n個，優化體驗n個語義模型統一查詢引擎補齊功能n個，優化體驗n個查詢模型統一語言（OAX）補齊功能n個，優化體驗n個計算服務取數補齊功能n個優化體驗n個可視化補齊功能n個優化體驗n個分析補齊功能n個優化體驗n個推送補齊功能n個優化體驗n個門戶補齊功能n個，優化體驗n個消滅煙囪-成果收益用戶體驗月活用戶提升87.5%滿意度評分上升至4.5+，NPS60+資源成本節省至少5HC開發人力 節省了對外采購費用研發效能線上問題數周均：下降63%產品體驗問題周均：下降69%研發Oncall投入：下降

12、+50%分析門檻高-問題分析與解決思路原因分析：1.數據表直接面向用戶：使用數據表需要理解數倉和數據引擎(CK、Hive、Druid等)，門檻高，讓很多同學對大數據有畏懼心2.缺少易用的分析工具：SQL取數（寫SQL）為主要的數據分析工具，對DA更友好，但對產運門檻高解決思路：構建自助分析工具，降低門檻引入數據語義層，將數據表抽象成業務視角的指標維度，屏蔽底層數據表構建低門檻的多維分析產品，讓用戶通過簡單產品交互即可完成數據分析構建自助分析工具-統一數據集方案統一數據集=數據模型+指標維度集合五元組訪問協議HiveCKMySQL指標取數可視化數據推送門戶數據取數服務.統一數據集五元組訪問協議（

13、數據集維度+指標+時間+過濾條件）數據模型關系(星型模型、雪花模型等)指標維度集合統一數據集為數據語義化中間層，將數據抽象成指標維度集合，解耦底層異構數據源和上層數據應用 五元組訪問協議：已經成為快手BI領域標準訪問協議，廣泛應用于各類數據應用產品 指標維度集合：基于數據模型定義的指維度，形成的指標維度集合 數據模型關系：用戶可以通過SQL或可視化方式構建構建數據模型關系（星型模型、雪花模型等），形成一個數據集HiveCKMySQL指標取數可視化數據推送門戶數據取數服務.構建自助分析工具-統一數據集架構ClickHouse文件邏輯表邏輯表邏輯表邏輯表模型模型模型模型數據集數據集數據集數據集指標

14、指標維度指標指標維度指標指標維度指標指標維度物理層邏輯層模型層語義層數據報告數據可視化數據分析數據共享應用層11N1N1N N模型化邏輯化語義化服務化統一數據集三層抽象，提供統一數據集服務（元數據，查詢）構建自助分析工具-多維分析技術架構標準化協議：標準五要素訪問協議可擴展架構：可視化組件，高級分析函數，數據源高速查詢引擎：支持異步降級查詢，支持對數據集進行緩存、物化、預熱生態開放化：標準化分析可視化對內互聯互通，對外提供多種開放SDK，API，RPC能力，業務按需集成架構特點輕量化ETL直連接入數據集多維分析整體技術架構數據準備數據分析模型信息指標維度構建自助分析工具-成果收益多維分析平臺讓

15、更多業務同學從“提數據需求”到“自助數據分析”，極大推進業務自助分析效率 更多人開始分析數據：總查詢人數增長29%，成為產運主要分析工具。更多人依賴自助分析產品：自助分析產品查詢人數占比增長到76%整體分析效率提高：調研發現97%的人認為自助取數工具明顯提升了工作效率數據質量差-問題分析A同學定義指標活躍用戶數SQL數據加工1生成數據集A制作報告1數據表B同學定義指標活躍用戶數SQL數據加工2生成數據集B制作看版2C同學定義指標活躍用戶數SQL數據加工3生成數據集C制作推送3數據生產者數據消費者活躍用戶數?活躍用戶數?活躍用戶數?風險1不同人對指標定義不同風險2不同數據開發加工邏輯不同重復確認

16、口徑重復加工數據重復建設數據集占用資源X 命名不一致X 加工不一致X 口徑不一致問題分析=最終數據口徑與質量難保障數據質量差-解決方案數據倉庫定義指標口徑A指標加工A構建數據集數據報告定義指標口徑A指標加工B構建數據集數據分析定義指標口徑A指標加工C構建數據集數據推送數據源數據源數據源傳統BI架構：多處定義，多處加工，多處使用指標中臺數據倉庫定義指標口徑A指標加工A數據服務數據報告數據分析數據推送數據源數據源數據源統一數據服務統一分析查詢引擎統一API自動構建數據集HeadLessBI架構：一處定義，一處開發，一處服務，多處復用HeadLessBIHeadLessBI-技術架構DruidKwa

17、iBI專題分析業務，場景，經營.業務系統指標/維度管理表管理數據集管理智能模型構建模型檢索HBASE模型層數據存儲元數據層非標數據集標準數據集OneMetric統一指標管理OneService統一數據集服務模型層服務層查詢服務元數據服務應用層HeadLessBI 成果收益模式UGC非標準數據集PGC標準數據集質量各自定義多種口徑統一定義統一口徑 效率反復開發各自服務一次開發多處使用成本重復計算多份存儲一次計算一份存儲收益數據問題多指標數100w+單數據集平均查詢人數：10人單數據集平均查詢次數：600無D0/D1事故指標數3w+單數據集平均用戶數：100+單數據集平均查詢數：2w+定義指標M1

18、專業數據開發者數據消費者開發數據表加入數據集取數可視化推送綁定指標PGC數據表定義指標M1SQL定義口徑取數可視化推送定義指標M1SQL定義口徑定義指標M1SQL定義口徑新建數據集新建數據集新建數據集生產者消費者UGC“UGC的服務模式”（用戶自己定義指標，自己使用）“PGC的服務模式”（指標統一由專業同學定義開發，用戶直接使用）實踐總結-快手一站式BI平臺整體架構快手-大數據計算和存儲快手-數據智能開發和管理平臺ClickhouseDruidHiveExcel/CSVRedisMysqlDocs數據源生產統一數據集服務（分析查詢引擎）數據建模指標中臺指標維度術語名詞業務邏輯邏輯表管理模型構建

19、模型物化模型服務數據集管理智能取數服務元數據服務接入準備應用取數SQL取數分析報表數據門戶自助分析模板取數Notebook指標取數PC看版移動端數據大屏數據監控/推送異常監控智能歸因構建門戶門戶運維KIM推送業務部門個人經營 找數 取數 分析 報表 監控 預警業務門戶郵件推送可視化數據資產增強分析圖表分析交互多端組件資產信息血緣信息產出信息異常波動表達式消費場景服務元數據中心權限中心快手BI平臺實戰案例3快手一站式BI平臺-UGC模式實戰案例自助分析手機移動端業務門戶配置看板辦工軟件配置大屏推送播報kwaiBI 一站式自助分析平臺運營門戶數據集業務或個人數據消費場景作戰室大屏智能預警數據源A數

20、據倉庫數據源B數據源C數據源D數據源E接入服務應用數據源A數據源B數據源C手工建模指標指標維度定義指標SQL加工整表接入數據源接入123數據集開發數據表數據分析產品消費側UGC手工構建模型定義指標口徑生產側UGC模式：用戶自助進行數據加工與分析，一站式體驗快手一站式BI平臺-PGC模式實戰案例業務數據集市管理開發數據模型指標中臺新增指標業務指標體系數據分析產品電商業務線，各分析需求 (看大數，監控，推送，分析，專題定制）消費側生產側經營數據集A業務主題數據集B業務主題數據集C業務主題數據集E自助分析手機移動端業務門戶配置看板辦工軟件配置大屏推送播報業務主題數據集FkwaiBI 一站式自助分析平

21、臺運營門戶電商數據集市電商業務消費場景作戰室大屏智能預警PGC數據源A數據倉庫數據源B數據源C數據源D數據源EPGC模式：HeadLessBI x 一站式BI，業務分析提效10倍接入服務應用快手一站式BI平臺-數據準備預覽手工建模（構建UGC數據集）自動建模（構建PGC數據集）指標中臺指標/維度管理數據表管理數據集管理維表維表維表維表維表維表維表維表維表維表維表維表維表維表維表維表維表維表星座模型雪花模型星型模型自動建模自動建?？焓忠徽臼紹I平臺-數據應用預覽取數（SQL/模板/拖拽）分析（自助拖拽/代碼）可視化(看版，移動端，大屏)數據門戶數據推送/監控告警總結與未來規劃4思考總結BI商業智能AI人工智能曾發生了什么？為什么曾發生什么？將來會發生什么？我們該做什么？事后諸葛有所洞察洞燭先機難度價值低高低高自動化決策自動決策現狀與未來BI自助化AI智能化更全面更高效更易用智能分析智能配置智能運維統一化建設，消滅煙囪 BI分層架構 統一化產品自助分析工具，降低門檻 統一數據集 多維分析工具HeadLessBI，提升質效 指標中臺 PGC數據服務體系化建設未來現在THANKSK+峰會北京站官網AiDD峰會北京站官網