DataFunSummit-羅雷-0921.pdf

1、DataFunSummitDataFunSummit#20242024融合融合 ChatBIChatBI 與與 HeadlessBIHeadlessBI 新新一代數據分析平臺實踐一代數據分析平臺實踐羅雷 騰訊音樂架構師數據分析平臺現狀架構演進思考ChatBI與HeadlessBI融合實踐未來展望01數據分析平臺現狀 SQL學習門檻高 業務難以理解復雜的庫、表、字段信息業務團隊痛點 數據分析場景有限，難以支撐復雜需求 學習門檻較高 缺乏數據解讀，業務需導出數據自行解讀 看板不靈活，難以滿足復雜、靈活的需求 開發效率低SQL探索式拖拽式看板式業務團隊訴求業務團隊數據團隊按業務需求制作報表業務團隊提

2、需求當前報表不支持某個緯度下鉆這個指標口徑是啥業務方主導數據分析平臺查找業務數據或報表方便支持對話式查詢業務數據并展現支持自行分析數據方主導數據分析平臺本質上：元數據+SQL +報表展示簡單模式當前模式：數據團隊保姆式服務期望模式：業務團隊自助式分析數據團隊智能化模型標準化將數據主動權交到業務團隊中；業務方可以自由、靈活的進行可視化分析取數后自行解讀由業務團隊向數據團隊提需求；數據團隊排期、寫SQL、制作報表；業務方再從報表中取數；緯度表事實表緯度表事實表DNMND1,D2M1,M2D1,D3,D4M2,M4,M5事實寬表緯度寬表事實寬表數據集1數據集2數據集N 口徑無法統一：指標定義散落在各

3、數據集，邏輯不一致 指標無法復用：指標重復且分散，無法統一對接應用系統 指標治理困難：無法統一治理，定義大量數據集、權限冗余等數據團隊痛點BI平臺業務系統其他系統應用層應用層.業務數據日志數據第三方數據原始數據層原始數據層數據加工層數據加工層02架構演進思考原始數據層原始數據層緯度表事實表緯度表事實表引入Headless BI：解決數據治理問題BI平臺業務系統其他系統應用層應用層指標(原子)指標(衍生)緯度1緯度2Headless semantic layer semantic model指標口徑統一、指標可復用、權限可控、易于治理業務數據日志數據第三方數據數據加工層數據加工層Semantic

4、 LayerSemantic ModelHeadless BI架構設計緯度管理自定義緯度緯度值設置指標管理指標市場緯度市場原子指標衍生指標權限管理主題域/模型行列權限指標/緯度緩存加速層SQL解析SQL優化元數據術語管理主題域/模型管理物化/血緣管理DashBord其他BI系統業務系統JDBCS2SQLApplication Layer-基于庫表字段定義語義模型定義緯度、指標、模型等語義對象-引入語義查詢語言S2SQLSELECT 緯度名,SUM(指標名)FROM 模型名WHERE 緯度名1=xx GROUP BY 緯度名2-將S2SQL翻譯成物理SQLSELECT field1,SUM(fi

5、led2)FROM table1WHERE field2=xx GROUP BY field1HeadlessDatabase LayerRest API引入Chat BI：解決業務易用性問題自然語言自然語言零門檻，支持語音、快速上手自由探索自由探索個性化，靈活表達界面統一界面統一集中式，多端統一隨問隨答隨問隨答7x24小時，秒級回復問答模問答模式式基于大模型問答交互帶來全新的服務模式當前基于Chat BI 查詢存在的問題數據安全涉及元數據（庫、表、字段）以及業務數據泄漏復雜SQL生成難多表join、引擎方言、計算公式、SQL生成難度高，容易產生幻覺私域知識識別難私域實體對象無法有效識別權限無

6、法管控數據行列權限無法有效管控問題Physics SQL LLM Chat BIQuestion+Prompt來源：DIN-SQL-Decomposed In-Context Learning of Text-to-SQL with Self-Correction發現創新點：融合chat BI+headless BILLMSemantic LayerS2SQLPhysics SQLPhysics SQLChat BIHeadless BI行業現狀，獨自發展Physics SQLChat BI +Headless BI取長補短，融合互補Natural languageNatural langua

7、geSemantic LayerS2SQLLLM 復用Headless層的語義模型，權限、緩存等由Semantic Layer來處理。多表join、計算公式、時間函數、數據庫方言等由Semantic Layer處理，降低LLM生成SQL難度復用語義對象，降低LLM生成復雜度發現創新點：融合chat BI+headless BILLMSemantic LayerS2SQLPhysics SQLPhysics SQLChat BIHeadless BI行業現狀，獨自發展Physics SQLChat BI +Headless BI取長補短，融合互補Natural languageNatural l

8、anguageSemantic LayerS2SQLLLM 復用Headless層的語義模型，權限、緩存等由Semantic Layer來處理。多表join、計算公式、時間函數、數據庫方言等由Semantic Layer處理，降低LLM生成SQL難度復用語義對象，降低LLM生成復雜度03ChatBI與HeadlessBI融合實踐融合Chat BI+Headless BI 初始版本Semantic ParserSemantic LayerNatural Language S2SQLPhysics SQLQuestion+PromptS2SQLChat BISemantic ModelHeadle

9、ss BI LLM 語義名稱語義類型定義權限歌曲名緯度song_name緯度權限設置數據日期緯度（分區）imp_date-播放量指標play_cnt指標權限設置結算播放量指標js_play_cnt指標權限設置總播放量指標（衍生）play_cnt+js_play_cnt指標權限設置熱歌術語結算播放量大于1000000的歌曲-Semantic LayerPhysics SQL優化器優化行列權限緩存SQL轉化Schema Mapper:提升語義實體識別準確性Semantic ParserSemantic LayerNatural LanguageS2SQL方案Schema MapperEmbeddi

10、ngMapperKeywordMapper向量庫Physics SQL詞典基于語義相似度（向量空間距離）語義名稱語義類型定義value歌曲名緯度song_name一路生花數據日期緯度（分區）imp_date-播放量指標play_cnt-結算播放量指標js_play_cnt-總播放量指標（衍生）play_cnt+js_play_cnt-熱歌術語結算播放量大于100000的歌曲-基于文本相似度（編輯距離）Schema ElementsSemantic ModelSchema Elements召回文本相關的語義對象QueryFilterMapper：支持Copliot Chat模式Semantic

11、ParserSemantic LayerNatural LanguageS2SQL方案Schema MapperEmbeddingMapperKeywordMapperPhysics SQLQueryFilter Mapper#QureyFilterTable:歌曲庫Values:歌曲名=離別開出花外部系統Schema Elements限定當前頁面關聯的數據語義Semantic Corrector:解決大模型幻覺問題Natural LanguageS2SQL方案Physics SQLSemantic CorrectorSemantic ParserSchema MapperSemantic L

12、ayerS2SQLSchema ElementsGrammarCorrectorTimeCorrectorSchema Corrector周杰倫2015年之后發行的結算播放量大于100萬歌曲有哪些?LLM S2SQLSchema CorrectorGrammar CorrectorTime CorrectorNatural Language記憶管理：持續學習領域知識Natural LanguageS2SQL方案Physics SQLSemantic CorrectorSchema ParserSchema MapperSemantic LayerS2SQLSchema ElementsChat

13、 Memory向量庫上下文信息短期記憶：存儲最近幾次對話信息，用于多輪對話長期記憶：將評估正確的對話上下文信息存儲到向量庫，持續學習積累模型領域知識recall exemplarsbuild prompt Schema Parsergenerate S2SQLLLMChat context:question、exemplars、S2SQL、schemaevaluate引入Agent：解決復雜數據需求方案Planner AgentPlanActionResult ProcessorPlanActionResult ProcessorPlanActionResult ProcessorText2SQL AgentDashboard AgentOther AgentSemantic LayerSemanticCorrectorSchema MapperSemantic ParserQuestion將Mapper、Parser、Corr瘀幎敥帀鵠鵠面鐀桎湹鐀灜彎萀祫刀幟汫剭幟汫一伀倀吀瘀鑎倀勻葤