基于統一語義層構建的智能化數據分析平臺.pdf

1、基于統一語義層構建的智能化數據分析平臺演講人：張仲良小米數據服務研發負責人2023 業務場景系統架構重要模塊產品介紹業務場景眾多的業務部門，復雜的業務需求 業務類型跨度大，含智能電子產品、IOT設備、互聯網、智能工廠等；數據種類多，互聯網數據量級大、研產供銷服業務數據復雜、人力和財務數據權限管控和數據加密要求嚴格；集成內部大數據平臺作為數據源，集成內部飛書IM，嵌入能力支持文檔嵌入、業務系統嵌入；系統架構數據服務平臺定位：數據中臺核心看數和用數平臺 數據服務平臺，讓用戶不再關注數據表的細節，基于數據語義進行分析，降低業務使用成本；語義模型是數據服務平臺核心組件，實現模型定義和語義查詢的核心能力

2、；數據服務平臺介紹：統一語義層、智能化、數據分析平臺 微服務化架構，各層獨立演進，以能力中心方式提供服務；支持業務方直接模型取數在平臺制作查看報表將報表嵌入業務系統系統主動Push簡報和預警消息 統一語義層，向統一數據服務演進；重要模塊數據資產：支持集團內各種常用數據源類型 在線數據、OLAP數倉、大數據，統一資產管理 數據分析平臺支持對各種內部常用數據源 目前僅支持JDBC訪問，未來可考慮支持KV數據統一語義層（語義模型）：強大的語義建模能力和數據處理能力語義模型對表格模型就行抽象，形成多維模型；同時通過公式計算、數據加速、HBO等能力，提供了更為復雜的數據加工、存儲優化和計算優化能力。統一

3、語義層：數據生產、數據查詢打通，消除查詢流量峰值 通過HBO預計算，降低峰值查詢壓力，降低用戶等待時間；數據工場針對實時查詢負載，提供優先保障；緩存命中率，是持續優化和提升的目標；統一語義層：行級權限，實現每個人看到不同的數據 基于表的行級權限：以SQL方式融入進模型SQL中；提供環境變量，例如“當前用戶”、“當前部門”等，替換SQL中的查詢條件；基于配置的行級權限：從權限系統獲取權限配置，直接對結果集進行數據過濾；統一語義層：細節打磨，提升性能 持續適配多存儲引擎細節；優化SQL結構，提升在特定存儲引擎的執行性能；根據數據特征進行建模場景輔助；選擇最適合場景的OLAP存儲引擎；智能分析：大大

4、提高分析的效率和質量 業務中大量關鍵指標，需要分析是否異常以及根據維度拆分異常的原因。產品介紹圖表：豐富的類型支持和定制開發、多樣化的展示樣式 頁面布局：頁簽、網頁嵌入 常用圖表：折線圖、餅圖、柱狀圖、條形圖、散點圖、儀表盤等 強調顯示：數字卡片、指標趨勢卡 定制開發：直方圖、雷達圖、矩形樹圖、詞云圖，持續添加 數據查看：表格、透視表（數據來源于公開數據集SSB）簡報、預警：實現數據找人，讓數據觸手可及 預警：復雜條件配置；定時監控；觸發IM消息/發郵件/開JIRA 簡報：Markdown富文本格式、嵌入指標和圖表、嵌入圖片嵌入式：讓數據和業務融合在一個平臺 利用米盾（內部訪問代理層）實現跨域名CAS統一登陸和網站域名安全獲取 嵌入圖表與業務組件聯動 適配業務系統顯示風格 權限可配置由BI平臺控制，也可由業務方控制（域名非真實域名）數據洞察：展示數據，同時展示數據波動的原因 根因分析：對數據點進行自動維度拆解，發現影響因素最大的維度成員組合 異常檢測：根據歷史數據，自動發現異常點，提醒注意 其他：智能預警（自動監測數據異常，發送IM消息主動提醒）；趨勢預測（根據歷史數據進行未來數據預測）感謝您的觀看演講人：張仲良小米數據服務研發負責人