《數勢科技:大數據大模型構建企業新一代智能分析Agent釋放數據要素價值(29頁).pdf》由會員分享,可在線閱讀,更多相關《數勢科技:大數據大模型構建企業新一代智能分析Agent釋放數據要素價值(29頁).pdf(29頁珍藏版)》請在三個皮匠報告上搜索。
1、岑潤哲數勢科技|數據智能產品總經理大數據+大模型:構建企業新一代智能分析Agent,釋放數據要素價值分 享 主 題目 錄數據民主化:實現數據要素價值釋放的關鍵01解決思路分享:指標平臺與AI Agent能力融合,突破數據價值化難題02落地案例分享:圍繞消費零售與金融行業,解析Data+AI如何釋放數據要素價值03總結與展望:重點突破的難點和未來展望04當前集中式數據分析的企業現狀與痛點從集中式到民主式數據分析的演進過程民主式數據分析賦能企業每一個公民實現從數據消費到決策數據民主化:實現數據要素價值釋放的關鍵企業集中式數據分析現狀:數據需求無限,開發資源有限,需求排隊嚴重數據工程師雜亂數據源數據
2、需求需求排隊產品運營團隊數據開發開發完成IT部門供應鏈團隊會員運營團隊門店經理客服團隊從集中式到民主式數據分析的演進過程粗曠式集中式/分散式發展階段低高民主式分析效能階段特點小規模、小數據分析分析可靠性不穩定,不靈活通常在個人層面閉環中等/大規模數據分析分析效率不穩定,質量差,依賴路徑較長。響應慢大規模、海量數據分析全體用戶級自助式分析分析到決策制定鏈路短,響應快參與人群規模少數個體中等大規模用戶角色獨立分析師IT開發團隊、商業分析師數據科學家、數據分析師企業公民分析工具Excel、SQL、IDE ToolsBI工具、Excel、notebook.指標平臺、大模型、生成式BI、.民主式數據分析
3、:讓企業內每一個公民可以實現從數據消費到決策數據消費者數據應用核心價值過往當前未來受眾群體=1%業務決策者財務等數據“依賴者”受眾群體=15%+BI分析師+業務分析師受眾群體=95%+業務全員+上下游合作伙伴WhatWhat&WhyWhat&Why&How數據分析工具Excel數倉+BI指標語義層+大模型數據業務化:以指標體系和指標平臺彌合業務人員與技術人員的數字鴻溝,實現數據即業務數據價值化:為人人配上數據智能小助手AI Agent,讓數據獲取和洞察像聊天一樣簡單解決思路分享:指標平臺與AI Agent能力融合,突破數據價值化難題數據業務化:以指標語義層和指標平臺彌合業務人員與技術人員的數字
4、鴻溝統一語義層(Unified Business Semantic Layer)是現代數據棧中的一個獨立且可互操作的部分,它位于數據源與數據使用者之間。統一語義層使得所有的數據端點,無論是BI(商業智能)工具、嵌入式分析,還是AI Agent,都能使用相同的業務語義和底層數據,從而得到一致且可信賴的洞察。數據源統一語義層數據應用指標語義層怎么建:倉內語義(NL2SQL)繁瑣復雜,業務指向性差數據湖數據應用數據倉庫集市層數據倉庫DW層指標呈現數據集存儲及加工原始數據表1原始數據表3原始數據表n數據應用表1事實維度寬表 V2.0數據應用表n維度表維度表事實明細表事實明細表原始數據表2維度寬表帶有維
5、度的輕度匯總表數據應用表2數據應用表3帶有維度的輕度匯總表BI工具數據集1數據集2支付人數22,000數據上傳維度數據大屏數據集3交易人數25,000數據同步交易人數22,000訪問人數100,000ODS-DWD-DWS-ADS,語義建在哪一層?數據產品經理、數據開發、終端數據使用者,誰來建數據語義?指標語義層怎么建:倉外語義靈活便捷,更加貼近業務數據湖數據應用指標語義層(由指標平臺低代碼實現)數據倉庫DWD原始數據表1原始數據表3原始數據表n維度表維度表事實明細表事實明細表原始數據表2數據大屏BI工具借款人數原子指標渠道維度期限月至今統計周期昨日規范化加工原子指標、維度等積木式組裝派生和衍
6、生指標昨日A渠道借款人數昨日A渠道貸款頁訪問人數昨日借款轉化率借款轉化率周環比指標API服務貸款頁瀏覽人數指標語義層:指標字段所需維度統計周期聚合方式約束條件統計步長元數據信息Data Agent數據建模右移,更貼近數據消費endpoint,更便于LLM Agent 規劃推理;基于虛擬層做數據編織,口徑管理更靈活、便捷Data Agent怎么建:倉外語義LLM Agent方案-NL2semantic數據可信,準確率高 預設數據指標的定義與管理,避免業務理解對不齊 借助思維鏈分析與歧義反問,提升泛化性,避免直接從文本到SQL學習成本低 無需對大模型做預訓練,僅需依據指標語義和知識庫做用戶意圖理解
7、,增強prompt語義 全流程白盒,企業客戶用業務語言描述查詢過程,方便快速排查性能提升且穩定 基于自研的數據查詢加速引擎,智能優化查詢語句 P95 可實現 從檢索到回答的 秒級出數數據安全可保障 利用指標分析平臺的權限管理能力,結合RBAC基礎,對數據與指標進行精細化的權限管控,實現數據查詢的安全可控 能力覆蓋更全 高級數據分析問題,可通過精準的指標進行關聯與展示,實現單項數據可查、報表可展示、總結報告可生成數據查詢任務大語言模型意圖理解指標查詢SQL服務查詢結果輸出用戶指標SQL轉換指標定義結合大模型+指標分析平臺,NL2semantic,提供更優方案指標轉換意圖理解&指標關聯用指標關聯的
8、SQL做數據庫查詢對話式數據查詢企業數據中臺Data Agent方案創新點:NL to Semantics vs NL2SQL1最近7天A門店的訂單量是多少?2XXX商品今年累計賣了多少?3今年XX商品的交易金額與退貨金額分別是多少?4XX品牌最近3個月銷量最好的Top3商品是哪些?這三個分別的好評率是多少?幫我解讀下5華東區XX商品的下單金額周環比為什么下降了?任務難度系數難點枚舉值轉維度枚舉值轉維度指標語義模糊指標語義模糊跨表多指標查詢日維度上卷年維度多任務規劃指標取數結果排序衍生計算多維歸因報告解讀NL2SQLNL to Semantics可實現可實現可實現但不準可實現且準確難實現可實現
9、且準確難實現可實現但不準可實現且準確可實現且易理解枚舉值轉維度同環比計算場景數據分析訴求時間維度產品維度數據指標數據維度任務指令地域維度公司維度智慧門店:萬店連鎖新消費企業,如何用數勢SwiftAgent打造新一代智慧門店經營決策體系智慧金融:大模型+Agent+指標語義層,提升領導駕駛艙從數據到價值的快速轉化。落地案例分享:圍繞消費零售與金融行業,解析Data+AI如何釋放數據要素價值某零售消費案例背景:承接數字化轉型戰略,建立一套經營決策的指標分析體系在原有的數據倉庫基礎上,構建一套完整的指標體系框架,并幫助其打造一套可供戰區負責人(管理團隊)和門店督導(一線業務人員)快速使用的低門檻智能
10、數據分析助手,推進數字民主化進程總部視角萬元盈利率GMV凈利毛利加盟商督導顧客渠道GMV渠道毛利門店運營成本QSC稽核紅燈綠燈新品銷售達成大眾點評星級美團外賣星級餓了么外賣星級小程序差評率抓價格抓品質抓服務抓體驗發現問題形成改善策略落地執行衡量標準門店精細化分析場景統一數據資產(指標+標簽體系)解決思路:以產品分析和門店運營切入,建設統一的分析思路、語言和工具統一的分析工具統一的分析語言統一的分析思路智能數據資產(指標)平臺大模型分析助手管理層決策看板產品分析支撐產品上新、營銷、下架的管理決策;門店健康度分析賦能管理到執行的運營策略優化構建統一財務經營、門店運營、門店管理、商品分析場景的指標體
11、系,讓分析能夠進行多維度下鉆打造基于統一數據的決策體系和策略診斷的支持工具指標體系設計框架財務經營域門店運營域產品&供應鏈&外賣門店管理域指標維度6029x指標/標簽維度6324x指標維度2227x指標維度2434x面向門店督導人員的運營指標體系(統一語義層)門店運營域稽核類指標是否監控異常目視化合格率基礎服務合格率清潔衛生合格率產品品質合格率食品安全合格率紅線合格率稽核分數外賣點評合格率是否串貨是否紅燈執行類指標QSC線上稽核整改完成率QSC線下稽核整改完成率是否完成慧運營開店任務上傳是否完成慧運營值班任務上傳是否完成慧運營打烊任務上傳是否完成慧運營周月清任務上傳是否完成慧運營運營管理人員“
12、門店工作日”任務上傳督導積分制督導平均積分培訓類指標是否完成上新產品動作一是否完成上新產品動作二是否完成上新產品動作三是否完成上新產品動作四是否完成上新產品動作五是否完成產品周周訓是否完成督導周周訓是否完成商學院推送學習任務是否通過新督導學習是否通過店長訓學習是否通過累計“回爐”訓練獎懲類指標罰款金額獎勵金額獎勵事由管理類指標門店首單時間分級類指標門店分級客訴類指標客訴責任率運營類指標口碑類指標督導人數督導平均司齡督導平均管轄城市數督導平均管轄店數門店合格店長配置率店均店員數(店長+店員)完成店長訓人數本年累計督導離職人數本年累計店長離職人數店長打卡完成率分公司培訓人員在崗率分公司營銷人員在崗
13、率NPS小程序差評率小程序店均差評數大眾點評星級點評好評數點評差評回復率點評差評率美團外賣星級美團好評數美團差評率美團差評回復率餓了么外賣星級餓了么差評率餓了么外賣好評數餓了么差評率回復率門店管理域門店總覽拓新類指標地址轉讓總門店數總加盟商數加盟商帶店率應營業門店數營業門店數平均營業門店數新簽門店數新簽加盟商數新簽轉址轉讓門店數新簽轉址轉讓加盟商數新開門店數新開轉址轉讓門店數凈增長營業門店數籌建門店數凈增長門店數試營業門店數轉址門店數轉讓門店數解約&閉店已閉店門店數已閉店待解約門店數暫停營業門店數解約門店數商品商品點踩率商品點贊率流水占比杯量占比供應鏈平均采購價格供應鏈平均售價供應鏈理論毛利額
14、供應鏈理論毛利率曝光UV進店UV下單UV進店轉化率下單轉化率曝光下單率曝光UV(商圈同行前10%均值)進店UV(商圈同行前10%均值)下單UV(商圈同行前10%均值)進店轉化率(商圈同行前10%)下單轉化率(商圈同行前10%)曝光下單率(商圈同行前10%)廣告交易額提升訂單數推廣消耗投入產出比供應鏈外賣面向門店督導人員的SwiftAgent助手如何賦能門店稽核(Demo演示)某金融機構智能分析AI Agent實施架構與支持場景基座大模型(智能)SwiftAgent數據分析助手(產品)企業多源異構數據(信息)數據倉庫數據湖業務系統數據庫指標與標簽管理需求管理生命周期管理質量管理分類管理指標與標簽
15、開發快速配置開發低代碼開發指標與標簽定義字典屬性定義動態屬性模板元數據管理高性能指標標簽加速引擎(HCAE)數據源管理SwiftAgent規劃器(用戶意圖識別、復雜任務拆解、工具調用等)國產大模型基座(百川/智譜/文心/千問等)自定義指標資產交互式指標標簽查詢智能歸因與預警數據分析場景(應用)Prompt微調模型微調信貸業務指標分析信用卡業務指標分析財務指標洞察多維客戶畫像分析行內經營分析指標洞察財富管理指標分析對公業務指標分析代發業務分析客群畫像分析智能報告生成與共享Data Integration LayerSemantic LayerApplication LayerScenario 非
16、結構化數據管理非結構化文檔SwiftAgent在某金融機構支持的核心場景以該金融機構的數據應用場景為例,通過自然語言指標取數,系統能夠快速準確地獲取相關數據;智能歸因分析則幫助找出業務發展中的關鍵因素和問題所在;自動報告生成則以直觀的方式呈現分析結果,為銀行的決策制定、風險管理、業務優化等提供有力支持。這些場景展示了在銀行業中運用自然語言處理和數據分析技術的重要性和實用性,有助于提高銀行的運營效率和決策科學性。01信用卡業務分析常見問題如:“信用卡逾期率最高的客戶群體是哪些”,系統通過自然語言交互形式,從信用記錄、消費行為、收入情況等多維度數據,找出逾期率最高的客戶群體特征,以便銀行采取針對性
17、的措施降低風險02理財產品銷售分析理財經理需要了解上個月理財產品的銷售情況,詢問“上個月哪幾款理財產品銷售額最高”,系統通過自然語言指標取數,幫助理財經理了解市場需求,優化產品推薦策略06財務分析財務部門經常詢問“各項業務對利潤的貢獻比例是怎樣的”,系統通過智能歸因和自動報告生成,綜合考慮各項業務的收入、成本、風險等因素,計算出各項業務對利潤的貢獻比例,并以圖表和報告的形式展示,幫助財務部門進行成本控制和利潤優化05風險評估在評估貸款風險時,詢問“近期貸款違約主要集中在哪些行業”,利用智能歸因分析,找出貸款違約集中的行業領域,為信貸部門調整信貸政策、加強風險管理提供重要依據。03客戶行為分析運
18、營團隊提出“客戶流失率與哪些因素相關”,系統進行智能歸因分析,找出導致客戶流失的關鍵因素,如服務質量不佳、產品缺乏競爭力等,為銀行改進服務提供依據。04分支行業績對比領導想要比較各分行的貸款業務總量,詢問“A分行和B分行今年的貸款業務總量對比如何”,系統通過自然語言取數與報告生成,為總行領導提供業務指導提供參考。SwiftAgent在某金融機構支持的核心場景自然語言表述的模糊性如何解決業務場景內的專有名詞黑話如何讓大模型理解如何突破當前ChatBot的產品形式并進化為真正的“增強分析”總結與展望:重點突破的難點和未來展望難點1:當用戶提問模糊的時候,怎么提升交互體驗容錯原則(Help user
19、s recognize,diagnose,and recover from errors)理想中的“讓用戶隨便說一句話,大模型產品馬上開始完全自動化執行”,往往是不太可能的,因為用戶天生就是“懶”的,而且語言本身也具有一定的模糊性,因此在產品設計環節里,可以增加反問模塊,讓大模型更好的理解用戶需求,一步一步把需求“精細化”,提升正確結果概率,增加使用者的信任感最近是多近?7天?30天?60天?什么渠道???線上渠道?線下渠道?三方渠道?按下單口徑的訂單量還是按支付成功口徑算的訂單量?是按一個區間做同比分析還是按時點?Human-in-the-loop:用戶可干預,讓LLM反問并協助澄清希望查詢哪
20、個時間段的總資產情況?例如,是最近7天、最近1個月,還是今年年初至今的統計數據?您也可以自定義時間窗口藍色代表可點擊的快捷按鈕,給用戶提供一個可點選的快速通道同時情況1和情況2提供自定義時間窗口供用戶精準篩選情況1:時間維度表述不清楚情況2:指標表述不清楚難點2:業務場景內的專有名詞黑話如何讓大模型理解貼近場景原則(Match between system and the real world)利用大模型原生的知識庫技術(ex.RAG),來更好地讓用戶說他熟悉的用詞、短語和黑話,而不是強迫他說系統術語。用戶運營部門理解活動運營部門理解經營分析部門理解“數據表現”=新客首單人數、成熟用戶復購人數
21、、流失召回人數“數據表現”=活動PV/UV、完成活動人數、活動帶來的GMV“數據表現”=門店營收、門店成本、門店利潤、各類損耗指標大模型:你到底要哪個???通過知識庫配置讓大模型讀懂每個企業內部的“黑話”與“行話”后臺知識庫管理范圍如文檔性知識、QA對問答樣例、客服FAQ等通用文檔不同的業務角色在提出相似的問題時,分析場景和常用維度肯定是不一樣的,因此需要預置讓大模型理解。舉例:當用戶運營團隊分析“門店情況”時,更多看的是新客首單人數、成熟用戶復購人數、流失召回人數這類指標;而經營分析團隊提出相似問題的時候,更多看營收、成本和利潤類指標場景分析模版企業內部的專有名詞管理(如指標的在企業內的常見簡
22、稱、縮寫,還有一些行業或者企業內部的黑話)R12M 指的是Rolling 12 Month年級指的是會員年限新客代表新增有效會員數企業內部專有名詞SwiftAgent產品內置企業知識庫配置區域多源數據讀?。杭嫒莶煌袷降臄祿x取和處理,例如Word、PDF、CSV等向量召回:查詢向量數據庫,并得到相似度TOP的文本塊Prompt構建:按照一定的規則組合Prompt,提高問答的準確率。文本向量化:清洗數據,將文本切塊,并向量化存入數據庫中。難點3:如何突破當前ChatBot的產品形式并進化為真正的“增強分析”我現在是拿到我想要的數據了,然后呢?我接下來可以問什么類型的問題?老板肯定不止要一份“數
23、據”,要的是結論呀難點3:如何突破當前ChatBot的產品形式并進化為真正的“增強分析”產品分析模型分析目標產品上新分析產品活動運營產品下架評估分析方法市場洞察行業趨勢競品活動分析產品評價診斷產品點踩率分析產品效率診斷產品銷售貢獻分析活動ROI分析產品毛利與銷量矩陣供給能力診斷門店庫存分析策略支持 洞察消費者滿意度,找到潛在爆品 幫助產品定級,合理評估投產比,讓營銷預算編制的更準確 優化產品售賣周期的營銷策略,抓住產品的流量紅利期,幫助帶來更多業績原料供給能力分析倉庫庫存分析訂單差評分析產品評價與銷量矩陣產品銷售與渠道交叉分析活動期間過程分析評價熱詞分析產品渠道毛利分析競品上新分析 洞察市場熱銷品類及時優化營銷策略 促進產品改進方向產品評價與銷量趨勢分析活動期間新品評價分析產品毛利趨勢分析難點3:如何突破當前ChatBot的產品形式并進化為真正的“增強分析”批量分析3篇引用智能分析 AI Agent 的未來展望能和人一樣總結歸納了升級為總結之后自動決策能生成一份報告-通過連接讓對應的系統自動執行大模型從能聽懂人話升級為幫人說話讓用戶提出問題-幫用戶生成適合這個場景的問題Listen-SpeakBasic Plan-Expert Strategy能像人一樣規劃了升級為像業務專家一樣規劃本科生的規劃能力-研究生/博士生的垂直領域的規劃能力Conclusion-Decision