《賈志鵬-大模型增強下的圖智能在金融場景的應用.pdf》由會員分享,可在線閱讀,更多相關《賈志鵬-大模型增強下的圖智能在金融場景的應用.pdf(20頁珍藏版)》請在三個皮匠報告上搜索。
1、大模型增強下的圖智能在金融場景的應用Fabarta圖智能解決方案架構師/賈志鵬目錄圖智能技術在金融領域典型應用圖智能技術當前遇到的挑戰如何結合大模型技術和圖智能技術應對挑戰案例分享圖智能技術圖智能技術一圖觀萬物,一圖勝千言一圖觀萬物,一圖勝千言什么是圖?基于圖論以點 (實體)和邊 (關系)描述現實世界中個體和個體之間網絡關系的數據結構。有哪些圖技術?圖數據庫、圖計算引擎、圖可視化、圖分析什么是圖數據庫?圖數據庫是基于實體和關系建模的數據庫系統。以點、邊為基礎存儲單元,以高效存儲、查詢圖數據為第一設計原理的數據管理系統。圖智能技術的發展趨勢和典型應用圖智能技術的發展趨勢和典型應用參與數據和分析比
2、例10%-80%10%-80%到 2025 年,圖技術將用于80%的數據和分析創新 而 2021 年只有 10%,將促進整個企業的快速決策組織中使用30%30%到 2023 年,圖技術會在全世界 30%的組織中促進快速的場景化決策 它將幫助找到數據中未知的關系,找到傳統分析方法中不易發現的價值AI50%/44%50%/44%圖構筑了現代數據以及分析能力的基礎 50%的Gartner客戶咨詢過圍繞圖技術的AI應用相關的話題 44%的全球 ML 的研究都與圖神經網絡相關來源:Gartner圖數據庫圖數據庫/圖分析平臺圖分析平臺非結構化數據非結構化數據(word,pdf,text,image,vid
3、eo.)半半結構化數據結構化數據(Json,xml.)結構化數據結構化數據(MySQL,Oracle等關系型數據庫,csv.)知識圖譜知識圖譜知識圖譜問答知識庫基礎圖譜基礎圖譜集團圖譜實控人圖譜客戶關聯圖譜圖智能分析應用圖智能分析應用反洗錢風控反詐騙圖智能技術當前在金融行業的應用圖智能技術當前在金融行業的應用業務業務系統系統業務業務前端前端用戶用戶半結構化數據結構化數據非關系型數據庫產生數據交互應用圖數據庫存儲圖計算引擎圖數據庫圖數據庫以圖結構存儲算法支撐知識圖譜知識圖譜數據獲取基于AI的知識抽取加工融合基于圖的知識存儲/計算基于AI的知識獲取/建模圖神經網絡/圖卷積網絡(GNN/GCN)圖算
4、法支撐圖數據+AI分析圖圖智能分析智能分析應用應用圖智能圖智能服務服務基礎圖譜基礎圖譜知識庫服務智能搜索智能問答虛擬助手反欺詐資金環路、回流檢測欺詐交易發現信貸申請欺詐團伙發現對公信貸申請欺詐發現反洗錢構建面向反洗錢的圖譜分析建模發掘可疑個體關聯數據進行團伙發現模型固化后自動化預警智能風控貸款流向異常分析貸款還款異常分析企業狀態異常分析企業違約風險分析智能營銷私人銀行潛在高凈值客戶挖掘私人銀行客戶生態圈分析對公客戶生態圈分析信用卡高價值成長路徑分析知識圖譜構建過程知識圖譜構建過程結構化數據半結構化數據非結構化數據實體抽取關系抽取屬性抽取第三方知識庫指代消解實體消歧實體對齊實體鏈接本體抽取知識推
5、理質量評估存儲計算知識圖譜步驟1:數據獲取步驟2:知識建模與知識獲取步驟3:知識融合步驟4:知識加工步驟5:知識存儲與計算知識融合知識融合基礎圖譜構建過程基礎圖譜構建過程源數據實體基本信息股權表上市公司表高管任職表執行事務合伙人表.股權穿透算法真實持股關系集團龍頭識別實控人識別算法集團識別算法實控關系集團成員關系企業圖譜實際控制人圖譜集團圖譜數據融通圖模式&圖計算圖探查 業務主題 圖譜類型 數據來源業務理解 面向主題,構建圖譜 實體/關系識別 數據映射 數據加工 針對圖譜數據進行業務/數據分析發現 結構性探查 圖算法分析 圖模式識別 通過數據/API/可視化的方式將分析結果集成到現有系統圖智能
6、分析流程圖智能分析流程建立圖譜圖智能分析應用流程圖智能分析應用流程發起業務訴求圖模型設計圖實例新建圖數據接入配置數據來源即加工方式梳理數據全量/增量接入可視化分析探查已有算法/規則參數調整或定制算法/規則執行分析圖數據折疊(關系加工)加工邏輯驗證業務校驗加工邏輯批量執行調度多輪調整驗證數據同步執行結果批量回寫入圖全量圖算法/規則投放業務應用全量圖算法/規則執行和管理結果集成數據查詢管理及計算資源調度圖圖智能技術當前遇到智能技術當前遇到的挑戰的挑戰1.圖譜構建成本高知識圖譜基礎圖譜如何加速圖譜的使用2.1 如何理解業務需求并選擇模式2.2.如何將圖數據結果更友好的呈現圖智能分析應用非結構化數據非
7、結構化數據(word,pdf,text,image,video.)半半結構化數據結構化數據(Json,xml.)結構化數據結構化數據(MySQL,Oracle等關系型數據庫,csv.)大模型輔助圖譜構建大模型輔助圖譜構建建圖方式建圖方式建圖場景建圖場景建圖思路建圖思路大模型如何輔助大模型如何輔助自動建圖 元數據之間的關系元數據之間的關系 根據元數據利用大模型進行自動建圖推薦,人工校驗 通過大模型進行元數據的補齊 結構化數據結構化數據的圖構建 根據元數據梳理的關系,自動構圖,比如社交網絡、供應鏈等 通過大模型進行自動映射的發現 非結構化數據非結構化數據:文檔段落之間的關系-粗粒度的圖結構 根據段
8、落抽取對應的圖 包括分級目錄結構 切片前后關系 文檔片段與標簽的關系 通過大模型對文檔進行初步切分整理 通過大模型進行實體關系提取 結構化數據與非結構化數據結構化數據與非結構化數據之間的關系(企業內典型的關系場景)組織機構關系 作者與文檔、代碼、工作項的關系 文檔引用關系 根據關系自動構建 通過大模型進行自動映射的發現半自動建圖 非結構化數據非結構化數據:(word/pdf等)實體、關系抽取 需要進行細粒度的圖譜構建 進行知識的抽取、積累 大模型進行實體關系抽??;根據抽取的反饋,大模型微調;基于微調大模型做實體關系抽取 人工校驗并入圖 根據需求可支撐不同場場景 可用于圖譜輔助大模型大模型問答;
9、可利用圖和向量融合方式結合智能體進行問答對公客戶基礎信息表字段名字段名字段中文名字段中文名KHBH客戶編號KHMCJYFWTYSHXYDM集團成員表字段名字段名字段中文名字段中文名jtcykhbhjtkhbhjtkhgx集團客戶關系etl_dt數據日期主合同_業務合同基本信息表字段名字段名字段中文名字段中文名cont_serial_no合同流水號cust_no客戶編號main_guar_mthdguar_serial_no字段名字段名字段中文名字段中文名GUAR_SERIAL_NOGUAR_CUST_NOMAIN_GUAR_MTHD主要擔保方式TYSHXYDM統一社會信用代碼擔保合同信息表原始
10、元數據補齊的元數據對公客戶基礎信息表字段名字段名字段中文名字段中文名KHBH客戶編號KHMC客戶名稱JYFW經營范圍TYSHXYDM統一社會信用代碼集團成員表字段名字段名字段中文名字段中文名jtcykhbh集團成員客戶編號jtkhbh集團客戶編號jtkhgx集團客戶關系etl_dt數據日期主合同_業務合同基本信息表字段名字段名字段中文名字段中文名cont_serial_no合同流水號cust_no客戶編號main_guar_mthd主要擔保方式guar_serial_no擔保合同流水號字段名字段名字段中文名字段中文名GUAR_SERIAL_NO擔保合同流水號GUAR_CUST_NO擔保人客戶編
11、號MAIN_GUAR_MTHD主要擔保方式TYSHXYDM統一社會信用代碼擔保合同信息表大模型智能元數據補齊Fine-tuned LLM with Domain Knowledge(調優典型模式:常見行業術語、拼音首字母縮寫、英文簡寫、英文簡寫與中文拼音混合)展示示例字段中文名為空:大模型無法使用,需補齊智能化補齊結果 元數據構圖元數據構圖-大模型輔助元數據補齊大模型輔助元數據補齊KHBH(客戶編號)jtcykhbh(集團成員客戶編號)jtkhbh(集團客戶編號)cust_no(客戶編號)cont_serial_no(合同流水號)guar_serial_no(擔保合同流水號)GUAR_SERI
12、AL_NO(擔保合同流水號)GUAR_CUST_NO(擔保人客戶編號)表間關系表內關系Fine-tuned LLM with Domain Knowledge+Vector search(向量相似度TopN+LLM處理)合同:合同號 作者 創建日期 審核日期.合同:合同號 作者 創建日期 審核日期.合同:合同號 作者 創建日期 審核日期.合同:合同號 作者 創建日期 審核日期.元數據構圖元數據構圖-大模型輔助元數據關聯關系發現和構建大模型輔助元數據關聯關系發現和構建結構化數據和非結構數據的元數據對公客戶基礎信息表字段名字段名字段中文名字段中文名KHBH客戶編號KHMC客戶名稱JYFW經營范圍T
13、YSHXYDM統一社會信用代碼集團成員表字段名字段名字段中文名字段中文名jtcykhbh集團成員客戶編號jtkhbh集團客戶編號jtkhgx集團客戶關系etl_dt數據日期主合同_業務合同基本信息表字段名字段名字段中文名字段中文名cont_serial_no合同流水號cust_no客戶編號main_guar_mthd主要擔保方式guar_serial_no擔保合同流水號字段名字段名字段中文名字段中文名GUAR_SERIAL_NO擔保合同流水號GUAR_CUST_NO擔保人客戶編號MAIN_GUAR_MTHD主要擔保方式TYSHXYDM統一社會信用代碼擔保合同信息表補齊的元數據元數據關聯關系發現
14、圖智能結合大模型在營銷場景下的應用圖智能結合大模型在營銷場景下的應用非結構化文檔圖片視頻組織結構代碼企業數據源結構化數據.GraphEngineVectorEngineFine-tuned LLMMultimodal DatabaseMultimodal Database大模型增強圖譜使用大模型增強圖譜使用圖Schema信息圖分析任務結果模式名稱模式名稱:關聯交易業務釋義業務釋義:三角計數模式指的是在一個金融交易網絡中,三個節點(通常代表市場參與者或交易實體)互相之間存在交易關系,從而形成一個閉合的三角形結構。這種模式反映了市場參與者之間的高度互動和復雜的交易關系。報告模版Fine-tuned
15、 LLM with Domain Knowledge圖數據查詢貸款企業公司A和公司實際控制人三度關系以內的交易中,有哪些企業是房地產行業相關的?圖分析結果查詢貸款企業公司A持有的賬戶2024年是否存在關聯交易?分析報告生成請給出貸款企業公司A的風險分析報告Text2CypherText2API智能體串聯編排圖智能結合大模型在金融風控下的應用圖智能結合大模型在金融風控下的應用實體關聯分析交易對手類型資金來源去向資金交易網絡分析系統自動生成風險分析系統自動生成風險分析報告報告圖智能分析大模型第三方數據信息機構內部數據信息政策知識庫多維分析圖譜模型分析專家/歷史經驗庫客戶變更信息客戶基本信息交易明細
16、信息工商信息外部協查信息歷史風險評級歷史可疑報告資金來源信息證照信息.圖數據存儲企業工商圖譜交易圖譜客戶關系圖譜政策解讀知識問答數據知識化圖增強圖增強RAGRAG元數據知識化解析/切片圖+向量多模態智能引擎向量化內容解析關系抽取元數據管理元數據補齊元數據關系數據血緣用戶問題回答前處理(元數據篩選|敏感詞過濾)混合查詢圖查詢結果|多路召回|rerankPrompt拼接答案生成答案后處理Agent任務調度Fine-tuned LLM圖查詢與分析向量相似度搜索圖智能結合大模型在金融知識庫下的應用圖智能結合大模型在金融知識庫下的應用多模態智能引擎LLMArcVector隱式關系ArcGraph顯式關系LLM任務解析查詢計劃生成文檔組織代碼問題回答企業企業內部內部私域數據私域數據1.元數據知識化2.數據轉換為知識(文檔-人員、結構關系等)3.文檔、提交記錄向量化FabartaFabarta 效果效果與原生效果比對與原生效果比對