基于知識助手的金融大模型應用實踐-曹陽.pdf

《基于知識助手的金融大模型應用實踐-曹陽.pdf》由會員分享，可在線閱讀，更多相關《基于知識助手的金融大模型應用實踐-曹陽.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、基于知識引擎的融模型應實踐曹陽/中關村科 資深AI產品總監曹陽中關村科金資深 AI 產品總監，擁有超過 10 年的 ToB 產品經驗，曾任職于阿里、京東、字節跳動、shopee 等公司，主導多個智能客服產品，對 NLP、智能客服、CRM 相關的技術、產品應用、商業化有著豐富經驗?；谥R引擎的融模型應實踐模型在融業務場景下應的趨勢和挑戰模型驅動知識應新范式基于知識助基座的模型融領域應實踐2024模型技術的發展態勢降本模型小型化技術進入成熟期私有化領域知識訓練已經成熟大模型工具鏈已經成熟開源大模型性能不斷進化大模型性能不斷進化多行業多場景最佳實踐落地大模型廠商全面降價視頻大模型超預期發展多模態大

2、模型效果驚艷端側大模型發展迅猛降低大模型技術門檻基座模型獲得成本降低大量最佳實踐，直接抄作業GPU需求越來越低運行載體小型化GPT-4O等多模態模型效果值得期待增效營銷、運營短視頻生成，即將全行業落地私有化基座模型能力無瓶頸大模型訓練技術成熟大模型響應速度、上下文長度不斷提升大模型賦能金融業務，速度加快大模型提效大模型降本2024年模型應的發展階段大模型工程化大模型技術成熟度（能力）01 技術專利數量02 技術發展時間03 技術輿論指數大模型對話機器人提示工程文本生成圖像行業大模型AI智能體大模型編排工具2023 2024H12024年上半年，經過我們的大量實踐與觀察，發現大模型場景落地進入爆

3、發階段，相應工程化技術已進入“準成熟階段”大模型應用成熟度（場景）廠商服務成熟度（從低至高）營銷客服產品研發基礎作業信息安全出海業務數據治理知識管理供應鏈與生產IT系統建設財稅管理HR管理智能辦公客戶需求期望（左低右高）相比2023年，客服、智能辦公、知識管理領域，從客戶需求與廠商服務成熟度方面來看，進步迅猛融天然是數字，數字化場景需求顯著融模型驅動的AIGC可年發展紅利當前階段利利潤潤2017-2025年年標準通用場景基本覆蓋高價值專業場景規模應用2025年年-2030年年2030年年-未來未來技術突破期應用深化期大規模應用期相同任務AI模型訓練成本近五年下降200倍未來3-5年進入應用深化

4、階段應用深化階段臨界點對金融行業的影響和變革 個性化的服務和極致用戶體驗 高效的價值傳遞效率 合規安全的決策智能模型在落地過程中的關鍵挑戰vgzzzgzzzz硬件GPUTPU光模塊分布計算tensorflowzzzGoogleOpenAIMeta通用大模型金融政務醫療個人助理應用智能家電社交媒體領域大模型megtranpytorch靈活兼容大模型迭代速度快，需根據場景需求，兼容多個廠家/多個版本/多種參數規模的基礎大模型。運維自主領域微調將大幅提升基礎大模型的特定場景準確度，數據是其中關鍵。大模型技術前置，企業可自主運維。組合創新領域大模型需具備工具操控能力，與其他能力組件、傳統AI小模型形成

5、能力互補、云邊端有效分工體系。人機協作新場景下冷啟動階段需以人機協同的方式保障準確度。使用過程中形成模型自迭代的反饋機制。成本經濟根據不同場景需求，選擇不同參數規模的模型，降低算力資源消耗，平衡響應時延，提升投入產出比。安全可信最大程度避免幻覺問題，提升專業性。注入合法合規與安全隱私能力，遵守內外部規則制定，提升拒絕能力。模型是數字時代的智能基礎設施，推動科技平權新范式大大算力算力：單位芯片計算能力單位芯片計算能力提升提升5000倍倍強算法強算法：Transformer算法算法+無監督預訓練無監督預訓練大數據大數據：全全網可用數據網可用數據Scaling Law（規模法則（規模法則）大模型全面

6、整合“大算力、強算法、大數據”，展現出關鍵要素優化組合的巨大潛力模型大小、訓練數據量、計算資源的規模和比例，影響建模的性能。大模型是人人皆可對話的AI,重塑新型人機生產關系，成為數字生產要素新范式和智能基礎設施大大模型驗證模型驗證科技科技平權平權可行技術?？尚屑夹g棧服務體驗服務體驗平權平權科技平權強調普適價值科技平權強調普適價值知識知識平權平權決策決策平權平權多元升級智能涌現基于知識引擎的融模型應實踐模型在融業務場景下應的趨勢和挑戰模型驅動知識應新范式基于知識助基座的模型融領域應實踐模型的本質：語與世界知識的知識庫Transformer 長距離語義關聯Scaling Law 海量知識+=參數化

7、的知識表示 基礎的世界知識 序列/語言的理解能力 遵循指令能力 上下文記憶能力與學習能力 泛化到新任務的能力 復雜推理的思維鏈能力 涌現能力模型只是AGI的個程碑序列單詞句實體關系事實步驟因果推斷規范約束短語/句段落知識tokentoken過程標價值觀智標過程事實語義句義詞義BOWN-gramEmbeddingCCGLSTMTransformerPrompt learningInstruct Turning,Chain of ThoughtKnowledgeEnhancementRLHFEmbodied AIVector DBAutonomous AgentAlignmentPPO事實判斷過程

8、判斷價值判斷語言能力模型潛在應場景：構建企業知識中臺是最佳的切點定向寫作專業性強專業性弱容錯性低容錯性高行業報告客服文檔摘要自動駕駛智能音箱閑聊文生圖診療法務咨詢編程輔助教育培訓價值高需求大需求小價值低弱專業性寫作非結構化數據的知識化將成為新時代的數智化基建，構建企業知識中臺，以知識中臺為基礎，構建各類基于知識的應用場景。金融投研投顧企業知識問答營銷創意模型驅動知識應新范式傳統AI賽道的典型模式為AI技術垂直場景+項目制開發,在可持續經營和規?；瘮U張能力方面稍顯不足,而大模型的技術特征和應用效果,讓市場對于AI的商業價值產生了全新的認知與期待。大大模模型型市市場場可批量化復制技術落地快適用范圍

9、廣在新一輪人工智能技術熱潮中，中國大模型產業規?？焖僭鲩L，呈逐年上漲趨勢。更好的性能更強的理解和推理能力較少的特征工程更容易應用于跨任務和跨領域大量參數深層網絡結構大量參數深層網絡結構大量參數深層網絡結構知識應用痛點知識應用市場挑戰大模型賦能知識應用優勢信息的爆炸式增長導致知識變得碎片化和分散。企業缺乏有效的信息篩選處理機制，導致大量信息被堆積和遺忘，無法得到及時有效的利用。知識共享機制不足、知識交流渠道不暢、知識共享和交流意愿不足、語言和溝通障礙。隨著知識信息量的不斷增加，信息安全風險也不斷增加，企業的核心知識和敏感信息在知識管理過程中可能泄露知識碎片化信息過載知識共享交流難數據安全風險增加

10、停留在較層次的文檔管理，限制了知識應用的潛力和范圍，導致客戶缺乏場景和動力擴大知識管理軟件的應用規模企業應用場景主要集中于文檔管理和檢索，局限于顯性知識，無法形成知識定義、知識獲取、知識存儲、知識共享和知識使用的完整體系。市場仍處于發展初期，尚未形成通用的行業標準化方案、穩定的市場格局和成熟的生態知識應用認知不足知識管理市場處于起步階段市場缺乏生態體系人機交互創新知識查看&驗證面向業務應用需求以場景為中心檢驗數據質量知識識別&存儲數據結構化&向量化，支持知識高效提取、統計、歸納等數據解析非結構化數據多源整合提升運營效率，重構底層框架，架構可延展更新成本低數據資產沉淀知識應用大模型大模型的出現大

11、幅度降低了非結構化數據的使用門檻，有助于釋放海量非結構化數據中隱含的知識，賦能企業業務。智能體群體協作，輔助客觀分析、診斷洞察、關聯推薦175 ZB全球數據量48.6ZB中國數據量數據量不斷上升總體技術框架：三個步驟、兩個算法、個平臺 學：各類文檔中的顯性知識 用：業務專家的先驗知識 教：行為日志中的隱性知識 定位：任務定位，打開大模型黑箱 微調：數據有限的狀態下做性能提升 應用模板：縮短驗證周期 組件集市：避免重復造輪子 低代碼平臺：降低創新門檻123三個步驟：提升知識利效率、輔助知識動更新數據過濾篩選領域微調用戶員工助手人類反饋學用教領域知識庫指令數據集提示 多模態非結構化數據的解析 高質

12、量多樣性數據的篩選 通用大模型的能力剖析 領域大模型的高效微調 專家經驗的可配置化 幻覺檢測與消除 音視頻全媒體銜接 業務指標數據閉環 人機協作流程設計 合規加訓多模態文檔的顯性知識學用教業務專家的先驗知識行為日志中的隱性知識專家多模態交互大數據處理音視頻解析提示模板兩個算法：打開模型的箱、提升領域專業性顯性知識領域SFT隱性知識RLHF獨創分層LoRAl大模型的CT機：打開大模型的黑箱，標注出各類NLP任務在模型中的“腦區”l大模型的精微調算法：通過分層LoRA技術，大幅提升微調效果，并且所需數據量更小、算力更少、學習效率更高。4123dataRerank ModelMatchModel基于

13、反饋持續優化迭代Pre-trainedWeightsA1jtBAijtANjjt1jtBNjjtBijtRouterrjtwA1jtBAijtANjjt1jtBNjjtBijtRouterrjtwA1jtBAijtANjjt1jtBNjjtBijtRouterrjtw0jtwjthxNLP任務定位與協同增益圖分層微調與知識注入基于模型的企業智能，數據是核資產通用大模型領域大模型數據 知識 資產直覺系統邏輯系統 數據：多樣、萬億級 算力：萬卡天量級 策略：預訓練，通用 數據：高質、最小必要 算力：十卡天持續學習 策略：專業、經濟、安全流程提示詞智能體領域大模型指令數據集領域資料庫知識助帶來的知識

14、應新范式，打通“最后公”內容抽取/總結網絡搜索問答文檔/數據庫問答20%+銷售業績70+運營效率研發速度提升30+檢索效率提升50%數據利用率提升50%降低人力50%解決時效降低60%ChatPilot大模型知識助手喚醒企業知識財富、賦能10億知識工作者智能文檔管理基于知識引擎的融模型應實踐模型在融業務場景下應的趨勢和挑戰模型驅動知識應新范式基于知識助基座的模型融領域應實踐基于知識引擎基座的融場景解決案原子組件能力沉淀知識引擎AgentGraph投顧助手培訓助手研報助手客戶數據能力場景材料識別快捷查詢模塊對練行情分析方案匹配推薦話術多模態數據解析全鏈路調優工具全環節模型優化Model hub多

15、樣性模型選擇領域模型工廠產品推薦投后追蹤客情維護自由組件流程編排金牌話術學習材料員工畫像資產組合市場咨詢用戶畫像研報資料歷史結果市場數據領域知識業務場景學員畫像個性腳本智能打分市場趨勢分析市場趨勢解讀客戶特點分析客戶需求分析產品反饋分析產品競爭力分析質檢助手多模提取混合模型人機協同大小模型對話質檢資料質檢法律法規歷史結果公司規章投顧助基于模型的智能投顧助是發展的必然趨勢投顧方式傳統投顧智能投顧基于大模型的智能投顧數據格式財務報表等結構化數據除結構化數據外，還包括輿情、金融新聞等非結構化文本包括結構化、非結構化文本數據及音視頻等多模態數據數據獲取方式金融終端、財報金融終端、數據爬取、信息抽取金融

16、終端、數據爬取、信息抽取、聯網搜索數據處理方式專業人員手工分析專業人員手工分析：自然語言處理、知識圖譜等人工智能技術支持能夠處理大規模、高維度的數據，包括歷史市場數據、宏觀經濟指標、行業報告等。決策效率人工處理數據，效率較低依靠人工智能在數據處理方面的優勢，投研人員在短時間內可以處理大量基礎工作，決策效率較高實時分析海量數據，并迅速做出決策，提高了投資決策的效率。決策準確性取決于投研人員自身的專業水平與所掌握的信息積累大量行業及市場數據，通過知識推理輔助決策，提高了決策準確性利用強化學習等技術進行自我優化和迭代，不斷提升決策的質量和準確度。更全面的實時數據更專業的投顧建議更強大的語義理解更生動

17、的表達形式更可控的內容生成新一代LLM投顧助手專業客戶經理人數不足，智能投顧行業需求持續上升，推動智能投顧市場規模呈現逐年遞增趨勢傳統智能投顧助手因技術路線能力天花板較低，基于大模型的智能投顧助手將成為智能投顧行業新范式我國2022年市場投資者數量共計21213.62萬，而投資顧問人員僅有74570位。理論上計算，每位投資顧問需要服務2943位A股投資者，才能覆蓋龐大的客戶群體。智能投顧行業隨著科技發展近年來用戶數量與資產管理規模急劇增加已進入成熟期，預計2027年資產規模將達到4.66萬億美元后期擴展：AI財富助 買財富管理業務轉型助，深度KYC、產品學習、資產配置、全周期陪伴KYE知識素材

18、庫路演材料一站式調用財富管理全鏈路能力，對話交互新范式員工績效產品銷量任務完成業績績點投研報告產品資料客戶數據及營銷埋點數據客戶標簽產品管理全量篩選推薦話術亮點總結AI財富助手Agent小模型意圖識別投顧服務資產配置學習提升獲客陪伴熟識產品股票咨詢產品推薦交易策略行情解讀研報精煉資訊播報投資目標客戶偏好交易習慣亮點提取話術生成精確篩選產品培訓情景演練素質評測投資組合家庭配置養老目標客戶經理展業AI中臺AgentGraph流程畫布模型微調異構模型調度AI組件營銷行為KYPKYC大模型意圖識別溝通話術生成統一對話式交互入口Prompt生成調度引擎產品亮點總結決策引擎智能陪練能力考核場景模擬合規政策

19、知識掌握研報新聞綜述客戶、產品、員工聯動資訊新聞資產配置引擎回測引擎配置報告收益歸因組合優化培訓助知識管理場景智能陪練數字人智能陪練平臺某頭部金融機構，使用大模型陪練大幅提升新人培訓效果培訓材料自動生成對練腳本智能數字人陪練小模型對練大模型對練優秀導師配置高頻、易出錯的對話流程，推送學員對練，再通過NLP相似度和關鍵詞等進行實時評分根據行業場景設置大模型扮演角色，覆蓋面更廣，場景更豐富，多輪對話自然流暢，復刻真實對客場景大模型、小模型混合模型架構落地效果WhyWhatHowBenefit大模型推動AI培訓全流程變革需求分析與課程設計培訓內容生成與知識管理智能教學交互與實踐訓練學習效果評估與反饋

20、改進培訓管理與數據洞察大模型語義理解內容生成邏輯推理知識泛化規劃總結40%培訓時長縮短31.3%過度承諾違規率降低9.6%客戶信息泄露違規率降低投研助投研助通過分析平臺來快速獲取所需市場、產品、客戶等內外部數據，結合這些數據不僅可以判斷市場情況，還能通過對話的方式，讓大模型進行市場及投研的分析。市場趨勢解讀借助大模型的領域知識能力,可以幫助分析師,進一步解讀當前的市場情況客戶特點分析分析師可以通過大模型對客戶的會話、行為數據分析,了解當前客戶的整體特征市場趨勢分析分析師可以詢問當前市場的整體趨勢和各類關鍵指標數據,判斷市場趨勢客戶需求分析分析師可以直接獲取到來自一線客戶的真實需求,以及需求背后

21、的原因產品反饋分析分析師可以消費者對不同產品不同角度的偏好及具體的產品反饋產品競爭力分析借助大模型對競品的數據分析,幫助分析師判斷產品的市場競爭力研報分析-撐話術成、報告解讀每日批量處理抽取觀點抽取關鍵字研報分析報告寫作場景 盡調報告、投研報告大模型能力內容理解要素抽取內容生成AI能力（OCR）版面解析目標：基于給定的素材，按照特定的報告模板生成內容，并可在界面內智能的對報告內容進行擴寫、潤色、續寫等功能，輔助員工提升寫作效率，減少在寫作場景的工作投入。信息抽取信息輸入內容解析OCR解析：營業執照、財報、身份證、其他各類票據信息，并抽取內容。私域文檔內容及觀點抽?。汉贤?、分析報告、行研報告內容

22、、觀點抽取。公域數據內容及觀點抽?。簾狳c資訊、市場行情、企查查信息等。內容生成大模型內容補全、生成能力Prompt報告模板訓練：1、文檔結構；2、各部分內容側重點；3、內容豐富度。+輸出報告質檢助安全合規場景 合規質檢新一代合規質檢平臺某頭部金融機構，使用混合模型質檢平臺，全面提升質檢效果，大幅降低人工檢測成本大模型、小模型混合場景訓練落地效果小模型質檢大模型質檢小模型負責聲音/畫面/素材的基礎數據質檢,承擔高頻易檢的場景大模型負責低頻難檢的內容,以及為質檢結果提供判定原因,輔助人工快速復審運行成本低結果無偏差處理速度快考慮面更廣樣本依賴小上下文理解多模態素材內容提取文本內容提取素材要素提取人

23、工快速審核禁用信息提示必要信息提示人機協同內容審核行業通用標準:采用大模型智能檢查素材內容企業業務標準:使用小模型精準檢查合規排查語法檢查體驗評估禁用信息檢查樣式排版檢查必要信息排查混合模型合規排查WhyWhatHowBenefit企業安全合規，面臨全新挑戰監管政策日趨嚴格待檢數據量大提升服務刻不容緩規則不統一80%嚴重違規質檢召回率1千倍智能較人工檢測效率85%-98%全量違規檢出準確率合規助 LLM約束LLM，為模型應保駕護航基于大模型能力，將法律法規、行業規范、公司規章等非結構化文本內容構建為質檢點，并利用大模型對文本內容、對話內容進行合規監控，構建金融領域完善合規能力。法律法規行業規范公司規范ChatGLM_Finetune中關村科金微信公眾號免費試用申請