《大模型在金融行業的應用與展望.pdf》由會員分享,可在線閱讀,更多相關《大模型在金融行業的應用與展望.pdf(23頁珍藏版)》請在三個皮匠報告上搜索。
1、主講人:張凱深圳香蜜湖國際金融科技研究院大模型在金融行業的應用與展望目錄MenuAIGC市場分析未來展望金融大模型及其應用場景AIGC市場分析01千模大賽GPT-41800B全球AIGC市場預測0204060801001202018201920202021202220232024202520262027202820292030Generative AI Mark et,2018-2030(USD Billion)CAGR Around 34.3%form 2022-2030Source:Acumen Research And Consulting7.9110.80500100015002000
2、2500300020222023E2024E2025E2026E2027E2028E中國AIGC市場預測2022-2028年中國AIGC核心市場規模及預測China s AIGC Mark et Size And Forecast Form 2022-2028規模(億元)增長率數據來源:艾媒數據中心()11.579.3471.7805.81665.32317.62767.4589.6%494.8%70.8%106.7%39.2%19.4%預計2028年中國AIGC核心市場規模將達2767.4億元AIGC金融市場規模據艾瑞咨詢統計測算,2021年AI+金融核心市場規模達到296億元,帶動相關產業
3、規模677億元,到2026年,核心市場規模達到666億元,CAGR為17.6%,帶動相關產業規模1562億元,CAGR為18.2%。金融大模型涵蓋了自然語言處理、智能語音、計算機視覺及對話式AI以及知識圖譜三個方面,占比超過50%。知識圖譜10.1%15.4%25.3%42.2%7.0%2021年AI+金融產品市場規模占比機器學習自然語言處理智能語音及對話AI計算機視覺02004006008001000120014001600180020192020e2021e2022e2023e2024e2025e2026e2019-2026年AI+金融市場規模核心產品市場規模(億元)帶動相關產業規模(億元
4、)1693822235012966773758854531083516121158913756661562GAGR=17.6%GAGR=18.2%金融大模型及其應用場景02大模型的研究范疇模型訓練模型部署提示工程領域大模型數據研究方向預訓練大模型整體研究范圍人類 or Al本身與模型大小之間的關系數據質量 數量gpt,Ilama,glm模型架構全精度、半精度、混合精度數值計算直接部署模型量化int4 int8提示詞設計設計提示詞去擬合訓練數據分布的行為微調全參數微調Lora Freeze、P-T uning 高效參數微調本地知識庫讓模型獲取大量實時知識,促進模型迭代工具調用讓模型獲得使用工具的
5、能力領域數據預訓練、微調以及外部知識庫L0 L1 L2模型通用、行業、場景數據收集 清洗解決通用大模型的災難性遺忘問題專業領域大模型的使用領域數據預訓練u基礎模型 llama2+chatglmu優勢 能形成長期記憶,增強其對專業知識的理解u劣勢 模型更新速度極慢+訓練成本高昂問答數據微調u技術 1.微調架構 Freeze+Lora+P-tunning v22.微調方式 SFT監督微調RLHF人類反饋強化學習u優勢 一成本較低,訓練周期短+模型效果較好u劣勢 一模型無法學到世界知識+模型更新速度較慢提示工程u技術 提示詞、向量數據庫、agentu優勢 一無需訓練,能夠與外界信息同步+成本低,無需
6、數據標注u劣勢 一提示詞的好壞難以評估+效果不如預訓練以及微調大模型工具鏈u平臺 一騰訊云TI平臺以及其他平臺u功能 一1.通用模型調用2.數據標注及管理3.垂直領域模型預訓練或微調4.垂直領域模型部署大模型的使用方法1234金融大模型入局者BloombergBroadridgeZURICHTWO SIGMAKlarnaMorgan Stanleyhelvetia某小滿某上消金某生某證優智某60混元大模型金融大模型框架CloudAWSGCPAZUREIBM FinGPTApplicationsRobo-advisorQuantitative T radingPortfolioOptimizat
7、ionFinancial SentimentAnalysisRiskManagementLow-CodeDevelopmentFinancial FraudDetectionCredit ScoringInsolvencyPredictionFinancialEducationM&AForecastingESGScoringLLM APIsLLMsChatGPTT rainable ModelsFine-tuning MethodsGPT 4.0LLaMALow-rank Adaptation(LoRA)usingLow-rank tensor layerLLaMAPaLMChatGLMCha
8、tGLMMOSSOther T ransformer ModelsReinforcement Learning on StockPrices(RLSP)Data ClearningDataEngineeringT ok enizationSteamming LemmatizationFeature ExtractionPrompt EngineeringData SourceOther SystemsOnline Elastic Computing NetworkOffline Real-Time Computing NetworkReal-Time Storage DatabaseData
9、W arehouse(Storage)NewsFinnhubY ahoo FinanceCNBCW eiboRedditT witterSocial MediaFilingsNYSENASDAQSECT rendsSeeking AlphaGoogle T rendsDatasetsstocknet-datasetAShareReal-time data pipelineAPIsStreaming DataFinNLPData Integration海量多模態金融風控傳統定制建模面臨小樣本和零樣本問題,天御海量多模態風控數據助力遷移學習VS小樣本建模難題海量多模態風控數據新產品需要冷啟動的風控
10、策略產品剛上線一月,只有少量表現戶黑白樣本失衡小樣本零樣本1000+場景/機構定制建模、聯邦模型模型庫億萬級別跨場景樣本庫樣本庫賬號分層特征工廠新產品冷啟動違規內容檢測羊毛黨防刷企業信貸風控小樣本大數據金融風控流量風控內容風控反電詐1000+跨場景模型金融風控流量風控內容風控反電詐億萬級跨場景樣本多維度賬號分層特征工廠大數據零售金融場景實現實時人機協作、持續學習、可信安全合規金融智能對話通過大模型+組合式AI多模態能力,實現有溫度的數字人金融數字人通過大模型的大腦與心理學的有機結合,實現有情感的人機互動體驗金融服務AI核心引擎三縱三橫3個縱向場景做深做透數據智能大數據語料庫高精度訓練集多模態大
11、模型實時人機決策投喂通用大模型領域大模型多模態感知交互+計算任務全真互聯數字內容體驗內容系統化知識網絡化信息關系化意圖識別語音合成情感分析光學識別數字人3個橫向能力行業領先持續學習人機結合相互促進,自我演化越用越好用模型控制首個金融大模型安全評測體系及控制方案,參與國標編制組合式AI系統硬件部署訓練加速推理加速模型驗證適配定制標注訓練證券業務場景u基于開源大模型框架GPT-3,采用金融行業垂直數據集訓練。uBloomberg查詢語言的生成、金融問答、新聞標題的建議。BloombergGPTu推出BondGPT,服務債券市場。將Liquidity Cloud中的實時債券數據輸入到GPT-4,幫助
12、金融機構、對沖基金等簡化債券投資流程以及提供投資組合建議。Broadridge財富管理場景Two Sigmau與GPT4戰略合作,采用內部知識庫(研報、論文、策略)訓練Morgan Stanley內部財富顧問服務平臺u支持全球的財富管理顧問員工u利用ChatGPT與其客戶進行交互式的投資咨詢,根據客戶的風險偏好、收益目標和時間視窗,為客戶提供了一些合適的投資選項。投研業務場景相關信息查詢生成回答摘要生成回答從金融數據庫中檢索相關信息,并將檢索到的信息放在相關文獻之中生成圖像、表格以及文字用以詳細回答用戶的提問總結檢索到的信息并給出初步的回答保險業務場景銷售機器人AI.MAYAu在索賠和建模等領
13、域使用ChatGPT技術。蘇黎世保險理賠u從理賠說明和其他文件中提取數據。找出整個理賠部分的具體損失原因,從而改善承保。u基于GPT-3技術的銷售機器人(AI.MA Y A)。u當客戶有購買保險的意圖時,只需與瑪雅約兩分鐘的簡單聊天便能識別與處理客戶信息,推薦適配的保險產品及報價,促成交易達成。未來展望03基礎技術展望技術發展方向數據u金融數據信噪比低,提升數據質量u金融專業數據數量、實時性等算力 NVIDIA一枝獨秀,AMD快速追趕算力GPU Google等互聯網大廠入局AI計算的方式,設計相對簡單TPU cuda一枝獨秀計算架構 如何通過修改網絡結構的方式降低attention的計算復雜度
14、?更新的模型架構 如何在不降低太多模型性能的情況下降低模型的大小?模型輕量化 如何訓練出更大的模型?更大的模型 如何解決模型胡說八道的問題?模型幻覺 如何解決模型忘記之前學習的知識的問題?災難性遺忘 如何使用AI監督AI學習,從而不需要大量人工標注的數據集?超級對齊 如何制訂更為科學的模型評估方法?模型評估 pytorch,tensorfow,jax,paddlepaddle訓練框架算法應用 如何從多模態的金融世界中學的世界知識而不僅僅只有文字?多模態 如何使用生成式AI提供更貼近人的交互方式?人性化 如何降低MaaS的運營成本,提供更便捷的金融服務,保證數據安全?MaaS 垂直領域數據量不足
15、的問題?去除模型中無關的知識從而降低推理成本?垂直領域 如何提升插件的穩定性,如何處理多個插件共同協作的問題?ChatGPT Plugin金融合規與監管展望模型透明度可信、可審計、可解釋、負責任合規監管數據安全客戶、業務、交易、內外部數據的整合、使用用戶的敏感信息保護、責任分擔;版權數據倫理、算法倫理、主體倫理、行為倫理隱私保護金融倫理金融應用場景展望場景展望金融輿情監測使用大語言模型在各類場景下對金融市場趨勢和投資者情緒進行量化分析和評估私人投顧使用大語言模型提供定制性的私人投資建議金融數據分析利用大語言模型使用外部工具處理分析數據的能力提升業務人員的效率金融風險管理大語言模型可以用于識別和分析金融機構各類業務中潛在的風險因素,并提供早期警示信號知識圖譜與投資研究利用大語言模型構建證券市場的知識圖譜,其中包含各種實體,如公司、行業、股票、投資者和新聞事件等金融產品推薦與銷售將用戶輸入的文本和語音轉換成結構化的數據,并與知識庫中的金融產品信息進行匹配,從而推薦最合適的金融產品和服務THANKS感謝觀看