A3--杜鐵繩--大語言模型(LLM)在證券行業研發效能方面的應用探索和實踐.pdf

《A3--杜鐵繩--大語言模型(LLM)在證券行業研發效能方面的應用探索和實踐.pdf》由會員分享，可在線閱讀，更多相關《A3--杜鐵繩--大語言模型(LLM)在證券行業研發效能方面的應用探索和實踐.pdf（30頁珍藏版）》請在三個皮匠報告上搜索。

1、LLM在證券行業研發效能探索和實踐杜鐵繩研發效能部負責人杜鐵繩國金證券研發效能部負責人，負責項目管理體系、敏捷能力、DevOps能力、開源治理、LLM在研發應用以及與之相關的工具平臺建設。先后曾任外企高級項目經理、項目總監、敏捷&DevOps業務線負責人等國金證券研發效能部負責人嘉賓照片目錄CONTENTS探索LLM證券行業研發部門應用01 設計AI助手和私有LMM選擇02 高效訓練高效訓練LMM私有專業知識庫私有專業知識庫03 LMM私有專業知識庫對內部員工賦能私有專業知識庫對內部員工賦能04 01探索探索LLM研發效能領域研發效能領域應用應用研發部門常見問題 1.跨部門、跨團隊溝通不知道該

2、找誰？2.項目和研發流程、標準不熟悉不知道該問誰？3.知識、技巧分享成本高，效果差？4.員工福利、報銷等標準、流程不熟悉，占用員工時間？LLM給出了新選擇維度維度能力能力示例示例查詢知識問答什么是證券公司次級債務，具體如何分類？列出唐宋八大家所屬朝代及其代表作整合內容生成撰寫一份國金指數的廣告文案詳細列出以大型語言模型為主題的綜述論文的提綱以“春天”為主題創作一首押韻的詩歌語義理解兩個人正常交談，其中一人夸贊對方辦事能力強，對方回答“哪里，哪里”。此處的“哪里，哪里”是什么意思？代碼編程寫一個從User表提取Age字段大于20的所有數據的SQL語句檢查以下代碼段：，找出任何可以優化以提高性能的

3、部分，并提出如何提高代碼可讀性的建議。推理邏輯推理小明的妻子生了一對雙胞胎。以下哪個推論是正確的？A.小明家一共有三個孩子。B.小明家一共有兩個孩子。C.小明家既有男孩子也有女孩子。D.無法確定具體情況。數學能力雞兔同籠代數，幾何問題函數計算繪圖LLM在研發領域可能應用1.需求分析2.溝通協作3.生成代碼4.代碼評審5.單元測試6.接口測試7.持續集成8.持續部署9.知識和技能分享10.02設計設計AI助手和私有助手和私有LMM選擇選擇LLM選擇考量1.安全合規2.可拓展專有知識域3.成本投入可控4.容易學習使用5.快速見到效果智能員工助手支持多種GPT可選模型接入實現員工辦公環境使用AIGC

4、工具通過智能交互問答，幫助員工提升工作效率對問答內容進行合規審查及敏感詞過濾基于大模型技術搭建智能員工助手：智能員工助手企業微信OA Azure OpenAI數據倉庫星火，文心等FinGPT探索新的生產力拓展提升員工工作效率減少員工文字工作時間提高開發效率及交付質量效果：AI助手功能定位n界面功能角色定制；模型選擇；敏感過濾；權限管理n以AI助手為AI中臺建設的切入點推動外掛式AI算法的推廣；AI需求匯總的媒介；啟發公司員工的數字化思維；LMM的使用方式FinGTPLMM的技術路線n通用大模型+領域知識庫+應用插件利用外部知識和應用插件來增強大模型面對金融問題的對話能力，減輕大模型的幻覺問題（

5、即生成具有事實性錯誤的內容）優點是對話效果不錯、訓練成本較低（算力規模約2塊A100顯卡、機構私有數據）缺點是多輪對話能力有限ChatGLM2本地化部署及測試nChatGLM2由智譜AI及清華KEG實驗室發布，開源且免費商用，60億參數在保留初代模型對話流暢、部署門檻較低等特性的基礎之上，性能更強大，推理速度提升42%ChatGLM2專門針對中文問答和對話進行優化，但是在金融領域的表現有待提高領域知識庫+應用插件的路線有利于金融大模型快速落地n未來會是大小模型并存大模型部署資源需求高，面向資源不足的實際場景就需要提升小模型現有實驗表明，專業領域小模型在特定任務上可以比肩大模型n領域知識庫+應用

6、插件路線可行的同時，有更好的性價比自研基模型預訓練成本高昂，數據集構建難度大，大部分企業難以負擔模型微調可能導致災難性遺忘，內部專業數據總體體量有限，算力要求不容忽視掛載知識庫能使模型對特定領域的語義理解更為準確，解決大模型的“幻覺”問題，提高模型性能nFinGPT使用LangChain構建金融領域知識庫以實現大模型提示工程基座大模型需有優秀的泛化能力和適當的參數量：ChatGLM2Langchain+ChatGLM知識僅給授權同事研發管理人力資源財務報銷采購管理合規風控網絡安全分領域庫授權按照領域劃分知識庫，根據用戶角色分別授權，串聯知識庫獲取答案修正回答結果通過內測、試用和用戶反饋持續優化

7、索引和知識正文03高效訓練高效訓練LMM私有專業知識庫私有專業知識庫通過多種方式導入手動收入問答對，數據最精確0102選擇txt、doc、PDF、MD文檔，自動化分段處理CSV批量導入問答對，快速且精準0403選擇txt、doc、PDF、MD文檔，LLM自動生成問答對合規風控敏捷訓練快速見效第一批知識第二批知識第三批知識第N批知識新員工必備知識IT流程體系規范學習資源LLM通過內測、試用和用戶反饋持續優化索引和知識正文04LMM專業知識庫對員工賦能專業知識庫對員工賦能培訓和經驗分享快速上手上手培訓發布文章錄制視頻優化表達索引優化持續探索總結使用和提升相伴導入第一批知識試用體驗總結推廣使用導入第二批知識試用體驗總結推廣使用感謝聆聽關注QECon公眾號