基于大語言模型的AI+Agent架構及金融行業實踐-周健.pdf

《基于大語言模型的AI+Agent架構及金融行業實踐-周健.pdf》由會員分享，可在線閱讀，更多相關《基于大語言模型的AI+Agent架構及金融行業實踐-周健.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、基于大語言模型的AI Agent架構及金融行業實踐周健2024.8.17企業數智化發展趨勢企業數智化發展趨勢商商業業化化成成熟熟度度時時間間2 20 02 22 2.1 11 12 20 02 23 3.2 22 20 02 23 3.8 82 20 02 23 3.5 5L Ll la amma a3 3G GP PT T 4 4o oG GP PT T4 4G GP PT T4 4G GP PT T 3 3.5 5S So or ra aG Ge emmi in ni i2 20 02 23 3.1 1 1 12 20 02 24 4.2 2閉閉源源模模型型（文文本本）開開源源模模型型（文

2、文本本）多多模模態態模模型型實實時時模模型型L Ll la amma a2 2C Cl la au ud de e 3 3G GP PT T 4 4o o2 20 02 24 4.5 5Q Qw we en n2 2Q Qw we en nQ Qw we en n V VL L大模型的發展趨勢：文本、多模態、實時，開源、閉源，商業化成熟度模型的智能化水平與使用成本的演進趨勢數據作為 信信息息媒媒介介信信息息獲獲取取效效率率 提升信信息息（感感知知）系系統統將數據轉化成 知知識識表表達達大模型帶來 推推理理能能力力 提升？數據與 真真實實環環境境交交互互具備 任任務務拆拆解解與與實實現現 能力模

3、模型型（知知識識）系系統統行行動動（實實現現）系系統統新拐點 和 新范式 正在形成，通用人工智能的發展 將帶來人類社會發展的巨大飛躍Gartner：A New Market Is Emerging Business Orchestration and Automation TechnologiesAI AgentAI Agent在企業數智化中的定位在企業數智化中的定位AI Agent：基于大語言模型的自治智能體從從人人機機協協同同模模式式角角度度從從A Ag ge en nt t組組成成結結構構角角度度p初級形態：把AI嵌入到人的工作中p中級形態：AI作為人的輔助工具p高級形態：AI作為主要工

4、具，Agent對人的依賴性在降低，且越來越像真人。人的大部分用于繁瑣日常工作的技能被AI取代，而人機協同又讓個體以前90%的弱技能被瞬間強化pAgent具備角色識別，規劃及任務拆解、記憶及知識沉淀、工具/技能使用、執行動作等能力p采用更加高效的CUI交互模式從從技技術術架架構構演演進進角角度度p對話式編程時代，我們相信新的更優雅的基于大語言模型的軟件架構必將誕生pSPQA架構是一種全新的軟件架構，區別于以前靜態、有限輸入、電路式的軟件架構nState+Policy：用于感知環境狀態、組織策略nQuestions+Action：拆解問題任務、組織行動用用戶戶A Au ut to on no om

5、mo ou us s A Ag ge en nt tS St ta at te e+P Po ol li ic cy yQ Qu ue es st ti io on ns sA Ac ct ti io on n感感知知交交互互實實現現L LL LMMToos/SkillsDocQAText2S QLText2C hartText2ReportSemantic Searchmore skillsAPIRPARPCJ DBC/ODBCS NMP.moreGartner：智能體組件（Action，Insight，Reference）大模型產業生態&瀾碼科技獨特的 產業生態位大模型產業生態由 基礎設施

6、基礎設施、大模型大模型、以及面向業務和使用需求的 應用層應用層 構成，各個要素環環相扣，共同構建和實現 新質生產力新質生產力。算算力力芯芯片片云云服服務務平平臺臺生生產產力力提提升升業業務務流流程程自自動動化化生生產產效效率率提提升升基基礎礎設設施施層層大大語語言言模模型型模模型型層層2 2C C 應應用用層層2 2B B 業業務務層層A AI I A Ag ge en nt t專專家家知知識識業業務務數數據據文文本本問問答答創創意意生生成成FireflySora1 1、需需要要突突破破大大模模型型準準確確率率問問題題2 2、需需要要結結合合企企業業數數據據進進行行訓訓練練和和開開發發3 3、

7、需需要要與與企企業業業業務務和和流流程程緊緊密密關關聯聯4 4、需需要要關關注注數數據據安安全全問問題題目前暫無明星級應用，是 瀾瀾碼碼科科技技布布局局的的重重要要生生態態位位愿景：讓人人都能設計自己專屬的AI智能體自主研發的基于大語言模型的企業級 AlAgent 平臺，集Agent與工作流設計、開發、使用、管理，與知識沉淀于一體。幫助企業快速定制企業級Al Agent來完成各類任務，從而實現業務運營的提質增效。A As sk kX XB BO OT T產產品品模型中立私有部署高效易用AskXBOT國國內內大大模模型型落落地地的的優優選選供供應應商商可可信信的的企企業業級級數數智智化化A AI

8、 I平平臺臺場景兼容范式創新提質增效知識沉淀選育用留平平臺臺產產品品特特性性價價值值主主張張事事實實性性知知識識F Fa ac ct t企企服服場場景景下下專專家家知知識識的的五五層層模模型型在在企企服服領領域域內內一一致致認認同同的的共共性性知知識識會會計計科科目目的的代代號號，9 98 85 52 21 11 1高高校校列列表表，收收款款行行的的S SWWI IF FT T代代碼碼，供供應應商商的的基基本本信信息息，產產品品的的特特定定規規格格和和功功能能，法法定定假假期期的的日日期期企企業業內內的的約約定定規規則則和和指指導導原原則則合合同同中中特特定定條條款款的的解解釋釋和和適適用用，

9、穩 穩 定 定 崗 崗 位 位 的 的 定 定 義 義 和 和 相 相 關 關 規 規 定 定，銷 銷 售 售 團 團 隊 隊 的 的 評 評 定 定 標 標 準 準 和 和 獎 獎 勵 勵 政 政 策 策，客 客 戶 戶 服 服 務 務 的 的 最 最 佳 佳 實 實 踐 踐 規 規 則 則企企業業內內進進行行特特定定操操作作或或流流程程的的步步驟驟和和方方法法售售前前提提案案的的審審核核流流程程和和標標準準，項 項 目 目 管 管 理 理 的 的 具 具 體 體 流 流 程 程 和 和 方 方 法 法，人 人 才 才 招 招 聘 聘 的 的 流 流 程 程 和 和 標 標 準 準 化 化

10、面 面 試 試 評 評 估 估，客 客 戶 戶 支 支 持 持 流 流 程 程 和 和 服 服 務 務 標 標 準 準在在企企業業特特定定領領域域的的專專業業知知識識和和從從業業技技能能針針對對特特定定行行業業的的解解決決方方案案設設計計，針針對對類類似似崗崗位位的的招招聘聘候候選選人人畫畫像像針針對對類類似似合合同同條條款款的的修修改改建建議議，針針對對某某類類客客戶戶的的產產品品需需求求描描述述組組織織內內部部和和外外部部社社交交規規則則、合合適適的的溝溝通通方方式式出出現現某某類類問問題題時時向向何何人人尋尋求求幫幫助助最最高高效效，某某問問題題需需要要組組織織內內哪哪些些管管理理人人員

11、員的的決決策策與與客客戶戶交交往往禮禮儀儀及及溝溝通通準準則則，公公司司內內部部的的組組織織架架構構及及關關聯聯關關系系社社會會性性知知識識（S So oc ci ie et ty y)領領域域性性知知識識（D Do omma ai in n)過過程程性性知知識識（P Pr ro oc ce es ss s)規規則則性性知知識識（R Ru ul le e)事事實實性性知知識識（F Fa ac ct t)知識中心驅動的創新引擎，解放專家智慧，實現五層模型的靈活管理AI AgentAI Agent在金融行業如何落地在金融行業如何落地金融行業建設思路金融行業建設思路提升期提升期專家知識實時運營專家知

12、識實時運營建設期建設期基于規則的知識解構基于規則的知識解構成熟期成熟期群體智能涌現群體智能涌現 完成不同業務領域試點應用封裝 全單位進行試點應用推廣應用試點落地應用試點落地 選取一個部門產品技術驗證 通過一個部門的試運行完善應用場景（如知識問答）更多試點應用更多試點應用 完成業務全流程應用升級（如信貸，銷售管理、投顧等）尋找其他Agent應用場景，帶來更多價值建設運營體系建設運營體系 建設運營體系和運營組織 引入對已有業務流程挖掘和治理 培養更多數智化轉型人才完善全流程應用完善全流程應用制定技術合規標準制定技術合規標準 統一技術實現路徑 制定統一的標準和規范 在更多部門進行Agent推廣應用瀾

13、碼科技AI Agent在金融領域的實施方法論業業務務信信息息收收集集樣樣例例數數據據梳梳理理應應用用場場景景評評估估資資源源評評估估算算力力評評測測S Sa aa aS S端端驗驗證證WWo or rk kf fl lo ow w設設計計實實施施計計劃劃研研討討知知識識整整理理模模型型部部署署A As sk kX XB BO OT T部部署署驗驗收收優優化化壓壓測測監監控控評評估估調調研研方方案案設設計計A Ag ge en nt t實實施施上上線線驗驗收收項項目目管管理理和和服服務務集集成成模模型型效效果果評評測測移移交交系系統統集集成成設設計計算算力力適適配配Agent應用落地實例-某大型

14、國有銀行金融交易場景Agent應用落地重在業務知識理解、方案設計與項目統籌管理。充分拉通業務用戶，IT專家（知識建模專家、AI專家、大數據專家、大模型專家、基礎設施專家）與合作伙伴，綜合運用各種工具和平臺，構建基于自然語言理解、智能化推理、質量可靠的企業智能體應用。1.業務調研場景：金融交易類流程：S OP問法：發起交易，信息提供API：行內接口2.方案設計場景實現流程：S OP大模型能力邊界：是否需要用function call對話流：記憶、規劃3.模型選型信息抽?。夯A信息、合約、金額意圖識別：流程狀態知識檢索：不涉及工具調用：S OP接口調用4.測試環境部署Agent平臺部署大模型私有化

15、部署：qwen 14B模型對接與聯調：行內模型測試環境工具調用API10.上線投產完成8.投產準備 安全組件清單準備 生產環境IT資源確認部署方案確認與演練 防火墻策略申請7.數據準備生產環境工具調用API 業務驗證數據賬號與權限數據6.迭代優化正向業務鏈路設計記憶優化逆向業務及容錯設計定制化開發5.MVP搭建對話流：記憶、S OP子Agent拆分：信息收集Agents信息收集：合約、金額業務試用驗證9.投產過程Agent平臺部署應用Agent遷移定制化開發部署“試車”跑通10用戶并發C PU服務器：8C 16G 1T*4GPU服務器：A100*1（40G）GLM4-昇騰：8*910B（64G

16、）某證券公司智能投顧產品設計LLM接入Finetune EnginneringLLM模型管理與基礎設施行動過程數據Metadata日志/監控數據數據層技術基座RP A流程引擎.外部應用系統洞察參考網絡搜索(插件？)市場數據數據爬蟲(插件？)公司數據投資策略分析風險分析研報分析已有分析系統Agent平臺for銷售管理參考參考洞察開戶助手基金問答投顧助手.洞察組裝、集成例如：網絡搜索+財務分析+線索數據+轉化率分析=線索挖掘（應用）開戶流程投顧分析流程行動金融行業案例分享金融行業案例分享業務知識梳理與歸集&原子化工程能力構建應應用用層層中中間間層層A AI I基基礎礎架架構構層層算算力力層層品牌

17、用戶體驗理解用戶需求私域運營領域知識領域數據深度學習框架分布式訓練系統大模型推理框架大模型訓練框架高性能計算資源彈性云計算平臺分布式計算架構多模型管理任務編排和調度AutoML工具分布式存儲數據壓縮技術網絡數據傳輸算力層AI基礎架構層中間層應用層預訓練大模型多模態模型模型壓縮及蒸餾持續學習模型層模模型型層層大模型推理優化大模型微調RLHF能能力力分分類類開開源源框框架架大大廠廠瀾瀾碼碼業業務務能能力力智能化咨詢OO知識/流程治理O業務理解OO預置應用產產品品能能力力多Agent協作工作流RAGABIO OO O工工程程技技術術Prompt優化動態路由模型O模型微調O仿真評測OO瀾碼的檢索增強生

18、成（Retrieval-Augmented Generation，簡稱 RAG）實踐用戶提問問題擴寫結束片段召回問題拆解問題擴寫片段精排片段總結向量庫全文索引庫段落文檔元數據摘要圖片數據上傳圖.RAG模塊核心處理流程RAG是一種結合了信息檢索和文本生成的技術，它通過從知識庫中檢索相關信息來輔助大型語言模型（LLM）生成更準確、更豐富的文本回復。RAG 的優勢在于它能夠確保模型訪問到最新、最及時的事實和相關信息，通過定期更新外部參考信息，生成的回復能夠納入與用戶查詢相關的最新信息。在企業需求場景中，應用與客服、IT服務、政策查詢等等各類從大文本中檢索內容的場景，由于LLM技術的興起時刻用戶對“文

19、檔搜索”的要求大幅提升，其中出現很多RAG方法無法覆蓋的能力場景，例如：文章歸納摘要、圖文混合檢索、表格理解、大批量文檔中的精準查詢，跨語種檢索等。面對這些問題，需要系統的看待問題，并針對具體的問題進行應對，僅通過RAG或類似RAG與知識圖譜（例如：GraphRAG）結合的方案無法在項目中穩定可靠、經濟高效的滿足客戶需求。瀾碼自從大模型技術興起以來，在RAG方案的實踐上經歷了多個行業不同場景的實際項目交付歷練，形成了一套綜合、高效，能夠靈活應對各類問答交付場景的系統化RAG方案。瀾碼在項目中形成了從知識治理、文檔入庫、檢索增強等各個領域的綜合方案，可以針對不同項目不同應用場景，靈活設計檢索方案

20、，幫助企業穩定可靠的落地RAG方案。企企業業應應用用的的R RA AG G的的實實踐踐文檔預處理瀾碼ABI（Augmented Business Intelligence）的應用實踐圖.ABI產品應用架構客戶端識別工具指標/維度識別維值識別日期識別 查詢指令 澄清項目 查詢結果記憶管理指標識別語義解析任務拆解問題理解需求澄清技能工具數據查詢根因分析數據解讀PC端移動端。DataBase指標庫向量庫大語言模型Embeding模型瀾碼科技作為大模型應用落地的領先企業，在ABI應用板塊率先擁有成熟產品以及行業成功案例，用戶通過應用瀾碼ABI產品，大幅降低員工用數成本，使得80%以上的數據分析任務都通

21、過ABI來完成。準確可靠的查數準確可靠的查數 基于瀾碼開發的ABI對話框架，通過大模型與指標庫的結合，圍繞業務人員的數據達到查數成功率 90%90%以上的業界領先效果。強大的數據分析強大的數據分析 瀾碼ABI產品充分發掘指標庫與大模型結合的能力，在完成查數的基礎上，為用戶提供了各類數據分析能力，讓業務人員可以快速找到數據異常的根源。富有洞察力的數據解讀富有洞察力的數據解讀 瀾碼ABI同時為用戶提供了查詢結果的解讀能力。業務人員得到數據結果后沒有分析思路，大模型可以幫助用戶快速發現數據中的關鍵細節，解讀數據的特征，幫助用戶快速理解數據狀況。營銷輔助助手-健康產品推薦背景目標解決方案l 當前保險渠

22、道人員超過百萬，仍舊資源緊張、人員流動率高、健康及保險知識龐大復雜，不易掌握l 單城市體檢報告超過10萬份，人工解讀效率低，不精準l 核保情形復雜，流程冗長，單次核保時間3周l 需要智能化手段賦能體檢報告解讀、營銷輔助推薦、核保輔助審核等環節l 自動對體檢單進行信息抽取，提取到健康狀況及疾病相關的信息。l 專家知識通過自然語言的方式將產品匹配規則進行輸入，Agent會自動根據抽取的信息和匹配規則，針對用戶的健康情況，推薦適配的健康保障產品。l 輔助經紀人在已有客戶上面進行更大范圍的產品銷售和推薦體檢單信息抽取分析產品規則匹配健康保障產品推薦報告精精準準獲獲客客精準過濾并鎖鎖定定1 1 5 5%

23、1 1 8 8%的適用人群，提升獲客率降降本本增增效效原有營銷和核保的成本降降低低5 50 0%，周期縮縮短短3 35 5倍倍風風險險管管控控對核保資料的深層提取實現審核風風控控能能力力增增強強增增員員轉轉型型科技賦能保險渠道人員的案例演示：健康產品推薦-預定義Agent與Workflow結合數據分析Agent案例-某頭部消費金融公司普惠金融貸款場景需背解的類逐高需盛等的繁重致獲長運營率等問題需要通過種靈活能的解由行監管的要需要私部署瀾碼通過生生的通過話現靈活的獲瀾碼的碼生調調目確率繼續預計至用靈活用階表階賦能能簽管理湖管理設計管理Xbot使 用 端知 識問 答海 外模 型內 容生 成國 內模

24、 型數 據分 析智 能調 度瀾 碼模 型Agent設 計基 礎 模 板流 程 配 置服 務 發 布用 戶 鑒 權 管 理授 權 管 理日 志 管 理知 識 庫 管 理Agent使 用任 務 管 理人 機 交 互多 端 適 配DocAQ知 識 庫 問 答semantic search普 通 會 話專 業 內 容 生 成text2SQLtext2Charttext2BItext2ActionautonomousplanningGPT3.5Claude2GPT4CohereminimaxchatGLM文 心 一 言訊 飛 星 火6B13B32B130B行 業 模 型定 制 模 型embedding模

25、 型靈 活 查 詢（AI會 話 式）多 維 分 析（AI面 向 業 務 的 會 話 式 分 析）會 話 式 報 表（AI+三 徇）報 表 制 作（三 徇+AI助 手）決 策 引 擎知 識 庫 問 答營 銷 分 析增 強 分 析案例演示：數據查詢與分析開戶輔助助手-具備記憶、規劃、調用、反思的復雜任務機器人將 用 戶 回 答 轉 換 為 標 準 的 輸 入通 過 OCR識 別 營 業 執 照幫 助 用 戶 查 詢 相 關 資 料 信 息提 交 后 調 用 API請 求，發 往 行 內 接 口 進 行 填 單對 于 用 戶 不 明 白 的 疑 問，查 詢 文 檔 予 以 解 釋收 集 所 有 需

26、要 的 字 段 信 息用 戶 確 認 所 有 信 息 的 正 確 性QuestionAnswer獲 取 記 憶決 策 todo選 擇 action推 理 回 復 結 果參 數 匹 配短 期 記 憶長 期 記 憶三 方 API工 作 流Agent智 能 決 策任 務 執 行觀 察 結 果記 憶 存 儲UserAgentSkills項 目 背 景l需 要 完 成 一 個 模 擬 一 個 真 實 的 客 戶 經 理，幫 助 用 戶 進 行對 公 開 戶 的 復 雜 Agentl需 要 同 時 處 理 信 息 收 集、格 式 核 驗、字 段 問 答、OCR、輔 助 填 寫、API上 報、信 息 確 認

27、 等 多 種 要 求，用 戶 可 隨 時打 斷，發 散，并 回 歸業 務 流 程執 行 調 用解 決 方 案l使 用 Master Agent框 架，對 問 題 進 行 觀 察、反 思 和 行 動，并 自 帶 記 憶，可進 行 多 種 技 能 靈 活 調 用，通 過 組 合 平 臺 多 種 agent、工 作 流，綜 合 完 成 任 務l通 過 自 定 義 Master Agent、自 定 義 workflow、自 定 義 API技 能、文 檔 知 識問 答，實 現 一 個 像 客 戶 經 理 一 樣 輔 助 用 戶 對 開 開 戶，具 備 復 雜 的 行 為 準 則的 Agent案例演示：開戶助手-Agent+OCR+API+專家知識的綜合自動化應用瀾碼科技公眾號：瀾碼科技公眾號：我的個人微信：我的個人微信：