李琦-業務部門通過自研AI系統增效的解決方案.pdf

《李琦-業務部門通過自研AI系統增效的解決方案.pdf》由會員分享，可在線閱讀，更多相關《李琦-業務部門通過自研AI系統增效的解決方案.pdf（55頁珍藏版）》請在三個皮匠報告上搜索。

1、業務部門通過自研AI系統增效的解決方案李琦|神州網信演講嘉賓李琦神州網信技術有限公司 高級支持工程師在技術服務領域擁有15年的行業洞察和實踐經驗，流程改進專家，公司數字化轉型的先鋒和關鍵貢獻者。技術領域涵蓋了服務技術管理、軟件工程、Python、提示詞工程、數據庫管理以及自然語言處理（NLP）。目 錄CONTENTS1.背景介紹2.AI大語言模型的賦能3.實戰案例分享4.現存問題與未來規劃5.總結與展望背景介紹PART 01背景介紹面臨的挑戰與痛點部門內部數據共享不暢，影響決策效率和服務質量數據孤島問題效率瓶頸問題業務部門懂業務，研發部門懂技術傳統客戶服務流程手動操作步驟過多效率低下數字化轉型

2、歷程-初期嘗試與探索流程挖掘工具+自動化工具業務流程優化和自動化數據可視化儀表板促進數據驅動決策AI大語言模型賦能PART 02LLM賦能LLM賦能SummarizeExtractGenerateClassifySearchRewriteTO CTO B?落地實施方案訓練LLM-端到端模型 耗時耗力，成本較大（金錢+人力+數據）單一任務場景 使用SOTA model并不一定可以得到SOTA result 具備推理泛化能力懂得業務的AI優先需要懂得業務的人業務=流程+數據代碼實現次之文本預訓練基礎大模型微調SFT模型放棄訓練LLM-非端到端模型 保留LLM對于公共知識的感知能力 灌輸領域知識的認

3、知能力 每個企業都有自己的SOTA model實戰案例分享PART 03電話量逐年上升用戶對解決問題速度的要求快速定位解決方案的需求服務電話中心面臨的挑戰累計電話量達20000+1月2月3月4月5月6月7月8月9月10月11月12月電話量郵件2023年2022年2021年案例一：利用LLM助力案例處理 需要業務背景 關鍵詞模糊 遞進查詢 手動篩選目前的知識庫（關鍵詞搜索）上下文語義理解 支持多輪問答 整合答案 數據本地化理想的知識庫（向量搜索）痛點第一階段：向量相似度匹配的AI知識庫少量數據集匹配速度快語義相似度搜索優勢問答對的單一形式源數據內容交叉信息少對用戶提問要求高劣勢圖片來源：Retr

4、ieval-Augmented Generation for Large Language Models:A Survey第二階段：以高級RAG為核心的自研AI知識庫從多文檔中挑選出針對用戶提問的單一文檔或相關段落本質 是一個多文檔的檢索問答系統重新梳理AI知識庫系統的任務需求需求更新&技術方案進階Pre-Retrieval（預檢索）階段的優化 優化搜索查詢（Query Rewriting）：修改查詢問題，問題重構及實體命名 實施查詢路由（Query Routing）：判斷使用向量檢索或知識圖譜數據源的優化 企業文檔的數據標準化應用分層檢索文檔分層級拆分改善檢索對稱性文檔生成問答對增加數據源多

5、樣性問答對變形與數據源的適配-用戶提問的特征推理型問題數據標準化帶來的痛點-割裂的數據原始數據源的數據標準化雖然增加了檢索準確性，但丟棄了很多上下文內容；內容雖然獨立且易于檢索，但缺失了原文所體現的因果聯系。因此仍然需要保留企業文檔。新范式Self-Correct RL以查詢路由的方式來判斷問題特征，以此確認預設的雙閾值。雙閾值的設計允許在短語或文檔級別之間切換檢索目標。對于推理型問題，只有全文內容才可以完全體現“因果”性。而若想在短語層面體現“因果”性。需要通過打分、評價等數據形式來進行強化學習。以現階段來看這種額外的因果聯系的建立并不可信，因為它增加了處理過程的復雜性，導致最終的結果未必準

6、確。解決方案 雙閾值設計 對檢索文檔打分和過濾：按搜索相似度得分過濾；執行不同流程；雙閾值設計：雙閾值是由用戶可自定義的兩個數值，代表高閾值和基礎閾值，目的是為了確定檢索目標是短語還是文章，進而路由。Post-Retrieval（后檢索）階段的優化 重新排名以優化搜索結果（Rerank）多個輸出的排序 通過鏈式思維提示屏蔽噪音（Fusion）唯一答案的確認 使用上下文壓縮優化搜索結果（Summary）多個輸出的整合第二階段：以高級RAG為核心的自研AI知識庫特定性內容輸出結果不理想劣勢支持多種文檔格式優勢降低用戶提問要求相似度匹配結果提升交叉型內容檢索仍有混淆Knowledge GraphsV

7、ectorCons：語義信息損失可解釋性差依賴上下文Pros：計算效率高-高效的在低維空間中進行計算，加快檢索速度靈活性強-靈活適應不同的RAG模型和任務自動特征提取-通過預訓練模型自動提取文本特征，減少了手動特征工程的需求處理自然語言-對于處理自然語言文本特別有效，可以捕捉詞義的細微差別Pros：精確的語義關系-通過明確的實體和關系提供了精確的語義信息，有助于提高RAG中檢索的準確性結構化查詢-支持結構化查詢，使得復雜的多跳查詢成為可能豐富的領域知識-包含豐富的領域特定知識，增強RAG模型在特定任務上的表現可解釋性-提高了RAG模型的可解釋性，有助于理解模型的決策過程Cons：更新和維護成本

8、大覆蓋范圍限制復雜度高第三階段：引入知識圖譜知識圖譜現狀 vs.期望現狀：針對一篇文章的內容做問答schema統一主流的知識圖譜應用場景，多類型知識庫無法應用期望：針對多篇文章篩選目標文章schema多樣無成熟案例借鑒在不確定中尋找確定知識圖譜的構建 痛點 對于單篇文檔提取的節點、關系、屬性內容，無法確定與作者的觀點一致 無法將多篇文檔merge為一張完整的知識圖譜找到共性。解決方案 不是從單篇文檔的內容出發，而是從業務數據源的結構特性出發，即自定義schema，體現對于業務的主觀認知 節點的構建由詞組變更為語句 在UI界面的架構上需要增加大語言模型提取內容的人工確認界面，允許重新生成知識圖譜

9、-根據業務自定義schema問答對：問題，答案如何啟用傳真和掃描功能文檔：問題錯誤，日志代碼，解決方案，問題原因 打印機驅動怎么安裝？問題錯誤-解決方案 為什么會出現驅動安裝失敗的情況？問題錯誤-問題原因 error100代表了什么問題?日志代碼-問題錯誤 error100怎么解決？日志代碼-解決方案用戶的真實提問-決定節點，關系，屬性傳統關鍵字檢索第一階段:向量匹配第二階段:高級RAG第三階段:知識圖譜準確性互動性靈活性人力成本查詢效率人員技能要求傳統關鍵字檢索第一階段:向量匹配 第二階段:高級RAG 第三階段:知識圖譜需要進行大量的人工審核工作 來保證數據標準化結果的準確完整知識庫效果測試

10、&收益（第一至三階段）環境復雜多樣人員精力消耗通過自然語言的交互，能夠融合復雜的運維環境，自行規劃決策，便捷的獲取跨領域信息，給出各種運維任務的建議或結論 為了應對環境內變化的信息和數據，需要運維工具對變化有一定的適應力，以高效的方式理解和整理并使用它們。適應和迭代 面對跨領域信息問答的支撐，領域專家需要耗費更多的甚至重復解答。這種跨領域支持的交互方式，需要運維工具可以自然語言方式提供領域知識和信息的生成。支撐和交互 環境越復雜，在執行任務時就越需要基于實際環境上下文的信息作為先決條件。需要改善傳統運維工具未與環境結合，導致在實際使用中通用但不好用的狀態。環境上下文案例二：借助LLM加持自動化

11、運維業務系統環境的變化需要運維工具的改變01自然語言交互07記憶沉淀02感知與定義03規劃整理06場景化助理05跨領域知識互享04結合環境信息讓工具成為助手甚至同事AI Agent加持后運維工具將不同領域技能的有機結合，讓繁雜的垂直知識領域知識互享、傳達以及利用更具效率。備份信息獲取腳本移植輔助數據關聯查詢資產盤點輔助AI Agent加持的運維工具AI能力發展階段單任務場景多任務場景Agent模式Agent模式人類AI 設定目標 提供資源 監督結果AI全權代理 任務拆分 工具選擇 進度控制AI自主結束Copilot模式Copilot模式人類AI人類設定目標AI完成部分任務和流程初稿人類修改調整

12、確認人類自主結束工作Embedding模式Embedding模式人類AI人類設定目標AI對部分任務提供信息或建議人類自主結束工作基于類問答，提供信息和建議基于類標，完成單任務/簡單任務基于類標，完成多任務、復雜任務/單任務的組合橙色表示效率瓶頸對于非結構化及未形成標準檢查的日志信息，采用專業領域人員親自檢查。此時，領域專家將成為任務效率瓶頸，且容易引入人因失誤。對于已達成標準的日志信息，采用專用場景的專用工具，仍然會出現對于檢查期望信息的不滿足（或過剩埋藏關鍵信息，或少無法滿足需求）帶來的效率損失，此時工具滿足需求的匹配將成為任務效率瓶頸。單任務場景：備份信息獲取清洗脫敏領域知識日志信息背景信

13、息工具后臺抽取領域專家工具前臺LLMAgent ToolPromptAPIWebSocketDatabaseConfig用戶場景助理選擇清洗脫敏AI Agent加持的線上服務團隊智能運維平臺鑒權登錄選擇場景描述需求得到結果不同場景下，后臺選擇的工具和經歷的步驟都不盡相同收益前后平均效率提升25%人因錯誤減少45%跨領域精力消耗減少60%培訓的業務場景培訓場景培訓管理員培訓素材和資料培訓提綱和課程考核和互動人員技能要求人員業務要求資料的數量龐大資料的格式不同課程固化調整不便需要很多人力成本題庫編寫人力成本大出題形式固定案例三：AI培訓認證系統培訓管理員、培訓助理培訓素材和資料培訓提綱和課程考核和

14、互動LLM數據標準化+Local Embedding利用LLM+Vector DB生成內容利用LLM+Vector DB+Local DB+Chatbot實現考核和問答用AI來解決業務痛點培訓素材處理編寫培訓資料編寫題庫和答案學員自主培訓考核評分12345內容和格式提煉知識點評估時長提煉主要內容形成培訓文本上傳更新平臺審核和發布編寫海量題庫校對答案上傳考試平臺建立考試項目發布考試自行閱讀材料登錄考試平臺完成答題判卷評分獲得證書AI培訓素材處理1學員自主培訓自動考核評分23利用LLM的文檔分析、內部知識庫的能力解決培訓素材、培訓資料和題庫的準備提綱總覽學時評估互動問答主觀題問答評估題目解析原來現

15、在準備階段培訓階段考試階段解決方案AI培訓系統架構圖AI極大的減輕了管理員對培訓內容的準備工作，提高了生產效率：自動素材處理自動提煉知識點自動生成培訓資料自動生成題庫實時預覽和審核管理員工作場景學員培訓場景試題隨機抽取LLM生成客觀題庫人工審核題庫和答案保存在本地數據庫隨機抽取試題答案比對打分學員考試場景用戶考試場景中的AI應用 主觀題考核對用戶提供答案進行評估和解析提供改進后的答案收益可以歸結為5個詞：人力、效率、技能、互動、靈活85%人力成本下降不需要專業的培訓策劃；一鍵生成培訓提綱和培訓內容，可以隨時更換素材生成新的培訓和題庫85%工作效率提升原本一個培訓策劃和實現的過程，現在只需要對素

16、材進行要求，即可一鍵生成培訓人員技能要求降低任何一個人員都可以使用AI培訓系統，生成自己想要的培訓內容和課程互動性增加以往的在線培訓，學員只能自行觀看培訓內容，AI培訓可以增加AI助理隨時提問隨時解答靈活性提升可以根據需要隨時生產和調整培訓內容使用AI培訓系統的收益現存問題與未來規劃PART 04現存問題1.領域內標準數據源的匱乏導致模型訓練效果不佳；2.整個過程耗費大量的時間和人力資源。使用大語言模型的生成結果時需要大量的人工審核盡管可以通過人工標注來訓練機器學習模型進行分類任務并以此優化模型，但這個過程存在兩個主要限制：結構化數據相關性流暢度連貫性一致性語義性非結構數據文本序列相似性文本內

17、容重疊忠實度答案相關性上下文精度上下文召回率使用可量化的評分標準 將人工審核工作自動化針對不同類型數據源的評分標準未來計劃 解決方案：數據標準化的自動化非結構化數據結構化數據滓僚囹滓褓?乘茼重乘茼重Data Store乘茼重乘茼重乘茼重乘茼重滓?靚靚靚為保證大語言模型的生成內容的準確性需要人工審核未來計劃 解決方案：數據標準化的自動化非結構化數據結構化數據滓僚囹滓褓?警重警重Data Store警重警重警重警重滓?靚靚靚未來計劃 解決方案：數據標準化的自動化評分標準的量化執行策略代替人工對大語言模型的生成結果進行自動審核未來計劃-數據標準化的自動化：量化執行模糊邏輯，設置高中低等級模擬退火算法

18、，放大分值差評分十分接近，系統無法判斷什么樣的得分可以通過自動審核總結與展望PART 05總結LLM助力業務部門智能化、幫助非開發出身的業務人員完成自研AI系統，實現降本增效！數據稀缺且重要！LLM距離完全商用仍有距離，企業在應用這些模型時制定一套量化執行標準以減少人工干預至關重要！基礎大模型在快速進化，且出現強推理的能力趨勢！展望通過對客戶歷史數據和行為模式的分析，利用 AI 預測客戶可能遇到的問題，并提前向客戶發送解決方案或提示，變被動服務為主動服務主動服務預測持續優化基于 LLM 的智能客服系統，提供更加個性化、精準的解決方案。利用 AI 進行客戶情緒分析，及時轉接人工客服進行更貼心的服務智能客服升級利用自然語言處理技術對客戶反饋進行深度分析，為產品改進和服務優化提供依據。建立客戶反饋閉環管理機制，增強客戶對企業的信任和忠誠度?？蛻舴答伔治龇詹块T不斷探索和整合新技術，提升客戶服務體驗，優化內部運營效率利用AI技術深化計算機對現實世界的理解推動研發進入智能化時代