A4--王幸福--iCopilot - 基于LLM模型的智能個人領域的AI賦能平臺.pdf

《A4--王幸福--iCopilot - 基于LLM模型的智能個人領域的AI賦能平臺.pdf》由會員分享，可在線閱讀，更多相關《A4--王幸福--iCopilot - 基于LLM模型的智能個人領域的AI賦能平臺.pdf（42頁珍藏版）》請在三個皮匠報告上搜索。

1、iCopilot-基于LLM的個人/領域AI賦能平臺王幸福攜程高級研發經理王幸福攜程資深研發經理/研發專家；目前負責攜程酒店研發質量工程工具團隊擅長工具框架和平臺設計與開發，DevOps，研發效能領域；熱衷于研究新技術,推動研發效能和質量的提升攜程高級研發經理目錄CONTENTS研發背景01 解決方案02 iCopilot平臺介紹03 平臺落地實踐案例04 未來規劃及展望05 01研發背景研發過程帶來的碎片化碎片化主要體現在:文檔各種文檔分散在不同的載體上，難于檢索和整合 工具工具越來越多，發現和使用都需要成本 溝通組織團隊復雜，有時很難找到解決問題的人大語言模型帶來的混亂僅7天就匯聚了82個

2、創意60多支隊伍參賽各種AI工具和能力分散在各團隊，重復造輪子且水平良莠不齊大模型使用經驗無法得到分享，尤其是經過精心設計和實驗后的Prompt使用需要門檻，對非技術人員不友好大語言模型的使用掀起了浪潮，但隨之而來的還有各種問題02解決方案研發流程2134產品產品需求需求框架設計框架設計代碼代碼開發開發原型設計原型設計測試測試56產品人員產品人員架構師開發人員測試人員部署運維監控部署運維監控開發人員UED測試人員OPSLLM是研發過程的潤滑劑，無法取代人類的角色職責我們想要的平臺應該有哪些功能一個開放式的GPT工具和服務平臺,可以幫助任何人輕松構建個人/平臺/領域的智能助理和生產力工具 支持不

3、同類型用戶 支持研發各個階段 支持多種平臺和終端 Prompt管理 易用性，多樣性，擴展性平臺解決方案思路多種用戶多平臺文檔外部信息第三方工具數據更多智能助手領域工具可視化配置擴展插件外部工具平臺數據安全問題數據源數據交互環境隔離，平臺部署在測試域，與生產隔離文檔只能訪問公共文檔，私密文檔無法訪問數據在發送前會根據公司的安全策略進行脫敏使用企業版的Azure OpenAI服務，具有更高的安全性-Azure本身有非常嚴格的數據安全策略-Azure OpenAI 模型是無狀態-Azure OpenAI服務數據是相互隔離，且不會用于改進任何的OpenAI模型03iCopilot平臺iCopilot平

4、臺設計架構終端業務核心服務Web端VUE組件Chrome插件Open API數據CopilotChatbotToolExternalPlugin管理配置Prompt資源執行配置搜索公共模塊版本管理收藏日志ServiceCoreCopilotLangChainGPTPromptPublic環境Plugin數據庫訪問DaoModelIndexGPT平臺關鍵技術 Copilot可視化配置通過組件化拼裝的方式進行Copilot可視化配置(核心部分就是LangChain的配置)LLM配置組件Chain配置組件Agent配置組件前端可視化界面配置Copilot后，當使用時，通過后端引擎Build成Lang

5、Chain的對應的實例并執行平臺關鍵技術-Copilot Config&Builder平臺中智能助手（Copilot）的類型Chatbot AI助手，每個人都可以輕松擁有任何用戶只需要兩步就可以配置出如右圖所示的智能助手。上傳個人/領域/工具平臺的資料，它就可以成為不同用途的AI智能助手支持上傳Doc,Excel,Text,PPT,Confluence,Gitbook,DB等不同文檔的上傳及矢量化專屬的矢量庫Collection，互相不干擾多端連接:Chrome插件/VUE組件/接口都可以連接訪問支持訪問插件Chatbot 聊天機器人實現原理用戶矢量數據庫大語言模型.XXXXXXXXXXXXX

6、XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX0,3,1,4,3,8,0,2 4,7,3,7,8,2,4,60,3,1,4,3,8,0,2 4,7,3,7,8,2,4,64,6,8,1,0,9,3,50,3,1,4,3,8,0,2 4,7,3,7,8,2,4,64,6,8,1,0,9,3,5文檔來源文檔加載文檔轉換矢量化WebSocketConversational Retrieval C

7、hainMilVusAzure OpenAILLM Chain關鍵點:如何提高領域知識的準確度知識庫知識庫相互隔離，每個Chatbot對應一個Collection知識庫文檔主要為Confluence，會自定更新文檔，保持文檔的新鮮度文檔格式先轉化為Markdown，然后使用Markdown語法進行內容分割定時更新一一對應知識庫對話Chatbot可以定義常用的Prompt以供用戶使用用戶可以在Chatbot中對答案進行差評，Chatbot的負責人可以根據反饋調整文檔的內容Chatbot使用的是Conversational Retrieval Chain,該Chain中有個question gen

8、erator的Chain，可以根據提的問題以及對話歷史記錄產生新問題，以此提高問題的質量Tool-領域工具，小工具解決大問題領域工具除了可以根據用戶的提問回答問題，它最大的優勢就是可以訪問工具，比如訪問Csv,數據庫等可以加載并渲染不同的Prompt可以配置不同工具(sql，csv,python等等)實現不同的用途支持接口訪問Tool-領域工具實現原理用戶PromptTools大語言模型目前支持十幾種工具激活使用關聯的PrompthttpOpenAI Functions AgentSequential ChainAzure OpenAI關鍵點：Prompt的渲染作為技術面試官，現在需要招聘崗位

9、崗位的員工，該崗位的要求如下崗位描述你將看到求職者的簡歷，請根據這份簡歷中的技能以及工作經歷內容給出面試重點以及面試題目,如果求職者有編程技能,也給出編程題目和答案.求職者簡歷如下:簡歷Plugin 高級擴展，限制你的只有想象力對于大多數情況，Chatbot和Tool就可以解決問題，但如果遇到復雜的情況，比如你需要驅動第三方工具，又或者在處理問題是需要復雜的處理邏輯，那么就需要用到Plugin支持Tool中所有功能自定義訪問第三方工具自定義編寫處理邏輯支持插件文件上傳和更新支持三種Plugin模式Plugin 高級擴展實現原理用戶上傳代碼文件Open APILangChain ToolFull

10、 Custom大語言模型類似ChatGPT Plugins自定義Tool,繼承BaseTool自定義Tool,繼承FullBaseToolstructured-chat-zero-shot-react-description AgentPrompt管理:讓思想碰撞Prompt的重要性不言而喻，甚至衍生出了Prompt engineering 和 Prompt engineer 分類及標簽管理 同步數據到iCopilot知識庫 版本管理 AI智能輔助檢測 Prompt參數化渲染Chrome插件:讓智能助手觸手可及用戶可以讓用戶跟一堆Copilot打交道，變為在需要Copilot時才打交道用戶可以

11、無縫的與頁面交互完全具有Chatbot,Tool同樣的能力.更多其它終端TripPal工具VUE組件API接口IDE插件(開發中)用戶可以在TripPal群或服務號中與iCopilot進行交互第三方平臺引入iCopilot VUE組件可以實現智能助手功能iCopilot中所有智能助手類型都支持對外的接口04平臺落地實踐案例案例1 基于文檔的知識庫問答幫助開發創建一個符合自己部門規范的POM文件幫助開發了解項目代碼，查找和編寫代碼，編寫單元測試新人入職后，幫助新人快速的了解相關業務知識TripPal服務號中也可以進行問答案例2 酒店研發AI助手研發AI助手主要功能知識庫問答總結歸納頁面內容處理代

12、碼各種任務不同的站點可以配置不同的AI助手案例3 AI代碼評審通過在公司Gitlab的CI/CD Pipeline中加入AI Code Review Job實現開發提交或Merge Request時對代碼進行評審.TestAICode Review.收益:有效降低人工Code Review的成本提高代碼質量案例4 UI用例生成工具捕獲頁面區域HTML壓縮HTML代碼選擇腳本參數生成用例iCopilot Tool根據頁面真實的結構生成不同腳本類型和不同語言的用例腳本拓展:UI自動化用例自愈案例5 AI問題故障分析怎么解決？找誰解決？怎么解決的這么慢？工具做的真爛！問題人工介入率降低30%34未來可期項目上線后，我們更加堅信大語言模型可以促進研發效能提升，因為我們的實踐得到的反饋基本都是正面的.總結基于文檔的Chatbot，緩解了知識碎片化帶來的困擾開放式的平臺將野蠻生長的LLM應用納入統一管理05未來規劃及展望未來規劃及展望 從縫縫補補到流程化轉變，驅動更多的平臺和工具 支持MetaGPT,GPT Engineer這種可以生成完整項目的功能 支持更多的模型，比如Llama2,Code Llama等 更加智能的代碼缺陷檢測及修復功能 支持智能數據分析和數據可視化感謝聆聽關注QECon公眾號