A2--王幸福--iCopilot Dev – 打造屬于你自己的AI助手.pdf

1、iCopilot Dev 打造屬于你自己的AI助手王幸福攜程高級研發經理,測試專家王幸福攜程 高級研發經理目前主要負責攜程酒店質量工程工具和平臺開發相關的工作在DevOps，效能平臺，測試平臺和框架等領域有較豐富的經驗熱衷于研究新技術,推動研發效能和質量的提升目錄C O N T E N T S1.背景2.解決方案3.關鍵技術實現4.落地情況和案例5.總結和未來規劃背景01AI代碼助手的興起GPT 3.0 發布OpenAI發布了第三代大模型，引起了業界的廣泛關注?；诖四Ｐ偷陌l布，GitHub內部啟動了代碼生成工具的項目，并尋求了與OpenAI的合作，開始了Copilot的研發GPT3.5橫空出

2、世GitHub Copilot預覽版發布AI輔助開發蓬勃發展2020202120232022現在隨著OpenAI Codex模型的誕生，Copilot代碼輔助工具的功能得到了極大的提升，該年的6月作為技術預覽版發布GitHub Copilot對個人開發者全面開放，而隨著OpenAI發布了可以載入史冊的GPT-3.5模型并迅速在全球爆火，業界也開始關注到大語言模型在編程領域的應用。各大廠商都推出了自己的AI代碼工具產品，開源項目也紛紛涌現，專注于代碼領域的大語言模型也越來越多。AI可以輔助開發已經在業界達成了廣泛的共識Stackoverflow Developer Survey 2024GitH

3、ub Copilot AI Code Tools Market 落地AI代碼助手的挑戰攜程內部也引入了商業化的AI助手產品，也取得了不錯的效果，但是.可擴展性在很多場景，我們需要對AI代碼助手進行擴展，但在工具是閉源的情況下是很難做到的業務知識結合很多研發人員覺得代碼生成效果不理想，主要就是由于缺乏業務知識引起的解決方案02我們想要什么樣的AI代碼助手？一個功能完備的可擴展的AI代碼工具 界面美觀 容易操作 開箱可用 速率易用性自動代碼補全Chat對話支持Context,Slash Command多種模型選擇支持多種IDE平臺化高級AI智能工具功能性可擴展性 自定義Context 自定義Sla

4、sh Command 自定義Prompt 功能可擴展主流AI智能助手比較和選型開源方案主流AI工具支持VS Code支持Jetbrains單行代碼補全代碼塊補全注釋生成代碼代碼注釋代碼解析生成用例代碼評審CodeLens支持Inline EditSlash命令上下文指定提交Commit終端輸出糾錯問題糾錯Chat會話代碼質量檢測私域知識庫檢索自定義Slash命令擴展自定義上下文擴展本地化模型使用高級智能助手AI Code Assistant商業商業開源開源.商業開源GitHub CopilotAI代碼助手標準代碼檢索的準確性模型選擇靈活性上下文多樣性自動完成的質量和速率便捷的指令可擴展性界面的

5、美觀性代碼大語言模型的選擇和評估根據預算，基礎設施，數據安全策略等因素決定采用開源模型還是商業模型根據基建，成本等因素選擇模型部署的方式12參考模型在各種基準(如HumanEval,MBPP等)上的評估結果進一步篩選模型3自己準備評估的樣本數據，將GPT-4模型作為基準模型進行比較來進一步評估模型的效果4開展內測收集用戶的使用反饋5#TP#APHumanEvalMBPP+LiveCodeBenchUSACOGPT-4o-0513Closed-9173.543.418.8DeepSeek-Coder-V2-InstructOpen236B21B90.276.243.412.1GPT-4-Turb

6、o-0409Closed-88.272.245.712.3GPT-4-Turbo-1106Closed-87.869.337.111.1Claude-3-OpusClosed-84.27234.67.8Gemini-1.5-ProClosed-83.574.634.14.9CodeQwen1.5-ChatOpen7b83.567.225-Llama3-InstructOpen70B70B81.168.828.73.3DeepSeek-Coder-V2-Lite-InstructOpen16B2.4B81.168.824.36.5DeepSeek-Coder-InstructOpen33B33B

7、79.370.122.54.2CodeStralOpen22B22B78.168.2314.6CodeQwen1.5-BaseOpen7b51.860.221.8-大語言模型能力基建支持主流LLM的部署目前支持幾十種模型統一API訪問高并發訪問攜程內部的Emoss AI平臺提供大模型部署，訪問，監控等一整套基礎能力認證授權資源分配監控和統計TPM,QPM 控制費用管理故障轉移Fine Tuning最終的解決方案基于Continue開發開源模型/商業模型混用關鍵技術實現03iCopilot Dev總體架構通過Core作為獨立的NodeJS服務，實現IDE,Webview,Core三者之間交互，進

8、而實現多平臺的支持多平臺支持動態配置管理Protocol定義大模型交互文件系統交互數據庫交互Slash Command核心邏輯Context核心邏輯IndexingCore服務擴展實現知識庫檢索和Agent使用Slash Command,Prompt,AI Lint的遠程管理集成高級Agent工具實現AutoDev擴展模塊AI代碼自動完成/代碼生成在IDE中AI幫助生成代碼通常有三種方式自動補全注釋提示內聯編輯AI代碼自動完成/代碼生成技術實現支持代碼完成的大模型都需要支持一種叫“Fill-in-the-Middle”(FIM)的技術而我們在編寫代碼時往往需要結合光標所在位置前后內容來“填充”

9、中間的內容，這就需要大模型進行相應的訓練大語言模型通常的情況是根據前面N個字符的內容去預測下面的內容prefixsuffix代碼FIM模版（不同模型可能模版會不同）AI Chatbot-結對編程好幫手AI Chat也是AI代碼助手最為常見的功能，可以幫助研發人員解決各種問題一般用法Slash Command指定Context多模態AI Chatbot 技術實現AI CHATBOT 是如何工作的？AI Search 更高效率的檢索代碼和知識傳統的搜索AI搜索AI Search流程圖AI Lint 實時代碼質量檢測傳統的代碼檢測工具SonarQube，Checkstyle，Eslint等一直是保障

10、代碼質量的利器。VSVS基于靜態代碼掃描代碼規范規則齊全檢測速率快誤報率低添加規則需要編碼對于復雜邏輯檢測較弱傳統靜態代碼掃描工具AI Lint基于大語言模型分析自然語言編寫規則可以檢測復雜邏輯檢測速率相對較慢有一定的誤報率AI Lint 實時代碼質量檢測Lint結果Lint規則AI Lint流程圖-title:檢測sql語句是否存在性能問題type:錯誤languages:alldescription:檢測sql語句是否存在性能問題-檢測代碼中是否存在sql，如果存在sql，請檢測sql是否存在性能問題iCopilot Dev平臺化管理AI助手平臺化管理的好處Prompt,Lint Rule

11、等易于管理和分享用戶個性化配置反饋數據收集和統計版本易于管理和下載AI代碼助手的終極目標AI代碼助手一直有一個終極的目標:一個完全自主的AI程序員AI DeveloperMetaGPTOpenHandsAiderAI AutoDev-高級代碼助手集成Auto DevAiderServiceIPCWebSocketAuto Dev完全無需人工介入的AI開發工具目前都尚不成熟，所以我們選擇了效果不錯的半自動的AI結對編程工具，目前已接入:AiderGPT Pilot其它的一些功能開發者工具集成CodeLens查看任務生成提交信息.落地情況和案例04落地使用情況調用量/月20W+40Mil+Toke

12、ns/月iCopilot Dev最大的特色是可擴展性，用戶可以通過各種配置來構建適合自己的AI代碼助手。我們也在不斷地迭代產品，擴展其在代碼質量保障以及智能Agent等方面的功能，從而實現更加智能化的AI代碼助手AI代碼完成AI Chat其它功能使用情況分布iCopilot Dev 效果展示單元測試用例生成案例可以通過Codebase將相關的內容引入到Context中，從而有效的提高生成UT的質量這里使用了Files，也可以使用Codebase對整個代碼庫進行上下文檢索結合知識庫生成API自動化用例工作中結合領域知識庫用途 更好的了解代碼的業務 檢查代碼規范 編寫API自動化用例 檢索缺陷 使

13、用AutoDev-Aider從零構建項目總結及未來規劃05總結AI代碼助手將成為研發人員開發的利器已經是一個不爭的事實提高編碼效率通過AI生成代碼，尤其是重復性的工作交給AI完成，可以有效的提高程序開發的效率提高代碼質量AI生成的代碼基本都來自于高質量代碼的訓練，具有較高的質量和規范性降低學習成本幫助開發人員熟悉項目代碼，尤其是不熟悉的領域或語言，可以有效的降低學習成本提高創造力將研發人員從繁復的工作中解放出來，可以把精力放在更為有創新性的工作中未來規劃及展望AI會取代程序員嗎？AI將是程序員的好幫手 提升代碼生成準確度 構建高質量的知識庫提高生成業務代碼的準確度 持續引入更優秀的模型 引入更優秀的高級智能助手 通過調用鏈以及自我修復生成準確且可執行的測試用例 提供更多的AI Lint規則 AI評估改動代碼風險 提高代碼質量感謝聆聽關注公眾號