A1--梁業東--LLM在功能測試用例中的應用.pdf

《A1--梁業東--LLM在功能測試用例中的應用.pdf》由會員分享，可在線閱讀，更多相關《A1--梁業東--LLM在功能測試用例中的應用.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、LLM 在功能測試用例中的應用梁業東趣丸科技-高級研發工程師梁業東趣丸科技-高級研發工程師趣丸科技高級研發工程師，從事運維領域相關工作 8 年，專注于運維平臺建設和k8s相關組件開發。曾參與趣丸科技的容器云平臺項目建設，成功實現了容器化操作的標準化、可視化和審計的統一。目前負責測試用例生成的開發和推廣，致力于提升軟件測試流程的效率和準確性。目錄C O N T E N T S1.LLM 與 軟件測試場景2.測試用例生成工具的探索3.趣丸科技落地實踐分享4.未來展望LLM 與 軟件測試場景測試流程介紹測試流程主要涵蓋哪幾個重要的工作場景？需求分析測試用例編寫業務功能測試API 及 自動化測試各工作

2、場景的耗時占比功能測試用例什么是功能測試用例？1.目的明確，功能是否能夠按照需求文檔或用戶故事中定義的方式正常工作2.步驟詳細，提供清晰的操作指引和預期結果3.結果可驗證，定義成功的標準，確保功能是否正確執行功能測試用例為什么先做功能測試用例生成？測試用例占比時間比較多因為它以文本的理解和生成為主相比其他工作場景，測試用例場景更能體現 LLM 的優勢測試用例生成相比其他的幾工作場景，更容易看到落地的可能性。測試用例生成工具的探索流程介紹關于借助 LLM 生成測試用例的大致流程遇到的難點1.受于 token 的限制，輸入的上下文會受到約束，而輸出的用例結果會經常出現中斷或降低對測試點的覆蓋2.生

3、成有效占比只能達到 30%左右產品化方式如何產品化測試用例生成這一功能？聊天模式方案1.用戶友好，用戶可以像與真人對話一樣提出需求2.靈活性，根據用戶的想法自由地描述測試場景3.對話式記錄，對話記錄作為上下文，便于 LLM 及時響應用戶想法生成模式方案 1.精確控制,用戶通過界面輸入測試數據，細粒度管理用例。2.固化場景,為場景提供定制化控制選項。3.集成自動化,為后續的測試流程自動化打下基礎。聊天模式方案探索了解方案的核心流程聊天模式方案探索方案涉及的核心能力1.產品文檔的RAG根據需求召回文檔解析文檔的格式及層級，盡可能的讓 LLM 與人類的理解保持一致3.長文本輸出由于 LLM 的tok

4、en 限制，用例結果輸出受到限制2.聊天記憶同樣受限于 LLM 的 token限制，長文本的輸入受到限制4.測試點的覆蓋用例生成后如何盡可能覆蓋功能文檔中的所有測試點聊天模式方案探索1.產品文檔的召回(RAG)a.產品文檔解析與存儲b.產品文檔塊召回流程聊天模式方案探索2.關于聊天記憶由于 LLM 的輸入token 限制，以 GPT4o 為例子，它的輸入是 128k，而輸出只有 4k，所以我們需要對記憶進行串改，并分成了以下兩個類型：短期記憶，指圍繞 最近一次 的用例結果的上下文長期記憶，指 會話歷史中某一次 的用例結果的上下文聊天模式方案探索關于聊天記憶-短期記憶短期記憶，指圍繞 最近一次

5、的用例結果的上下文聊天模式方案探索關于聊天記憶-長期記憶長期記憶，指 會話歷史中某一次 的用例結果的上下文聊天模式方案探索3.長文本輸出通過代碼判斷結果的格式是否完整，驅使 Agent 進行用例的續寫，最后進行合并聊天模式方案探索4.測試點的覆蓋通過多個Agent 模式進行用例結果的 反思，重新思考是否需要進行測試點補充聊天模式方案探索最終結果，不及預期 1.數據的召回不穩定主要同一個類似的描述在文檔會多次出現，導致用例結果不一樣3.用例都是散落在會話中事后難以回顧及管理，同時也增加了后續研發流程標準化難度2.用戶習慣點擊生成用例而不是通過大量的聊天去生成用例那我們應該如何改進？不妨聽聽用戶是

6、怎么說的？用戶A:明顯感覺相比 Demo 對文檔的測試點基本能覆蓋用戶B:對于有效的用例，我想進行保留但沒辦法操作用戶C:每次讓 AI 去修改的時候都是整版修改非常的耗時，而且改的時候會可能覆蓋有效用例趣丸科技的落地實踐分享生成模式方案落地生成模式的優勢是什么？用例管理 跟隨版本迭代,管理方式更符合平時的工作模式固化流程 通過固有流程去生成用例，省去不穩定的意圖識別工程化結合通過標準流程和 UI 交互,減少對 LLM 的依賴強調人在回路 用戶的輸入、決策或反饋被集成到系統的運行閉環中生成模式方案落地方案涉及的核心能力生成模式方案落地1.文檔處理數據層級處理，主要針對排版、嵌套和樣式表格數據處理

7、，主要針對普通的表格及電子表格圖片數據處理，當前只針對通用圖片處理生成模式方案落地2.數據召回數據召回，化繁為簡（供給側標準化）標準化輸入格式，直接按文檔的標題的塊層級進行拆分用戶通過選擇標題塊，使用傳統編程直接匹配數據，讓 LLM 聚焦于該主題進行生成生成模式方案落地3.固化生成流程-創建用例生成模式方案落地3.固化生成流程-修改用例生成模式方案落地4.LLM 與 工程化的結合生成模式方案演示當前成效-演示生成模式方案成效客觀數據用例行采納率 平均行采納率 40.5%有效生成占比 55%-65%主觀評價不同尺碼的需求時效提升小尺碼，原平均耗時：4.5 h，現平均提升：37.2%中尺碼，原平均

8、耗時：11.6 h，現平均提升：28.2%大尺碼，原平均耗時:18.1 h，現平均提升:17.5%當前成效-數據生成模式方案落地實踐經驗總結1.通過工程化的結合，能有效提升整個生成的流程控制，從而快速落地檢驗。2.LLM 對文檔的內容的質量有著較高的要求。3.缺少產品相關模塊的產品背景、術語、測試背景等，容易引發 LLM 對于產品的幻覺。4.用例越多花費的檢查時間越長，需要進一步提高用例生產的可控性。未來展望關于測試1.后續測試用例的方向增強文檔的解析力對不同的數據深化解析方式，如圖片，應按不同的類型進行解析提供更多的選項產品簡介、產品術語和測試背景的補充，與產品模塊相互綁定2.更多可能性基于 準確率高 的測試用例，我們下一步可以生成 API 自動化測試計劃 打通現有的 API 測試流程，甚至向更高難度的 功能測試 進行探索。寄語LLM 技術極大降低了 AI 的使用門檻，讓每個 開發者 的 AI 夢想觸手可及。感謝聆聽關注公眾號