Gtest_【智能測試專場】-《AI賦能測試：Hybrid RAG技術在自動化測試用例生成中的創新探索》360康博.pdf

《Gtest_【智能測試專場】-《AI賦能測試：Hybrid RAG技術在自動化測試用例生成中的創新探索》360康博.pdf》由會員分享，可在線閱讀，更多相關《Gtest_【智能測試專場】-《AI賦能測試：Hybrid RAG技術在自動化測試用例生成中的創新探索》360康博.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、測無止境 數智共進2024全球軟件測試技術峰會北京 12月AI賦能測試：Hybrid RAG技術在自動化測試用例生成中的創新探索2024年12月06日研究背景T H E P A R T 0 1RAG的應用T H E P A R T 0 2Hybrid RAGT H E P A R T 0 3未來展望T H E P A R T 0 4目錄01研究背景研究背景人力資源消耗較高靈活性較低歷史數據利用率較低復雜場景難應對節約人力資源靈活性較高測試用例可解釋性較低復雜場景難應對適用于規模較小的文檔歷史數據利用率較低充分利用歷史數據增強測試用例的可解釋性提升測試用例的準確性提升測試用例的相關性適用于規模大

2、、復雜的文檔可以適應復雜場景RAG簡介索引（Indexing）文本分割：將文檔分解為文本片段，其目的是在保持語義連貫性的同時，減少嵌入內容中的噪聲。數據處理：先對文本片段進行特征提取，再將關鍵特征轉化為向量數據或者圖數據。構建索引：將文本數據、向量數據和圖數據建立索引，并存儲至數據庫中。檢索（Retrieval）查詢處理：對用戶查詢進行處理，比如查詢重寫、特征提取、關鍵點提取等操作。相似度計算：計算用戶查詢與數據庫數據之間的相似度。排序與選擇：根據相似度對數據進行排序，并選擇最相關的數據作為檢索結果。生成（Generation）上下文融合：將檢索得到的數據與用戶查詢結合形成上下文。文本生成：以

3、融合后的上下文作為大模型輸入，指導大模型生成回答。優化調整：對大模型的答案進行優化和調整，從而確保答案流暢、易于理解且符合要求。1 12 23 3Vector RAG和Graph RAG02RAG的應用應用場景-測試業務問答在測試過程中，測試人員可能會查詢歷史文檔中的相關內容，以了解相關業務邏輯和需求。測試人員也可能會查詢關于特定功能的詳細內容，從而確保測試用例可以覆蓋所有關鍵點。應用場景-測試用例生成（歷史需求）測試人員通過檢索詞從歷史文檔中提取相關功能和業務邏輯，通過解析相關內容來自動生成詳細的測試用例，以提升測試效率和準確性。應用場景-測試用例生成（增量需求）面對不斷變化的需求，測試人員

4、需快速響應新增需求。對于新增需求，測試人員首先需要檢索并理解歷史文檔的相關部分，然后結合新增需求和相關歷史數據，編寫與新需求對應的測試用例。Vector RAG和Graph RAG的應用效果RAG在自動化測試用例生成的挑戰Vector RAG的檢索精度較低由于向量空間中相似度并不一定能反映真實的語義相似度，且數據中的噪聲也會干擾向量檢索的結果，導致RAG檢索結果有時并不理想。Graph RAG資源消耗較大盡管Graph RAG在檢索精度上有所提升，但它也會消耗較多的Token資源和存儲空間。此外，圖譜的更新同樣需要大量的資源投入。Graph RAG提取的知識圖譜較為分散Graph RAG提取的

5、知識圖譜較為零散，并且會包含不必要的實體信息。這些冗余實體不僅占用了寶貴的存儲資源，還會對檢索結果產生干擾。用戶意圖理解不正確用戶意圖理解錯誤會直接影響RAG系統的檢索效果，從而影響自動化測試用例生成的質量。03Hybrid RAGHybrid RAG整體框架Vector RAG的索引和檢索Graph RAG的索引和檢索查詢處理模塊多級緩存機制四大核心內容四大核心內容Hybrid RAG的獨到之處在于它能夠同時利用Vector RAG的廣泛相關性和Graph RAG的結構化信息來提供更加精確且全面的答案。Hybrid RAG有四大優勢：檢索精度高、資源消耗低、提取的圖譜更加聚合、用戶意圖理解更

6、精確。Hybrid RAGHybrid RAG的優勢的優勢Vector RAG索引和檢索過程利用OCR模型對文檔的內容進行文字提取，然后構建倒排索引和向量索引，以便于高效處理文檔信息。索引階段索引階段通過分布式檢索加速檢索過程，并運用Rerank模型對相關內容進行重排序，確保檢索結果的高相關性和準確性。檢索檢索階段階段結合向量檢索的語義理解和全文檢索的關鍵字匹配二者的優勢，進一步提高檢索精度。Vector RAGVector RAG的優勢的優勢Graph RAG索引和檢索過程對實體進行矯正和去重處理，減少重復實體的提取，不僅降低資源消耗，而且減少冗余實體對檢索效果的影響。圖圖元素優化元素優化設

7、計雙重檢索機制，以充分查詢完整的上下文信息。雙重檢索機制雙重檢索機制不僅優化提取圖元素的Prompt，而且允許用戶提供背景知識，使大模型提取圖元素時更加精準以減少資源消耗。圖圖元素提取元素提取查詢處理模塊1.利用內容總結智能體對用戶查詢記錄進行總結，并檢索與之相關的數據。2.將用戶查詢記錄信息和檢索得到的相關數據作為背景知識，通過時間解析和意圖識別智能體進一步解析用戶意圖。3.利用查詢重寫智能體對查詢進行重寫。查詢重寫查詢重寫設計多智能體協作的方案，進一步提升意圖理解的準確度和可靠性，主要有四種智能體：內容總結智能體、時間解析智能體、意圖識別智能體、查詢重寫智能體。多智能體協作多智能體協作多級

8、緩存機制文檔級別緩存根據文檔內容生成文件的MD5值，并將文件MD5值與文件內容作為鍵值對存儲。如果文檔內容已存在，則無需重新索引，從而減少相同文檔重復處理的資源浪費。段落級別緩存依據段落內容生成其MD5 值，并 以 段 落MD5和段落內容作為鍵值對進行存儲。當文 檔 內 容 發 生 變 化時，保留未被更改的段落，刪除并替換被修改的段落。實體級別緩存使用段落的MD5值及其對應的獨有實體作為鍵值對進行存儲，這樣不僅可以更方便地查詢已有實體，還可以在段落被刪除時更快地確認圖譜中需要刪除的實體。大模型級別緩存將大模型的輸入與輸出結果以鍵值對的形式存儲下來，可以顯著 減 少 大 模 型 的 調用，從而節

9、省資源。Hybrid RAG的實驗效果C(Comprehensiveness)：答案是否涵蓋了問題的所有方面和細節。E(Empowerment)：答案是否有效地使讀者理解并做出判斷。D(Diversity)：答案是否提供與問題相關的不同視角和見解。O(Overall)：評估前三個維度的綜合表現以確定最佳的答案。四個維度四個維度Mix（公開）：包含61篇文檔。Agriculture（公開）：包含12篇文檔（與Mix均來自UltraDomain Benchmark）。Private（私有）：基于測試業務相關文檔構建的數據集，包含10篇文檔。多個數據集多個數據集多個數據集的實驗結果顯示Hybrid

10、RAG的效果優于Vector RAG和Graph RAG。四個維度的評估表明Hybrid RAG生成的答案更加貼近人工思考的答案。Vector RAG vs Hybrid RAGVector RAG Hybrid RAGMixAgriculturePrivateMixAgriculturePrivateGraph RAG vs Hybrid RAGGraph RAG Hybrid RAGUltraDomain Benchmark來源：https:/huggingface.co/datasets/TommyChien/UltraDomainHybrid RAG場景適配的效果Hybrid RAG降

11、低資源消耗的效果使用42,631Tokens的文檔集，對比了Hybrid RAG和Graph RAG在圖規模（Graph Size）和大模型消耗Token數量兩個方面的資源消耗。在圖規模方面，Hybrid RAG減少了15%的邊和節點提取。在大模型的Token消耗方面，Hybrid RAG相比Graph RAG降低了45%的總體消耗。Hybrid RAG提取知識圖譜的效果Graph RAG提取的知識圖譜相對較為分散，其中一些節點可能包含不必要的實體信息。Hybrid RAG提取的知識圖譜更加聚合，無用實體明顯減少。Hybrid RAG實踐案例使用多個通用需求文檔作為歷史知識庫，包括商城管理系統

12、和圖書管理系統等多個文檔，圖書管理系統的積分系統作為增量需求文檔。通過兩個應用場景來驗證Hybrid RAG自動生成測試用例的應用效果。通用通用需求文檔需求文檔索引構建索引構建檢索詞和增量需求文檔檢索詞和增量需求文檔測試用例測試用例生成圖書管理系統所有相關的測試用例Hybrid RAG實踐案例-知識圖譜商商城管理系統城管理系統圖書圖書管理系統管理系統Hybrid RAG實踐案例-歷史需求Hybrid RAG生成測試用例準確率達86%使用Hybrid RAG自動生成圖書管理系統的測試用例，涵蓋功能測試、兼容性測試、安全性測試、性能測試和可用性需求五個方面的測試用例。將Hybrid RAG生成的測

13、試用例與人工設計的測試用例進行對比后，發現其準確率達86%。Hybrid RAG實踐案例-歷史需求Hybrid RAG生成的關于功能測試的測試用例Hybrid RAG生成的其他方面的測試用例人工設計的測試用例Hybrid RAG實踐案例-增量需求增量需求文檔Hybrid RAG生成的測試用例04未來展望多元化知識圖譜構建知識庫的目錄結構也包含一定的實體關聯信息，但常常被忽略。問題當前方案未來方案構建一個多元化知識圖譜，將結合實體-關系圖和目錄文檔結構圖。圖中節點不僅限于文件內容中提取的實體，還可以表示目錄、文檔或段落信息。構建一個關系更復雜、信息更全面的多元化知識圖譜，以支持更復雜的檢索算法，

14、提供更精確更全面的答案。知識圖譜共創Hybrid RAG的索引和檢索過程對用戶來說是一個黑盒，用戶并不了解其具體過程。允許用戶參與知識圖譜的創建，不僅可以增強Hybrid RAG索引和檢索的可解釋性，還能使知識圖譜更加完整。自動選擇RAG索引用戶在索引文檔時很難判斷何時應使用HybridRAG或Vector RAG，這可能導致在處理簡單文檔時選擇了Hybrid RAG，從而造成資源浪費。設計一個RAG索引自動選擇模塊，以此來進一步優化Hybrid RAG的整體結構，減少資源浪費。圖神經網絡推理在處理復雜推理問題，尤其是多跳推理時，大模型的推理能力可能不足以生成準確的答案。結合大模型的語言理解能力和圖神經網絡的圖結構處理能力來提高Hybrid RAG的準確性。圖片來源 https:/arxiv.org/pdf/2405.20139測無止域數字共進THANKS！