A2--魏同權--基于大模型的軟件測試能力提升研究.pdf

《A2--魏同權--基于大模型的軟件測試能力提升研究.pdf》由會員分享，可在線閱讀，更多相關《A2--魏同權--基于大模型的軟件測試能力提升研究.pdf（47頁珍藏版）》請在三個皮匠報告上搜索。

1、基于大模型的軟件測試能力提升研究華東師范大學目錄CONTENTS議題背景01 相關工作02 大模型綜合解決方案03 場景化方案細節04 總結與展望05 01議題背景大模型與軟件測試的應用背景宏觀環境GPTLLAMA國家發改委發布:關于加快推進人工智能創新發展的指導意見行業走勢市場潛力政策背景內容創作智能教育金融2022:$2B2032:$80B軟件測試能力提升基本方法日志分析深度解析海量程序日志測試流程端到端優化整體測試流程結構化數據非結構化數據日志的特點產生速度快數據種類多數據規模大價值密度低日志數據日志分析的技術難點穩定性低移植性差抗擾性弱測試流程痛點1.提出需求2.編寫用例3.用例評審4

2、.用例執行5.測試報告人力成本巨大人工測試面臨的問題1342效率低下質量不穩覆蓋不全適用性差自動化測試面臨的問題1342標準化難工程量大背景復雜通用性差02相關工作日志分析的標簽化方法有監督半監督無監督精確度適用性標記成本高調整復雜理解成本高日志數據處理Compression數據壓縮存儲優化運行時壓縮Parsing數據解析字段提取結構化日志Mining數據挖掘異常檢測故障分析日志數據解析日志頭關鍵字【常量單詞】Received blockof sizefrom程序日志解析模型DeepLog基于日志鍵的方法沒有考慮到文本的語義信息RNN模型的輸入長度有限當前狀態只依賴于當前狀態以前的狀態，沒有充

3、分考慮上下文日志的模式會發生變化，可移植性差DeepLog日志預測模塊最近的日志鍵keym-h,m-1預測的日志鍵Pr(Key0,n)inputoutput程序日志解析模型NeuralLog去除數字和符號信息將處理后的單詞使用bert模型編碼基于單詞的編碼生成句子表示向量經過Transformer分類器預測輸出NeuralLog的缺陷數字符號信息也是日志的重要信息編碼器的單詞表有限生成句子向量丟失原本的語義信息對類型之外的模式不能很好識別去除數字和符號信息將處理后的單詞使用bert模型編碼基于單詞的編碼生成句子表示向量經過Transformer分類器預測輸出缺陷流程測試流程現狀目標：確保軟件開

4、發過程中的質量、可靠性和安全性 降低軟件開發的風險，并確保最終產品符合用戶需求和預期問題：人工勞動過于密集需求分析測試計劃制定測試用例設計測試環境設置執行測試缺陷管理性能測試安全性測試用戶驗收測試文檔和報告03大模型綜合解決方案大模型方案概述機器學習是人工智能的一部分，它使用數據和算法來實現AI的目標。深度學習是機器學習的一個子領域，它使用深度神經網絡來學習數據的表示。大模型通常用于深度學習任務，它們是深度學習的一種實現方式，其中模型具有大量的參數。人工智能機器學習深度學習大模型基于大模型的測試方法分類測試任務測試生成單元測試測試預期測試輸入缺陷檢測缺陷分析調試修復大模型綜合解決方案流程定義任

5、務上下文建立格式化輸出少量樣本學習交互式查詢微調和迭代“請分析下列日志”“請給出測試case”過往的日志信息過往的分析數據過去的測試樣例準備階段：利用引導語句和輸入提供必要信息“請以markdown格式輸出”“請用json格式提供case”大模型綜合解決方案流程定義任務上下文建立格式化輸出少量樣本學習交互式查詢微調和迭代改進階段：提高性能與適應性Few-shot learning準備階段僅提供少量樣本基于前置答案追加要求基于結果重新訓練模型利用Fine-tune訓練模型大模型方法的優勢性能更好泛化更強知識更多挖掘力更強樣本更小復雜性更低04場景化方案細節基于日志的數據整合大模型不僅可以提取信息

6、，還可以發現信息中隱藏的模式基于日志模式的檢測方法無法判斷上述異常狀態2023-09-05 09:30:00 INFO Database connection established successfully.2023-09-05 09:35:00 INFO User AlexM initiated data backup process.2023-09-05 09:40:00 INFO Backup process completed approximately 20%.2023-09-05 09:50:00 INFO Backup process completed approximate

7、ly 80%.2023-09-05 09:55:00 INFO Backup process completed successfully.2023-09-05 09:55:15 WARNING Unexpected database query detected.2023-09-05 09:55:17 INFO Data export detected from 192.168.1.105.2023-09-05 09:56:00 INFO User AlexM logged out.日志分析：錯誤信息的提取與理解模型在大量的文本庫進行了預訓練，可以從文本本身的含義出發提取錯誤關鍵信息。日志分

8、析：日志異常檢測模型的訓練使用不同的Prompt定義任務來修正輸出內容使用少量樣本訓練提升模型檢測能力微調prompt規范輸出格式利用大模型泛化測試流程自動化軟件測試框架 大模型選擇 集成大模型和目標軟件系統 將測試流程自動化大模型目標軟件系統測試樣例測試流程生成方案“小”模型數據集微調訓練后模型175B+模型生成引導語句生成生成測試流程面向測試流程的大模型訓練過程數據：過去的需求文檔、技術文檔、測試圖基礎模型：7/13/30B語言模型現有模型數據集微調目標模型測試文檔少量樣本學習微調和迭代面向測試場景的大模型訓練上下文感知 針對測試進行微調（Fine-tune）制作數據集引導語句實例定義任務

9、格式化輸出模型推理過程模型測試樣例引導語句測試文檔輸入輸出測試流程輸出實例：目錄樹文本結構簡單，便于切換為EXCEL等常用格式可讀性強，單個步驟清晰測試流程輸出實例：C+代碼可以直接運行流程測試流程輸出實例：JSON文本字數最少節省大模型token樹結構最清晰大模型軟件測試能力提升實驗結果輸入：需求文檔輸出：測試流程Audience Filtering:Short videos with presale anchors are completely invisible to kids mode users(full-scene filtering).Unauthenticated users

10、trigger login when clicking on an anchor;only logged-in users can subscribe(because notifications need to be sent at the UID level).Anchor style remains the same as online,with the text”MMM.Clicking on an anchor brings up a display of artist performances:Banner Image:XXXPage Title:XXX Name+YYY.Presale Time:Obtained from API.Date Format:Fri,Date,Year at Time.Presale Code：YYY05總結與展望大模型能力提升日志分析自動化 關鍵詞提取與數據融合測試流程自動化 Test Case 理解并生成 需求-測試全流程自動化利用量化技術加速推理壓縮矩陣運算減少內存使用基于C+實現快速推理推理性能提升感謝聆聽關注QECon公眾號