于蕾-基于AIGC構建具備中高級水平的測試領域AI助手.pdf

《于蕾-基于AIGC構建具備中高級水平的測試領域AI助手.pdf》由會員分享，可在線閱讀，更多相關《于蕾-基于AIGC構建具備中高級水平的測試領域AI助手.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、AI*軟件研發數字峰會NDDDg1AIAI驅動軟件研發softwareDevelopment全面進入數字化時代Digital中國深圳11.24-25summit基于AIGC構建具備中高級水平的測試領域AI助手于蕾螞蟻集團#page#KEYLINK科技生態圈峰會+深度研習ing1000+技術團隊的共同選擇深圳站上海站K+峰會K+每合密K+峰會K+全球軟件研發行業創新峰會K+全球軟件研發行業創新峰會會議時間：2024.05.24-25會議時間：2024.09.20-21G會北京站深圳站深圳站NDD峰會NDD峰會NDD峰會NDD峰會AI軟件研發數字峰會AI軟件研發數字峰會AI軟件研發數字峰會2024

2、.07.19-20會議時間：2024.11.15-16會議時間：2023.11.24-25會議時間：#page#演講嘉賓于蕾螞蟻集團螞蟻集團平臺工程與技術風險部質量技術測試開發專家，目前主要負責螞蟻集團CIO部門的業務質量保障工作，包括螞蟻集團業務風險、行政、采購、內控等多個業務領域相關的質量保障及穩定性，并負責測試分析大模型訓練、領域模型評測等方向的相關工作，畢業后曾就職于百度，從事信貸業務后臺、搜索等業務的質量保障ADDA軟件研發數字會AI驅動軟件研發全面進入數字化時代#page#AI*軟件研發數字峰會NDD螞蟻測試流程與測試分析背景介1目錄2.測試分析模型訓練介紹3.實踐成果介紹CONT

3、ENTS4.展望#page#AI*軟件研發數字峰會NDDPART 01螞蟻測試流程與測試分析背景介紹#page#螞蟻測試分析背景介紹業務風險分析風險分析研發流程技術風險分析功能測試測試性能測試測試用例發布需求&產品系統設計測試分析開發&測試預發/灰度設計”兼容性測試分析可灰度分析變更三板研發流程中測試分析環節是測試工程師質量保障工作最核心的價值產出可監控/核對分析停應急分析測試分析環節在整個研發流程提效難，針對大型項目通常需要數天才能完成；享喜望狗嶺線不心一美別書-z融工喜望狗嶺線不一美于YL通器崇要“彈研孩與中得Y共賬ADDA軟件研發數字核會AI驅動軟件研發全面進入數字化時代tpigital

4、#page#測試領域工具現狀SoapultTestCompleteUFT OneEKatalonStudio sg Selenium測試用例管理WETPOSTMANjMeterRanorex Studio6測試框架stSudioSwatirSappiumcucumberWORKSOFT.cypressGLAMBDATESTACCELOtestiMApp/ul/接口aasePractiTestTestRaili.TESTPADklarosQMETRY南QaouetestmoDevops新MtestuffTestollabQqTestIIReQtestX測試分析生成TclbR司ZEPHYRTest

5、LodgeTestFLOLinkAl+軟件研發數字峰會NDDAI驅動軟件研發全面進入數字化時代pigital#page#AI*軟件研發數字峰會NDDPART 02測試分析析模型訓練介紹#page#測試分析模型目標中高級水平的測試領域AI助手風險分析&措施推薦能力測試領域通識知識能力測試設計能力基于需求產品文檔&系統設計業務風險&技術風險分析計算機領域知識文檔=測試場景&測試用例風險指施推薦（線下/灰測試領域知識度/監控/應急）測試分析方法運用功能、性能、安全、AI*軟件研發數字峰會AI驅動軟件研發全面進入數字化時代NDD#page#測試分析模型一模型架構Copilot模式Web-chat模式產

6、品透出-文檔AI智能助手、螞蟻質量平臺、BG測分平臺-CodeFuse測分助手測試領域知識注入PRD-用例自動關聯多模態數據處理業務域測試分析模型Prompt-turning結構化處理圖片-結構化語言模型結構化語言-自然語言QA提取模型相似信息匹配SFT/LORA/PromptEngineering測試分析基礎模型測試領域知識測試設計方法螞蟻測試領域知識歷史線上間題（故障）訓繡場景分等價類測試書籍邊界值析法數據PRD/系分/測分文檔螞蟻語言大模型螞蚊測試論壇因果圖判定表測試用例AI*軟件研發數字峰會NDDAI驅動軟件研發全面進入數字化時代6#page#測試分析模型測試領域知識注入ioc2QA效

7、果原文結構化語料構建Hurman：你好，請同自盒測試法是如何進行的？把測試對象看作一個打開的盒子。利用白盒測試法進行動態測試時，可通過測試來檢測產品內的動作是否按屬規格說明書的規定正常進行，接照Assistant：你好，白盒測試法是一種動態測試方法，通過測試來檢查產品序內部的結構測試程序，檢驗程序中的每條通路是否都能按預定要求正內部動作是否按規格說明書的規定正常進行。它主要測試程序中的每是工作，而不顧它的功能，白盒測試的主要方法有邏輯驅動、基路測試等。通路是否都能按預定要求正確工作，而不顧產品的功能。白盒測試法主要1.Input:Q包括邏輯驅動、基路測試等，可以通蓋程序內部結構、所有邏輯路徑以

8、及主要用于軟件驗證。白盒測試法的覆蓋標準有返輯覆蓋、循環覆蓋和基本功能。路徑測試，其中邏輔覆蓋包括語句覆蓋、判斷）定覆蓋、條件覆蓋、判Output:A（折）定/條件覆蓋、條件組合覆蓋和路徑覆蓋。這六種覆蓋標準發現錯Human：白盒測試法的覆蓋標準有哪些？誤的能力星由弱至強的變化。n白盒“法全面了解程序內部邏輯結構、對Assistant：白盒測試法的覆蓋標準包括邏輯覆、循環覆蓋和基本路徑測所有邏輯路徑進行測試?！鞍缀小胺ㄊ歉F舉路經測試。在使用這一方案時，2.Input原文+Q試。邏輯覆蓋包括語句覆蓋、判（斷）定題蓋、條件覆蓋、判（斷）定/條件題測試者必須檢查程序的內部結構，從檢查程序的邏輯著手，

9、得出測試器蓋、條件組合覆蓋和路徑蓋。這六種覆蓋標準發現錯誤約能力呈由弱至Output:A據。強的變化。QA提取任務3.Input：相似QOutput：相似A問答生成訓練4.Input:QA+相似QOutput：相似A螞蟻語言大模型NDDAI軟件研發數字峰會AI驅動軟件研發全面進入數字化時代G10L#page#測試分析模型-PRD-用例自動關聯數據清洗數據加工數據關聯PRD預處理PRD片段段落折分PRD片段Vs用例集匹配結構化語料表格處理多級標題螞蟻需求文檔圖片處理務名詞解釋專有名詞解釋拼接（PRD）語雀文檔正文段落多級標題拼接PRD標題用例集標題無效信息過濾Input:PRD標題簽級精確匹配P

10、RD段落次小標題段落融合匹配Output用例集標題PRD正文測試用例集打標PRD鏈接用例集預處理測試用例用例集標題逐級精準匹配螞蟻多級標題次小標題用例集融測試用例用例集結構化測試用例合匹配無效用例過誠用例列表和詳集管理平臺Al+軟件研發數字峰會AI驅動軟件研發全面進入數字化時代NDDHG0#page#測試分析模型多模態數據處理Step1Step2維修的設備或設施。維修人員接收任務并維修設備或設施。如果維修部門審核維修醫回步驟7。果審核不通過，返回步驟7：否則，進入步18有助干管理者加執行客更好工新拍Step1：圖片一結構化語言任務Step2：結構化語言一自然語言任務結構化圖片閱讀能力訓練結構化

11、語言理解能力訓練螞蟻語言大模型螞蟻多模態大模型NDD軟件研發路字會AI驅動軟件研發全面進入數字化時代pigital#page#測試分析模型-prompt設計測試分析專家對需求進行測試用例設計角色任務格式思維鏈要求按照markDown領域測試用例設計實例格式返回領域測試設計方法論總結ADDA軟件研發數字會AI驅動軟件研發全面進入數字化時代#page#AI*軟件研發數字峰會NDDPART 03模型效果介紹#page#測模型效果中高級軟件考試計算機技術與軟件專業技術資格（水平）考試-中級/高級（軟件評測師考試等）中高級軟考-客觀題中高級軟考-主觀題206167399/64747.4540.03307

12、/6472591647準確率（%）GPT3.5媽紋語言大模型螞蟻測試分析模型e.g.什么是白盒測試？標準答案GPT3.5螞蟻測試分析模型白盒測試也稱結構測試，透明盒測試。主要用于單元測白盒測試是一種軟件測試方法，它涉及測試軟件代碼的白盒測試是一種軟件測試方法，也稱為結構測試或代碼試階段，代碼和邏輯的測試，重點復雜的測試，是一種測試。它基于對軟件內部結構和代碼的了解，通過檢查內部實現，以驗證其是否滿足設計規格說明。白盒測試測試用例設計方法，不同于黑盒測試，白盒測試是可以程序的內部邏輯、數據流、變量使用等來驗證軟件是否通常用于測試軟件的內部邏輯和算法，以及檢查代碼覆看到內部代碼如何運作的，可通過測

13、試來檢測產品內部按照設計要求正確地執行。白盒測試通常由開發人員或蓋率和分析代碼性能。白盒測試的目標是驗證軟件是否專業測試人員執行，旨在發現代碼中的錯誤、缺陷和漏滿足規格說明，并檢測和修復潛在的錯誤和缺陷。白盒是否符合規定正常運行。洞，以提高軟件質量和可靠性。測試通常包括靜態分析、動態分析和邏輯覆蓋率分析等技術。NDDA軟件研發數字峰會AI驅動軟件研發全面進入數字化時代#page#模型效果測試用例設計&風險措施分析使用測試設計方法進行用例設計根據業務場景生成測試分析根據業務場景分析風險防控策略Haman：螞蟻的三板指的是可醫控“可灰度、“可應急“三方面的能力，請根據下面的需Human：假如你是一

14、個經驗豐富的測試工程師，CQ號碼要求是6-10位的整求，分析這個變更的三板詳集略以保障業務線上可用：電商平臺網站的用戶注冊功能數，請使用等價類劃分法進行測試用例設計測試分析沒計量測試過程中的重要節，它映測法人員確定自標和方法，針對電商平臺網站的用戶注冊功能，以下是一個測試分析設計的示制確定測試目標Arswe：根據等價類劃分方法，我們可以將CQ號碼的輸入范圍劃分為以下Answer根據您提供的信息，針對電商平臺網站的用戶注冊功能，可以考慮以下三板策略驗證用戶注冊功能是否正常工作。幾個等價類：保障業務線上可用確保用戶能夠成功注塊號。始查注冊過程中的輸入驗證和錯誤處理機制1、可監控：在用戶注冊功能上線

15、后，可以通過監控接口調用情況、注冊成功/失敗率、用戶信鑄保注冊后的賬號信息能夠正保存和顯示。1、6位及以下：這個等價類包括最小長度和最大長度的情況。息一致性等指標，及時發現線上問題并快速響應請定測試范圍2、6-10位：這個等價類包括符合要求的6-10位數的范圍。2、可灰度：在用戶注冊功能上線后，可以先進行小范圍友度驗證，倒如先開放給部分用戶進清福3、10位以上：這個等輸類包括超過量大長度的10位數的范圍。行注冊，再逐步擴大灰度范圍，確保線上業務糖定運行。如填寫必填信息，驗證鋪入等）基于以上等價類，我們可以設計以下測試用例3、可應急：在用產注冊功能出規線上問題時，可以通過應急開關回切、代碼回濾、

16、用戶入口屏等榮略，快遞按復線上業務，降低故障影響。同時，在灰度驗證過程中，也可以收集用戶正常注冊酒題反饋。及時優化功能，提高用戶體驗。1、輸入一個6位數的CQ號碼，例如“1234562、輸入一個10位數約QQ號碼，例如“1234567890T。需要注意的是，在實施三板策整時，需要根據實際情況進行靈話調整，例如在灰度驗證過程注冊格式驗證中，可以根據用戶反饋和數據指標，逐步擴大灰度范圍，提高灰度效果。同時，也需要建立完3、輸入一個6-0位數的Q號碼，知“123456789012善的應急購應機制，確保在出現線上問題時能夠快速響應并恢復業務。4、輸入一個超過最大長度的10位數的QQ號碼，例如12345

17、6739012345678901密碼強度不足。通過以上測試用例的設計，我們可以覆蓋到不同等價類的情況，以驗證QQ注期成功后的賬號信息：驗證注冊成地后賬號信息是否正保存，并能參正確示號碼輸入的合法性NDDAI軟件研發數字峰會AI驅動軟件研發全面進入數字化時代pigital#page#模型效果-文檔AI智能助手PRD片段網站登錄頁面，需要輸入正確的email和密碼，同時需要確認隱私政策并同意。密碼的記住我選項可勾選，如果用戶使用google賬戶登錄。則跳過上述步驟ADDA軟件研發教字峰會AI驅動軟件研發全面進入數字化時代#page#AI*軟件研發數字峰會NDDPART 04展望#page#展望質量專家業務領域知識（產品、系統、鏈路背景等等）技術風險分系統代碼/析&穩定性鏈路代碼分析質量專家歷史產品全量線上問題/故障缺陷AI+軟件研發數字峰會NDDAI驅動軟件研發全面進入數字化時代#page#展望從測試分析到測試代碼生成產品/系統設計測試場景/測試測試腳本代碼測試分析模型測試用例模型文檔用例功能代碼測試資產模型NIDDAI軟件研發數學峰會AI驅動軟件研發全面進入數字化時代#page#AI*軟件研發數字峰會NDDTHANKS#page#