A4--沙丹丹--去哪兒網利用AIGC生成checklist實踐.pdf

1、去哪兒網利用AIGC生成checklist實踐沙丹丹去哪兒網沙丹丹去哪兒網 基礎架構-基礎平臺2017年加入Qunar，致力于提升研發和測試人員的效率，在CICD、測試工具領域有豐富的經驗。目前主要負責去哪兒網測試工具相關的開發和布道、AI智能體平臺相關建設等。曾負責接口自動化測試平臺、全鏈路壓測、故障演練、AI智能體平臺從0-1的落地等。目錄01CONTENTS0203背景介紹設計思路和實踐方案落地效果04未來規劃01PART ONE背景介紹項目流程中的痛點1342PM/DEV/QA 三方溝通平均耗時30min-1h，溝通3+次自測自發占比高：80%無QA提供checklist開發不寫che

2、cklist，容易漏測QA寫checklist，無排期，擠占測試時間Checklist覆蓋度依賴經驗寫checklist平均耗時：5pd以下需求1-2h5pd以上需求3-5h邏輯清晰，溝通效率高邏輯混亂，溝通效率低無評估標準，只能憑感覺需求文檔質量參差不齊自測自發需求需求溝通效率低!#$%&(#$()&*+非自測自發需求使用大模型生成checklist的優勢質量好：checklist可接受程度高質量差：checklist可接受程度低from 寫作業to 批改作業提升自測質量from 不寫作業to 批改作業解放QA寫checklist的過程可以檢查需求文檔的質量02PART TWO設計思路及實踐

3、方案行業參考案例基于自有大模型及微調的一鍵生成方式基于通用大模型多輪問答的方式門檻高、成本高、需要數據積累有遷移、整理成本Qunar探索的解決方案主要（便捷）：基于通用大模型+聚焦于需求點+集成項目研發流程中的一鍵生成方式輔助（靈活）：智能體多輪問答系統架構系統流程1.從項目流程的寫測試用例環節觸發自動生成2.獲取需求文檔，對文本進行拆分3.結構化文檔+prompt向大模型提問4.將返回結果進行轉換，渲染為腦圖文件5.歸檔自動生成與手動修改的內容，分析數據技術關鍵點LLM選擇需求文檔預處理&prompt設計建立效果自動評估機制與項目流程集成LLM選擇從零開始自主訓練大模型模型微調chatGLM

4、使用非定制化大模型，相同prompt,相同需求下的表現gpt-4-trubo文心一文心一言言chatGLM3-6Bcase采納率60%-70%40%-50%30%-40%case召回率30%-40%20%-30%20%-30%成本0.21元/千tokens0.012元/千tokens0有對外部大模型接口的封裝安全審核接口統一化處理大模型自主維護能力尚未建立硬件成本高，預算有限可進行開源大模型的微調，需要提供訓練數據集缺少需求和對應checklist的標準數據集現狀：內部LLM基建進度較慢需求文檔預處理需求文檔拆分為什么要對需求文檔進行拆分？產品效率驅動，對規范性關注較小無固定模板文檔質量參差不

5、齊需求文檔中無關內容影響生成效果背景目標工時后評估.現狀：需求文檔規范性差整篇需求文檔效果較差，輸出結果是需求點的概括!#$%&!#$%&()!*()!*!#$%!#$%checklist需求文檔預處理需求文檔拆分探索1：設定產品文檔格式規范對產品角色要求變高、QA角色獲益，難以推進!#$%&!#$%&()!*()!*!#$%!#$%checklist需求文檔預處理需求文檔拆分探索2：歸納總結現有產品文檔格式按一級或二級標題提取出需求正文!#$%&!#$%&()!*()!*!#$%!#$%checklist&()+,*+,-./0!12-./03456789:;!121234?1,-!#/05

6、6!#$%&()*+,-./01)*2+,3434(56787899:;?ABCDEBCDEFGHIJ;KLMKNJ=OP?/QJ;KR(SHTUVWGX34Y(%:;?#$A=?#$A()!*()!*!#$%!#$%checklistBCD+,EFGH9()!#$IJKL!12ABCDMNOPQRSTJ!#$UUUVWUUU1234$%*Z+,34/34A*ZR%#(4/_abcdQJ;Kefghij%&#(4/_abcdQJ;Kef56.EF!GH;I1JKLMNO?I1PJK/0/0;QRST789XYZNKL!12J_:;4Prompt：需求文檔預處理需求文檔拆分Prompt：!#$%

7、&()*+,-./0!#$%&()*+,-./0UVWXYZ0WX+,*+,.!#;_ab)cUV#NdeUVfg-./03456789:;!12xyz|;l4:;修改自動生成的checklist減少產品和開發對需求的次數增效成果04PART FOUR未來計劃未來計劃prompt結構化思維建立語料庫&智能體工作流流程圖處理大模型微調及輔助測試prompt中引入COT，提高準確性、自洽性思維鏈模式多專家投票模式結合測試專業性語料庫用例設計方法、測試點分類方法邊界測試、性能測試等結合業務技術知識語料庫公司內部概念、系統調用關系、歷史需求構建子業務級checklist集合配置工作流，以智能體形式提供

8、服務多模態流程圖識別能力搭建需求文檔管理平臺開源大模型微調Checklist和代碼變更相結合，生成接口測試用例輔助接口測試感謝聆聽關注公眾號穩定性保障產品線：性能測試平臺XRunner、全景-跨架構全?？捎^測性平臺UniEye、軟件可靠性工程測試平臺SRET自動化測試產品線：UI自動化測試平臺ZRunner、API接口自動化測試平臺ARunner、測試管理平臺Runner Master、業務體驗自動撥測平臺BRunner、一體化智能測試設備、APM應用監控平臺測評：驗收測試、安全測評、產品登記測試、確認測試信創產品線：信創測評實驗室、信創遷移大師、數據庫遷移平臺服務：兼容性測試、云真機、物聯網

9、硬件連通測試、IT設備租賃、性能壓力測試、功能用例測試、用戶體驗撥測、缺陷探索測試、信創支撐、信創測試、APP競品分析、數據采集服務、安全掃描、安全滲透測試、CMMI&敏捷咨詢、TMMI認證咨詢、敏捷化成熟度認證咨詢教育：產教融合、賽事合作、CNAS實驗室、工信認證廣州掌動智能科技有限公司數字化轉型基礎支撐軟件核心技術領先者u成立于2006年，國家級專精特新“小巨人”企業u擁有發明專利、軟件著作權 150 余項u省部級及行業科技進步獎 5 項u參與制定國家標準和團體標準 16 項u獲得深圳市高新投廣州產業投資基金、中小企業發展基金、廣州金控、中新國際聯合研究院等國有和知名社會資本戰略投資u工業和信息化重點領域人才能力評價培訓輔導支撐機構、廣東省新一代信息技術產品可靠性檢測和監測工程技術研究中心、廣東省第一批建設培育產教融合型企業、廣東省高新技術企業、廣州市軟件和信創產業鏈重點企業代表等核心業務企業簡介