A1--程派峰--AI-PMO賦能全流程質效改進.pdf

《A1--程派峰--AI-PMO賦能全流程質效改進.pdf》由會員分享，可在線閱讀，更多相關《A1--程派峰--AI-PMO賦能全流程質效改進.pdf（42頁珍藏版）》請在三個皮匠報告上搜索。

1、AI-PMO賦能全流程質效改進程派峰字節跳動測試開發程派峰字節跳動 測試開發曾就職于蘇寧易購、阿里巴巴公司，目前在字節Data數據平臺穩定性效率團隊，從事效能度量工具體系建設、測試效能工具建設、研發流程規范管理等工作 目錄C O N T E N T S1.問題背景與分析2.AI-PMO賦能工程能力建設3.業務效果與收益問題背景與分析01問題分析-調研和收集各個角色VOC 現狀：產能和進度不透明、版本不可預測、拍腦袋 聲音：有序 聚焦 看清楚問題1562困境34前場需求的困境n感覺需求消化比較慢，無法直接看進度n產研發版時間規劃，通知不及時產研一線的困境n需求和版本插隊多，溝通成本高n需求提測排

2、期不準，最終擠壓測試周期版本管理的困境n缺乏整體規劃、過程里程碑標準n各搞各的、流程和Meego不一致n版本過程風險識別難度大產研外部壓力n對于成本和效率的要求進一步提升n域內、ToB、國際化需求場景復雜n決策以拍腦袋居多交付團隊困境n私有化交付物料無統一發布入口n交付包Tag缺少統一嚴格的規范n運維交付人工握手多效能度量困境n流程不一致導致數據混亂n缺少指標體系和共識n數據可信度不高，很難看清效能度量目前所處階段局部度量體系度量精細化運營敏捷治理n指標較少，質量為主n數據采集手工為主n滿足日常質量專項、周報場景第一階段n效能指標體系建設n構建完整度量體系n數據采集半自動化n數據做準第二階段n

3、定北極星指標0138n從堆砌指標到業務場景n從數據生產到數據消費n從指標數據到經驗方案n基于效能成熟度提升n大瀑布小迭代敏捷n平衡快和慢n全流程建設提效工具第三階段第四階段問題歸納 效能工程提升能力進度管理能力質量攔截能力風險預測能力迭代規劃能力標準質量是否符合預期成本是否符合預期進度是否符合預期衡量持續進化研發效能，向精英團隊邁進AI-PMO賦能工程能力建設02AI-PMO能做什么？人工分析 自動洞察及時消費 1.充當PM合理迭代定容2.充當技術負責人把控提測風險3.充當QA負責人挖掘洞察準出風險4.充當敏捷教練流程規范解答指標堆砌 解決方案AI-PMO貫穿全生命周期全流程過程指標分解北極星

4、指標0138：先共識后度量規劃階段迭代機制：眾多的需求類型統一迭代目標、提升團隊凝聚力規劃階段AI-PMO聚焦迭代容量、研發飽和度前置風險當前指標+歷史度量數據沉淀經驗合理prompt大模型問題拆解難點專家整體分析風險提示精確到人規劃階段注入大模型的指標：聚焦北極星指標規劃需求完成率(80%)拆解AI-PMO迭代定容prompt設計指標獲取Prompt模版Prompt參數替換問題變成難點角色指標注入輸出規劃階段AI-PMO排期助手幫助一線同學科學排期、預警個人排期沖突研發排期時及時預警沖突并推薦排期規劃階段AI-PMO規劃階段預警能解決1.識別資源瓶頸、平衡團隊成員工作負荷2.合理排期能更準確

5、預測項目風險3.優化資源分配、減少團隊成員等待時間AI-PMO規劃階段預警不能解決1.人員技能不匹配帶來的飽和度問題2.外部依賴不可控的等待時間3.無法直接反應代碼質量和技術債務開發階段總結n個指標中TOP異常指標流動分布具體到需求明細、人，聚焦排期風險AI-PMO充當技術負責人，重點關注：1.未提測需求研發提測延期率未提測需求研發提測延期率2.研發提測打回研發提測打回/率及水位率及水位3.已提測需求測試完成率已提測需求測試完成率4.需求插隊數需求插隊數/率是否超水位率是否超水位開發階段注入大模型的指標：聚焦研發提測率拆解，挖掘提測風險測試階段AI-PMO充當QA負責人，關注重點：1.測試用例

6、執行率、成功率，看測試進度測試用例執行率、成功率，看測試進度2.缺陷解決率、修復時效，看積壓風險缺陷解決率、修復時效，看積壓風險3.缺陷燃盡趨勢，看質量收斂風險缺陷燃盡趨勢，看質量收斂風險Top3異常收斂趨勢精確到人測試階段注入大模型的指標：聚焦測試進度，挖掘按期準出風險測試階段prompt設計角色指標注入策略輸出格式復盤階段-沉淀經驗AI及時度量總結季度效能復盤會當前效能度量運作機制（洞察改進改進完成率）聚焦0138北極星洞察問題改進專家解讀復盤階段-借助AI-PMO縮短度量周期季度-雙周迭代完成時及時洞察評價做的好壞、改進建議注入大模型的指標：1.規劃需求數2.迭代目標完成率3.迭代目標完

7、成率趨勢4.研發飽和度5.研發飽和度歷史趨勢6.研發飽和度歷史平均7.缺陷總數8.缺陷解決率9.缺陷P0缺陷率10.插隊需求數11.插隊需求完成率12.插隊需求完成率趨勢13.開發排期率14.開發排期率趨勢15.參與人數16.迭代天數17.迭代工作量18.未完成任務人員明細AI洞察解讀總體分析好壞評價改進建議AI-PMO充當數據分析師、敏捷教練復盤階段-AI-PMO賦能指標問答基于coze搭建北極星指標問答庫，降低指標口徑解答成本復盤時遇到的問題：1.每次復盤后團隊對口徑了解不清晰每次復盤后團隊對口徑了解不清晰2.Meego流程操作規范不清晰流程操作規范不清晰3.如何提升指標、最佳實踐不清晰如

8、何提升指標、最佳實踐不清晰4.當前產品水位表現不清晰當前產品水位表現不清晰機器人 規范機器人 指標解讀規范建議指標口徑復盤階段-AI-PMO賦能指標問答如何基于coze搭建北極星指標問答庫？北極星指標庫提示詞設計口徑+經驗解讀+規范知識庫結構：指標+口徑+解讀+規范+提升建議創建Bot編排Agent提示詞導入知識庫復盤階段AI-PMO復盤能解決1.及時產生指標及時消費2.注入n個指標異常Top3.提出改進建議AI-PMO復盤不能解決1.更下鉆分析2.問題根因3.更立體分析AI-PMO提升研發提測基本功需求評審測試設計功能開發測試等待發布上線提交測試測試驗證風險評估系統測試生成服務需求文檔-需求

9、分級ABCD-測試策略-測試計劃-用例設計RD自測用例-UT通過通過-靜態掃描通過-RD自測通過-準入達標CD類需求不通過打回RD修BUG三通一達標準通過代碼變更風險低，QA免測12不通過打回RD修BUG3需求接口測試用例集-增量代碼覆蓋率-自動化測試成功率-Bug修復率-手工用例執行率準出評分80剪切QA人力，縮短測開比技術評審持續觀測1.P0缺陷率2.線上逃逸率1.研發周期2.測試周期-變更類型-技術文檔-聯動依賴-迭代排期-需求文檔-驗收標準-技術負責人AI-PMO提升研發提測基本功基于三通一達提測標準，預警提測風險注入大模型的指標：1.不同測試策略提測標準2.XX模塊歷史P0缺陷率，歷

10、史P0問題3.代碼倉庫代碼覆蓋率、代碼嚴重問題準入門禁4.研發自測成功率、執行率5.自動化回歸成功率AI-PMO指導測試分析提升測試基本功1.技術文檔2.代碼接口3.變更類型4.歷史缺陷密度測試策略建議1.涉及聯動接口2.測試用例推薦3.歷史嚴重缺陷4.研發提測質量1.需求文檔2.需求來源3.質量目標4.模塊5.整體計劃確定測試策略ABCD需求設計開發設計測試方案測試分析測試設計測試策略建議1.歷史缺陷密度2.質量目標測試設計AI-PMOAI-PMO指導持續觀測1.QA免測率2.線上漏測率注入注入業務效果與收益03AI-PMO全流程賦能效果對比對比角度原來現在開發成本高，創建一個過程看板2-3

11、天。構建看板需要理解業務流程、指標理解、繪制圖表、風險規則匹配，指標3-5個匹配低，一個過程看板即一個prompt設計=14天需求提測延遲率最高36.18%）2.團隊結合歷史吞吐量，容量評估更加精準，更前置的管理風險，使團隊的排期更合理，上線后團隊成就感更高對客戶的收益：對客戶的收益：1.履約和承諾更有保障，提高NPS，減少不確定性業務效果和收益過程成熟度穩步提升，從磨合期步入到規范輸出期解讀：解讀：從北極星指標逐步拆解到團隊目標，聚焦到雙周迭代，團隊協作更加緊密、應對外部變化能力變強對產研的收益：對產研的收益：1.聚焦雙周迭代，AI-PMO全流程跟進進度風險，精確到人，團隊迭代目標完成率累積增長67%2.結合線上問題逃逸趨勢，穩步擴大研發需求自測率，在質量不劣化情況下，研測周期比環比增長指標領域指標領域指標（季度）指標（季度）2023-Q22023-Q22023-Q32023-Q32024-Q12024-Q12024-Q22024-Q2團隊目標迭代目標完成率24.39%73.33%62.5%91.43%協作效率需求提測延期率48.47%36.79%41.72%35.53%交付速度需求研發自測率34.88%47.09%52.54%54.21%測試效率研測周期比1.51.91.92.1未來規劃左移質檢與AI-PMO代碼變更與AI-PMO測試報告與AI-PMO感謝聆聽關注公眾號