眾安-董俊秋-借助大模型實現工程師自驅式質量運營管理助力業務線實現質效全面提升.pdf

《眾安-董俊秋-借助大模型實現工程師自驅式質量運營管理助力業務線實現質效全面提升.pdf》由會員分享，可在線閱讀，更多相關《眾安-董俊秋-借助大模型實現工程師自驅式質量運營管理助力業務線實現質效全面提升.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、借助大模型實現工程師自驅式質量運營管理助力業務線實現質效全面提升董俊秋 眾安 質量管理團隊負責人“”講師簡介CMMI 軟件成熟度評估師、Scrum Master、EPG 過程改進專家、云從業者曾任騰訊高級質量管理工程師、中興智慧城市質量經理涉及行業：ToB、ToC、云產品、金融、醫療、教育、通訊、人工智能擅長領域：度量分析、質量建模、過程改進、研發效能度量董俊秋眾安質量管理團隊負責人亮點介紹 通過落地案例的實操呈現為企業提供可借鑒和可復用的質效提升相關經驗合作方滿意度：樹立QA團隊口碑、打造影響力成本控制：為企業大大節省了質量運營成本產品品牌形象：通過質效全過程的心跳監控，幫助提前識別質效風險

2、，確保產品交付質量，提升客戶整體滿意度【業務價值】全面解讀0-1的質效搭建歷程，為企業提供質效度量探索及北極星指標的建設思路 首次揭秘智能質效管理平臺的搭建全過程，包含亮點功能：智能分診、智能診斷等【內容亮點】目錄問題：常質量運營問題及質量管理痛點解法：建體系 做度量 數據洞察 質效診斷實踐：質效度量體系建設、質量落地運營、智能質效管理平臺成果：短期收益、長期收益未來：自驅式質量運營管理問題軟件研發流程的數字化程度越來越高面臨devops、提效、數字化轉型、變革時期如何判斷轉型的好與壞？主觀判斷？缺少抓手？缺少數據支撐？指標太多了，搭建成本高且沒有發揮價值過度關注數據本身導致適得其反指標并沒有

3、帶來改進的牽引作用數據的可信度不高解法調研現狀根因分析實施改進建體系 做度量數據洞察 質效診斷【業務線A】指標太多太泛，大幾十個，看不到重點，不聚焦指標不是我們想要的，所以我們自己搭建了數據采集平臺【業務線B】數據沒有分析結論，看完不知道要做什么很多結果指標里未完結的階段性數據也統計進去【QA組】數據遭到挑戰，業務線多次在質量會議上質疑數據的準確性【指標設計】指標沒有指向性【數據準確性】采集路徑口徑不一致業務線不認可采集方式/路徑【指標運用、數據分析】不知道指標怎么運用純數據晾曬，沒有質量建議、下鉆分析等【質效指標建設】優先梳理并對齊北極星指標【采集路徑對齊】梳理度量采集表，所有指標的詳細采集

4、路徑一定要充分對齊選擇試點業務線，試運行成功后再大范圍推廣【質效度量診斷】啟動下鉆分析及質效診斷(共性問題下鉆分析及結論)質量課程賦能：指標的價值意義解讀、指標使用，如何通過指標改進提升質效度量體系建設重點考慮企業當前現狀的適配性質量落地運營指標的落地運用，充分發揮指標的價值及意義智能質效管理平臺借助大模型如何助力質效提升的思考及探索解法建體系做度量數據洞察質效診斷實踐01-質效度量體系建設實踐質量流程體系搭建度量指標牽引滯后性指標(結果性指標)工具平臺建設事件管理平臺(故障臺)質量運營常規質量活動：質量周報、質量月報、質量會議指標牽引 0到1的突破提升全員質量意識建立質量影響力滯后性引領性故

5、障管理 自動化過程質量 可視化線上問題 有效閉環獎懲分明 敬畏生產引領性指標項目管理平臺(JIRA)DevOps平臺度量平臺(SpaceX)質量賦能：質量大課堂、質量知識競賽、質量獎研發管理體系質量左移保障流程事件跟蹤體系研發過程質量管理線上質量管理現 網需求階段開發階段測試階段發布階段需求評審通過冒煙通過測試通過發布成功01-質效度量體系建設實踐2020202120222023正式上線 搭建線上管理流程體系 引入線上管理工具 啟動線上度量分析(質效)搭建研發過程管理體系 引入研發過程管理工具 啟動研發過程度量分析(質效)建立度量可視化平臺 實現自助化質效診斷 打造自驅式質量管理線上管理研發過

6、程管理度量可視化工具自動化快速分診智能質效診斷01-質效度量體系建設確定度量目標北極星指標建設業務線試點軟件成熟度，所處階段度量成本和預期度量效果評估者的視角度量實施的復雜度統計口徑評審北極星指標交付價值產品價值達成率客戶滿意度交付速率需求吞吐量(流速率)產研交付周期缺陷修復周期(致命嚴重、一般、輕微)交付質量故障數系統可用性平均故障恢復時長逃逸率實踐01-質效度量體系建設實踐02-質量落地運營實踐02-質量落地運營數據采集數據聚合數據清洗數據復核前端APP團隊后端某一級域迭代質量下鉆分析質效分析報告數據處理下鉆分析趨勢分析、環比分析、異常預警、診斷建議、改進效果線上質效迭代質效團隊質效質效數

7、據看板趨勢環比同期比低健康度預警診斷建議改進效果呈現定位診斷實踐02-質量落地運營實踐樣例：業務線(某中大型規模業務線，150+研發人力)、質量運營人員(中級或高級)人力投入：10-12人日/月(工作日)數據采集處理：4-5 人日/月下鉆分析：4-5 人日/月編寫診斷報告：1.5 人日/月召開質量會議：0.5 人日/人月數據準確性：95%+-(高級工程師)、90%+-(中級工程師)報告時效性：每月15日輸出上個月質效報告投入成本高數據準確性難以保證報告存在滯后性問題來了？數據復核群各團隊下鉆分析群(APP)各團隊下鉆分析群(后端某一級域)迭代質量下鉆分析群10-12人日/月90%+-每月15日

8、02-質量落地運營實踐03-智能質效管理平臺【趨勢觀測】支持數據環比、數據同期比，可實時觀察研發全過程走向及趨勢質效管理平臺實踐【追根溯源】支持數據下鉆，實現一鍵追溯原始數據，精準定位異常數據【風險預測】實時監測質效心跳，實現質量風險預警，質量異常推送【指標自助】針對不同的關注重點，提供指標自配功能，所有復合指標均可自由定制03-智能質效管理平臺【趨勢觀測】支持數據環比、數據同期比，可實時觀察研發全過程走向及趨勢質效管理平臺實踐【追根溯源】支持數據下鉆，實現一鍵追溯原始數據，精準定位異常數據【風險預測】實時監測質效心跳，實現質量風險預警，質量異常推送【指標自助】針對不同的關注重點，提供指標自配

9、功能，所有復合指標均可自由定制分析維度：迭代、業務線、一級域常用角色：PM、一級域leader、一線工程師03-智能質效管理平臺【趨勢觀測】支持數據環比、數據同期比，可實時觀察研發全過程走向及趨勢質效管理平臺實踐【追根溯源】支持數據下鉆，實現一鍵追溯原始數據，精準定位異常數據【風險預測】實時監測質效心跳，實現質量風險預警，質量異常推送【指標自助】針對不同的關注重點，提供指標自配功能，所有復合指標均可自由定制故障臺JIRA分析維度：迭代、業務線、一級域常用角色：PM、一級域leader、一線工程師03-智能質效管理平臺【趨勢觀測】支持數據環比、數據同期比，可實時觀察研發全過程走向及趨勢質效管理平

10、臺實踐【追根溯源】支持數據下鉆，實現一鍵追溯原始數據，精準定位異常數據【風險預測】實時監測質效心跳，實現質量風險預警，質量異常推送【指標自助】針對不同的關注重點，提供指標自配功能，所有復合指標均可自由定制 常用場景：多業務線，可根據不同業務線的成熟度進行指標的裁剪優化03-智能質效管理平臺【趨勢觀測】支持數據環比、數據同期比，可實時觀察研發全過程走向及趨勢質效管理平臺實踐【追根溯源】支持數據下鉆，實現一鍵追溯原始數據，精準定位異常數據【風險預測】實時監測質效心跳，實現質量風險預警，質量異常推送【指標自助】針對不同的關注重點，提供指標自配功能，所有復合指標均可自由定制質量指標【集成異?！啃苤笜?/p>

11、【生產問題處理時長】03-智能質效管理平臺系統自動化對指標數據掃描檢查快速分診高健康度中健康度低健康度診斷建議團隊復盤輕量建議經驗沉淀數據分析定制改進方案人工診斷改進效果評估指標項指標定義健康度分級自動檢查頻率高中低需求交付周期需求從等待KT至需求發布上線的時間周期10個工作日10個工作日15個工作日15個工作日迭代/次產研交付周期研發啟動需求開發至需求發布上線的時間周期8個工作日8個工作日12個工作日12個工作日迭代/次集成異常1）單次/人 提交峰值超過1K行2）單日/人 集成次數超過3次代碼行集成次數=1次待評估代碼行1K集成次數3次天/次線上逃逸率生產環境出現的問題數(含故障)/線上線上

12、有效問題總數1%1%3%3%迭代/次月度/次線上缺陷密度統計周期內，生產環境出現的問題數(含故障)/交付上線的需求數待評估待評估5%迭代/次月度/次健康度分級、健康度檢查實踐 應用場景三：智能診斷 應用場景二：質效簡報 應用場景一：過程風險預警03-智能質效管理平臺實踐 應用場景三：智能診斷 應用場景二：質效簡報 應用場景一：過程風險預警提示詞(示例)你是一位質量診斷工程師，你需要對以下指標進行健康度掃描，并輸出健康度報告。步驟一：對“單次變更代碼行”、“提交次數”數據進行掃描，記錄如下2類數據：1、每個提交人每次提交大于或等于1000行；2、每個提交人每天提交次數累計大于或等于3次。步驟二：

13、進行判斷，判斷原則如下：1、如果單次變更代碼行大于或等于1000行，請判斷為：異常。2、如果每個提交人每天提交次數累計大于或等于3次，請判斷為：異常步驟三：輸出判斷結果，“異?！被蛘摺罢！?。請注意，你只需要輸出“異?！被蛘摺罢！?，不需要輸出思考過程。健康度級別規則上升機制異常推送范圍推送方式高健康度分級表異常處理人、QA、PM郵件推送群提醒直屬leader/所在一級域架構師、QA、PM中低業務線研發總監、運維總監、QA、PM心跳異常預警問題升級03-智能質效管理平臺實踐 應用場景三：智能診斷 應用場景二：質效簡報 應用場景一：過程風險預警提示詞(示例)你是一位軟件質量診斷工程師，需要你結合

14、質效度量數據，輸出質效概述簡報。簡報的時間范圍是自然月。簡報的內容包括三個部分：“故障數”、“事件數”、“引入原因”。三個部分的計算規則如下。1、故障數：從輸入的數據中取“故障數”的總和，與上一個自然月對比，輸出環比提升的數量或者環比下降的數量。輸出故障數量最大的3個一級域。2、事件數：從輸入的數據中取“事件數”的總和，與上一個自然月對比，輸出環比提升的數量或者環比下降的數量。3、引入原因：按照“引入原因”的類型進行聚合，從數量最大的到數量最小的進行排序，并輸出。質效概述簡報全局診斷數據聚合趨勢環比、同期比03-智能質效管理平臺實踐 應用場景三：智能診斷 應用場景二：質效簡報 應用場景一：過程

15、風險預警提示詞(示例)你是一位質量診斷工程師，請根據歷史事件的描述，對故障臺中新的“事件描述”內容進行判斷。判斷的方法如下：-事件類型：是否為“故障”或者“事件”；-事件原因：是否為“程序缺陷”；-故障跟因：是否包含“慢sql”或“報文積壓”或“交易超時”；-故障細節：是否包含“慢sql”或“報文積壓”或“交易超時”。事件類型、事件原因、故障根因需這3個需要同時判斷。判斷結束后，請輸出對應結論。如果你認為新的事件與歷史事件中的某次事件是同一根因，結論請回復歷史事件的“事件名稱”和“事件單號”，并標記為“歷史故障根因”診斷卡片參考案例共性問題的下鉆分析生產問題的根因分析03-智能質效管理平臺成果

16、展示投入成本數據準確性報告時效性10-12人日/月4人日/月90%+-100%每月15日每月5日數據采集處理：4-5 人日/月下鉆分析：4-5 人日/月診斷報告：1.5 人日/月質量會議：0.5 人日/人月數據復核：1 人日/月人工診斷(個例、低健康度)：1 人日/月診斷報告：1.5 人日/月質量會議：0.5 人日/人月業務線投入 過程改進小組(虛擬)合作方滿意度：樹立QA團隊口碑、打造影響力成本控制：為企業大大節省了質量運營成本產品品牌形象：通過質效全過程的心跳監控，幫助提前識別質效風險，確保產品交付質量，提升客戶整體滿意度【業務價值】節省67%提升10%提速67%未來質量運營落地診斷能力建設質效體系設計自驅式質量運營管理看不見 摸不著 不知好壞可度量 可分析 驅動改進自分析 自診斷 實現自愈風險不可控 問題難攔截事后可追溯 下次可杜絕質量可預測 上線有保障V1.0V2.0V3.0微 信 官 方 公 眾 號：壹 佰 案 例關 注 查 看 更 多 年 度 實 踐 案 例