A1--劉剛--基于AI的智能化研發效能分析.pdf

《A1--劉剛--基于AI的智能化研發效能分析.pdf》由會員分享，可在線閱讀，更多相關《A1--劉剛--基于AI的智能化研發效能分析.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、基于AI的智能化研發效能分析劉剛京東科技 測試架構師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛京東科技 測試架構師質效無雙聯合出品人，QEConTOP10明星講師，現任京東科技測試架構師，主導部門研發效能和敏捷實踐，擁有十多年資深測試開發經驗，技術上有豐富的接口自動化、性能、UI 自動化及安全測試經驗，并建設優化過多種自動化框架；測試管理上有豐富的測試架構體系建設經驗、敏捷測試管理經驗及CICD實施經驗，主要負責過大型銀行項目、電商物流平臺、私有云平臺、支付平臺等系統的綜合質量保障工作。常作為受邀演講嘉賓參加各類技術大會，演講內容主要涉及研發效能、自動化、敏捷測試、質

2、量管理等方向的技術分享。劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師目錄C O N T E N T S1.傳統效能度量分析的痛點2.如何做好效能度量分析3.擁抱 AI 賦能研發效能度量4.融合 AI 的效能分析思路與實踐成果劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師傳統效能度量分析的痛點01劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師指標繁雜羅列，無法關注到重點指標度量分析思路不清晰，團隊認可度差指標分析容易走偏，誤入指標陷阱指標度量分析因人而異，分析不客觀傳統效能度量分析的痛點劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老

3、師劉剛老師傳統效能度量分析的痛點 指標繁雜羅列，無法關注到重點指標繁雜羅列，無法關注到重點 失敗樣例：改進建議：指標分級 總分模式 多角度分類呈現 必要的引導和輔助說明劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師傳統效能度量分析的痛點指標度量分析思路指標度量分析思路不清晰不清晰，團隊認可度差團隊認可度差指標分析容易指標分析容易走偏走偏，誤入指，誤入指標陷阱標陷阱指標度量分析指標度量分析因人而異因人而異，分，分析不客觀析不客觀 從問題出發，以終為始 北極星指標不只反應現狀還需關注引導作用 團隊參與、團隊分析、團隊總結 依團隊情況引導建立可行的分析思路和方法 共識、共識、共識

4、樣例：樣例：五步分析法：1.看各維度總體評估結論（建議關注評估為“中”及以下等級的）2.看北極星指標，結合等級評估標準和具體數據進行初步評估分析3.看群星指標，結合細化指標數據和各類圖表進行詳細分析4.發現&分析問題，形成結論和改進措施5.定期復盤回顧，檢驗改進措施落地效果劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師如何做好效能度量分析02劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師如何做好效能度量分析理清目標理清分析邏輯無目標不行動團隊共識重宣貫重引導團隊共同參與擺正姿勢認清度量本質堅持正道思維持續精進解決問題為王追求結果第一四四條條原原則則劉剛老師劉

5、剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師如何做好效能度量分析 二年，五輪改進，思路在前行，認知在提升二年，五輪改進，思路在前行，認知在提升初次嘗試，指標簡單，滿足周報場景第一次大屏實踐，聚焦關鍵指標，增加項目視角12劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師如何做好效能度量分析 二年，五輪改進，思路在前行，認知在提升二年，五輪改進，思路在前行，認知在提升三大維度，項目健壯度雷達圖，增加趨勢及下探分析升級五大維度，等級評估，引入五步分析法34劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師如何做好效能度量分析 二年，五輪改進，思路在前行，認知在

6、提升二年，五輪改進，思路在前行，認知在提升結合BI，多視角，多場景，增強數據智能收集基于 AI 的智能化改造56劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師擁抱 AI 賦能研發效能度量03劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師擁抱 AI 賦能研發效能度量 研發效能度量現狀分析研發效能度量現狀分析指標設計數據收集理論支撐平臺建設自動化程度極高百花齊放進入穩定迭代期極大豐富劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師擁抱 AI 賦能研發效能度量 AI 在效能度量領域可能的應用場景在效能度量領域可能的應用場景指標確立數據采集數據分析數

7、據呈現目標方向結果評估AI 賦能劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師擁抱 AI 賦能研發效能度量 AI 在效能度量領域可能的應用場景在效能度量領域可能的應用場景數據采集 聊天記錄采集 需求PRD智能解析 代碼智能評估數據分析 多維指標數據智能分析 雜亂數據處理 數據合理性校驗數據呈現 效能結論生成 效能問答機器人頭腦頭腦風暴風暴劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師擁抱 AI 賦能研發效能度量 效能度量的未來看效能度量的未來看 AI所有均可被所有均可被 AI 重構重構劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI

8、 的效能分析思路與實踐成果04劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 效能問答機器人效能問答機器人實踐實踐分享分享劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效

9、能分析結論 關鍵：提示語（關鍵：提示語（prompt）DB效能數據源獲取效能數據構建構建提示語提示語提示語模板庫結果加工處理效能分析結論BI 效能報告大模型大模型劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師大模型處理融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 提示語（提示語（prompt）實踐）實踐你作為研發效能專家，幫助分析以下效能數據，給出效能結論，期望挖掘團隊存在的問題以及可能得改進方向。下面給出的效能數據為JSON格式，近期多個季度的業務產品需求數量：2023年Q3:128,2023年Q4:96

10、,2024年Q1:88,2024年Q2:101 初始版從提供的數據來看，這是一個關于業務產品需求數量的簡單時間序列數據。數據展示了最近四個季度的業務產品需求量。為了分析這些數據并提供有效的結論和改進方向，我們可以從以下幾個角度來考慮：1.趨勢分析：從2023年Q3到2024年Q2，需求量從128下降到96，然后又上升到101。這可能表明需求量有季節性波動或者市場需求的變化。2.需求波動：需求量的減少和增加可能指向團隊對市場變化的反應，或者是內部優先級和資源分配的改變。3.資源分配和規劃：如果需求量的減少是預期之內的，那么團隊可能已經做了相應的資源調整。如果需求量減少是意料之外的，那么團隊可能需

11、要改善市場分析和預測能力。4.團隊產出與效率：需要考慮團隊在不同需求量下的產出和效率。如果團隊在需求量減少時產出也減少，那么這可能是效率高的表現。如果產出沒有相應減少，可能需要考慮團隊是否有過度工作或資源浪費的問題。5.產品和市場策略：需求量變化可能與產品定位、市場策略或競爭環境有關。團隊可能需要調整產品路線圖，或者改進市場定位和用戶獲取策略。為了給出更具體的結論和改進方向，我們需要更多的上下文信息，比如：團隊的規模和組成。同期的產出量或交付物的質量。市場環境和競爭對手的狀況。團隊的工作流程和使用的工具。團隊成員的技能和經驗?；诋斍皵祿?，以下是一些可能的改進方向：市場分析和預測能力：提高對市

12、場需求變化的預測能力，以便更好地規劃資源和優先級。敏捷性和靈活性：提高團隊的敏捷性，使其能夠快速適應需求的變化。流程和工具優化：審查當前的工作流程和工具，確保它們能夠支持團隊在不同需求量下的效率。持續學習和改進：鼓勵團隊持續學習和改進，以提高解決問題和應對變化的能力。最后，需要強調的是，任何結論和改進方向都應該基于更詳細的數據分析和團隊的具體情況。劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 提示語（提示語（prompt）實踐）實踐你作為研發效能專家，幫助分析以

13、下效能數據，給出效能結論，期望挖掘團隊存在的問題以及可能得改進方向，字數不要超過200字。下面給出的效能數據為JSON格式，近期多個季度的業務產品需求數量：2023年Q3:128,2023年Q4:96,2024年Q1:88,2024年Q2:101 限制字數分析顯示研發部門的業務產品需求量從2023年Q3的128下降到2024年Q1的88，然后在2024年Q2回升到101。這種波動可能指示季節性影響、市場需求變化或內部優先級調整。需求下降可能暴露了預測不足或資源配置失衡?；厣砻骺赡艿氖袌龌謴突虿呗哉{整。為提高效能，建議增強市場分析、提升團隊的適應性、優化資源分配，并定期審視工作流程。這將幫助團

14、隊更好地應對需求變化，提升產出質量和效率。大模型處理劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 提示語（提示語（prompt）實踐）實踐你作為研發效能專家，幫助分析以下一個研發部門的效能數據，基于給出的產品項目背景，幫助總結在“交付產能”方向上的效能結論，期望挖掘團隊存在的問題以及可能的改進方向，字數不要超過200字。背景：目前部門共8條產品線，其中4條是相對成熟穩定建設的，另外4條是創新類從0到1建設的；目前研發部門推行敏捷開發已經實施2年多；研發部門研發人

15、力在2023年Q4比Q3縮減了10人，2024年Q1比2023年Q4再次縮減了5人，后續人力保持穩定；效能數據：下面給出的效能數據為JSON格式，近期多個季度的業務產品需求數量：2023年Q3:128,2023年Q4:96,2024年Q1:88,2024年Q2:101業務產品需求量的下降與研發人力的減少呈現出相關性。從2023年Q3到2024年Q1，需求量顯著下降，與此同時研發人力減少了15人，這可能表明交付產能受到了人力縮減的直接影響。盡管2024年Q2需求有所回升，但為了持續提升交付產能，建議重點在于優化人力資源配置，特別是在創新產品線上，可能需要更多的靈活性和創造力。同時，應進一步精練敏

16、捷實踐，確保團隊能夠高效運作，尤其是在人力資源受限的情況下。此外，建議對成熟產品線進行效率審查，以便在不犧牲質量的前提下，為創新項目釋放更多資源。增加背景和具體的分析方向大模型處理劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師大模型處理融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 提示語（提示語（prompt）實踐）實踐你作為研發效能專家，幫助分析以下一個研發部門的效能數據，基于給出的產品項目背景，幫助總結在“交付產能”方向上的效能結論，期望挖掘團隊存在的問題以及可能的改進方向，字數不要超過300字，突出重

17、點，結構化輸出。背景：目前部門共8條產品線，其中4條是相對成熟穩定建設的，另外4條是創新類從0到1建設的；目前研發部門推行敏捷開發已經實施2年多；研發部門研發人力在2023年Q4比Q3縮減了10人，2024年Q1比2023年Q4再次縮減了5人，后續人力保持穩定；效能數據：下面給出的效能數據為JSON格式，近期多個季度的業務產品需求數量：2023年Q3:128,2023年Q4:96,2024年Q1:88,2024年Q2:101效能結論：整體交付產能下降：從2023年Q3到2024年Q2，業務產品需求數量呈現下降趨勢，反映出研發部門的交付產能有所下滑。人力減少對產能影響顯著：2023年Q4和202

18、4年Q1連續兩次人力縮減，直接導致了業務產品需求數量的減少，說明人力資源對交付產能有著重要影響。敏捷開發實施效果待觀察：雖然敏捷開發已推行2年多，但在人力減少的背景下，交付產能并未顯示出明顯的提升，可能需要進一步優化敏捷實踐以提高效率。問題與改進方向：人力資源管理：考慮到人力縮減對交付產能的直接影響，需要評估是否有必要調整人力配置，或者探索通過技術手段或流程優化來彌補人力不足。敏捷開發實踐優化：深入分析敏捷開發的實施情況，找出存在的瓶頸和問題，制定改進計劃，例如加強團隊協作、優化迭代周期、提高自動化測試覆蓋率等。產品線優先級與資源分配：對8條產品線進行優先級排序，合理分配資源，確保有限的人力資

19、源能夠集中在最重要的項目上，避免資源過度分散。增加對輸出格式的要求劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師更優融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論 模型選擇模型選擇&調優調優GPT-4.0 模型交付產能效能結論：成熟產品線：需求交付趨勢：需求數量從2023年Q3的128下降至2024年Q1的88，但在2024年Q2回升至101。人力變動影響：2023年Q4和2024年Q1的人力縮減對需求交付量有顯著影響，導致交付數量下降。效能問題：人力減少可能導致現有團隊過載，影響交付效率和質量。創新產品線：

20、技術挑戰：數據未提供，但考慮到人力縮減，創新產品線可能面臨更大挑戰，因為從0到1的建設通常需要更多資源。改進方向：資源優化：對成熟和創新產品線進行資源重新分配，以應對人力減少帶來的影響。流程優化：審查和優化現有工作流程，以提高少數人力下的工作效率。技術債務管理：特別關注創新產品線，確保技術債務得到妥善管理，以避免長期影響。敏捷實踐深化：加強敏捷實踐，提高團隊的適應性和快速反應能力，尤其是在人力資源有限的情況下。效能結論：整體交付產能下降：從2023年Q3到2024年Q2，業務產品需求數量呈現下降趨勢，反映出研發部門的交付產能有所下滑。人力減少對產能影響顯著：2023年Q4和2024年Q1連續兩

21、次人力縮減，直接導致了業務產品需求數量的減少，說明人力資源對交付產能有著重要影響。敏捷開發實施效果待觀察：雖然敏捷開發已推行2年多，但在人力減少的背景下，交付產能并未顯示出明顯的提升，可能需要進一步優化敏捷實踐以提高效率。問題與改進方向：人力資源管理：考慮到人力縮減對交付產能的直接影響，需要評估是否有必要調整人力配置，或者探索通過技術手段或流程優化來彌補人力不足。敏捷開發實踐優化：深入分析敏捷開發的實施情況，找出存在的瓶頸和問題，制定改進計劃，例如加強團隊協作、優化迭代周期、提高自動化測試覆蓋率等。產品線優先級與資源分配：對8條產品線進行優先級排序，合理分配資源，確保有限的人力資源能夠集中在最

22、重要的項目上，避免資源過度分散。言犀大模型劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論“交付產能”實際樣例“交付產能”實際樣例你作為研發效能專家，幫助分析以下一個研發部門的效能數據，基于給出的產品項目背景，幫助總結在“交付產能”方向上的效能結論，期望挖掘團隊存在的問題以及可能的改進方向，字數不要超過300字，突出重點，結構化輸出。背景：目前部門共8條產品線，其中4條是相對成熟穩定建設的，另外4條是創新類從0到1建設的；目前研發部門推行敏捷開發已經實施2年多；研發

23、部門研發人力在2023年Q4比Q3縮減了10人，2024年Q1比2023年Q4再次縮減了5人，后續人力保持穩定；效能數據如下：下面給出的效能數據為JSON格式，請結合3組數據進行綜合分析，得出效能結論。1）近4個季度的各類需求交付數量：2023年Q3:業務產品類需求:128,技術類需求:8,生產BUG修復類:4,其他:4,2023年Q4:業務產品類需求:96,技術類需求:11,生產BUG修復類:7,其他:3,2024年Q1:業務產品類需求:88,技術類需求:3,生產BUG修復類:4,其他:2,2024年Q2:業務產品類需求:101,技術類需求:11,生產BUG修復類:0,其他:22）近4個季度

24、的各類需求交付規模（需求交付規模=研發工作量*需求交付數量）：2023年Q3:業務產品類需求:912.9,技術類需求:59,生產BUG修復類:3.5,其他:26.6,2023年Q4:業務產品類需求:828.9,技術類需求:76.5,生產BUG修復類:15.5,其他:7.5,2024年Q1:業務產品類需求:728,技術類需求:15,生產BUG修復類:7,其他:2.5,2024年Q2:業務產品類需求:812.8,技術類需求:48,生產BUG修復類:0,其他:33）近4個季度的研發人均產品需求規模和產品人均產品需求規模（產品需求規模=產品類需求數量*投入的研發工作量）：2023年Q3:研發人均產品需

25、求規模:19.3,產品人均產品需求規模:70.9,2023年Q4:研發人均產品需求規模:21.1,產品人均產品需求規模:76.0,2024年Q1:研發人均產品需求規模:20.4,產品人均產品需求規模:80.7,2024年Q2:研發人均產品需求規模:22.5,產品人均產品需求規模:87.8提示語劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能報告增加基于效能報告增加基于 AI 的輔助效能分析結論的輔助效能分析結論“交付產能”實際樣例“交付產能”實際樣例效能結論：1.整體交付產能下降：從2023年Q3到2024年Q2，雖然研發人力減少，但業

26、務產品類需求的交付數量和規模也在下降，表明整體交付產能有所下降。2.技術類需求和BUG修復類需求占比增加：技術類需求和BUG修復類需求的交付數量和規模在逐漸上升，可能是因為新產品線的建設和穩定性問題導致的。3.研發人均產品需求規模維持穩定：盡管人力減少，研發人均產品需求規模并沒有明顯下降，反而有所上升，說明團隊在人力減少的情況下保持了一定的工作效率。4.產品人均產品需求規模增加：產品人均產品需求規模逐季上升，可能與新產品線的建設和優化有關。問題和改進方向：1.人力資源管理：需要評估人力減少對交付產能的影響，并考慮是否需要重新分配人力或尋求外部支持。2.需求管理和優先級：重新評估和調整需求的優先級和分配，確保團隊集中精力在高價值的業務產品類需求上。3.技術債務管理：加強對技術類需求和BUG修復類需求的管理，避免積累過多的技術債務。4.團隊效能提升：通過培訓、知識共享等方式提高團隊的技能和協作效率，以應對人力減少帶來的挑戰。5.流程優化：對現有的研發流程進行評估和優化，尋找可以提高效率和降低工作量的改進點。言犀大模型劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師劉剛老師融合 AI 的效能分析思路與實踐成果 效能問答機器人效能問答機器人劉剛老師