thoughtworks-覃宇-個人到企業規?；瘧肁I提效的ROI.pdf

《thoughtworks-覃宇-個人到企業規?；瘧肁I提效的ROI.pdf》由會員分享，可在線閱讀，更多相關《thoughtworks-覃宇-個人到企業規?；瘧肁I提效的ROI.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、個人到企業，規?；瘧肁I提效的ROI覃宇，Thoughtworks 資深咨詢師個人簡介覃宇，Thoughtworks 咨詢師擁有近二十年軟件開發和咨詢經驗，深度參與了多家頭部通信企業和金融企業的精益/敏捷/數字化轉型歷程，作為技術教練或架構專家致力于幫助客戶提升研發效能。業余時間喜歡翻譯寫作，譯/著作有：代碼管理核心技術及實踐Kotlin實戰Serverless架構：無服務器應用與AWS Lambda云原生安全與DevOps保障領域驅動設計精粹目錄1.生成式 AI 應用對個人效率的影響2.個人開發者應用 AI 提效的 ROI3.企業研發與個人開發的差異和 AI 提效的挑戰4.企業研發應用 A

2、I 提效 ROI 的探索嘗試5.現階段企業研發應用 AI 提效的建議生成式 AI 應用對個人效率的影響大模型參數越來越多，成本越來越低未來模型將無處不在生成式 AI 應用迎來“iPhone”時刻未來生成式 AI 應用將無處不在在生成式 AI 應用的加持下個人效率將拉開上百倍的差距個人開發者使用生成式 AI 應用的ROI以我自己為例，每天主要的工作是 1 個小時編碼+2 個小時文檔生成式 AI 應用生成式 AI 應用可以增強的工作占比簡單使用工作時間占比工作增強帶來的收益估算節省的工作時間或增加的產出花費的成本Notion AI每天 10000 字左右的文檔類工作（總結、提高、翻譯等等）工作占比

3、：25%同等文字工作量同時縮短30%效率提升7.5%（30%x 25%）每月10美金Github1 Copilot1每天 500 行左右的編碼工作（代碼生成、測試用例生成）工作占比：12%每天可以多產出50%效率提升6%（50%x 12%）每月10美金ChatGPT大部分時候作為搜索引擎的替代，也有生成代碼或是 DSL（如 UML）N/A（沒有好的統計方法）每月20美金*小結：每月花費 2040 美金，帶來 13.5%效率的提升個人開發者如果要追求更高的效率生成式 AI 應用的局限反復輸入的提示語技巧問答字數”(Token)限制凍結的大模型知識在工具之間來回切換小結：編寫一個程序只需要數小時，

4、但是每萬字要消耗 0.22 美金調用大語言模型的技術棧并不復雜，上手很快（一周足矣）但完成一次萬字規模的復雜任務需要 0.22 美金*通過編程解決的思路把常用提示語變成模板用自動化腳本代替手工輸入復雜問題進行拆分變成連續多次問答Chaining外掛向量知識庫增強生成效果讓Agent自己推理并計劃行動集成三方工具完成任務不能單靠生成式 AI 應用，還需要編程調用大語言模型$自動化腳本Chaining Agent提示語模板向量知識庫第三方工具OpenAI API 典型的生成式 AI 應用個人開發者使用 AI 提效的 ROI 小結每月花費 2040 美金購買3款應用獲得13.5%效率的提升（如文字工

5、作用時縮短30%）（如編碼效率提升50%）在 13.5%效率提升的基礎上進一步提升（如總結5篇公眾號文章）（如寫出50個單元測試）2周上手時間+每個程序4小時開發時間每萬字工作量還要花費 0.22 美金思考：個人開發者 AI 提效的經驗能不能遷移到企業級研發中？個人開發者 AI 提效的 ROI 對企業級研發意味著什么？從個人開發效率到企業研發效能企業研發有什么差異，企業效能提升的關鍵在哪里自研BizDevOps工具平臺跨職能協作和領域劃分產生了分工分工協作則需要大量的知識傳遞（文檔、圖、代碼.還有隱性的方法）領域知識是企業獨有的核心競爭力不同的知識工作需要的工具不同，需要端到端集成來提升效率這

6、些差異給應用 AI 提升效率帶來了那些挑戰？挑戰一：AI 能給各角色知識工作帶來多少效能提升？每個角色的知識工作都如何用 AI 提效？可以提升多少？產品設計架構設計開發產品設計特性設計開發計劃建模架構設計API 設計詳細設計編碼編碼后用戶調研測試測試用例設計自動化測試缺陷分析交付運維部署發布Monitor產品創新產品定義原型功能細分UX Design非功能需求驗收條件優化級迭代計劃發布計劃里程碑設計事件風暴領域模式限界上下文時序圖設計組件圖設計設計模式文檔API 定義代碼設計代碼生成單元測試生成代碼檢視提交信息根因分析缺陷分析缺陷文檔測試代碼生成測試用例生成發布文檔更新文檔部署腳本生成日志分析

7、客戶支持客戶情緒分析挑戰二：企業的領域知識如何告訴 AI？領域知識應該外掛、微調、還是訓練？需要多少投入？挑戰三：AI 如何與企業現有的工具集成？每個工具都要再“買”一遍嗎？如果自建 AI 應用需要多少成本？嘗試一：各角色知識工作的效能提升驗證ChatGPT+Copilot 在軟件研發過程中的端到端提效實驗嘗試一：各角色知識工作的效能提升驗證ChatGPT+Copilot 提效明顯，提示語學習和調試是關鍵投入探索過程ROI 評估第1步：選擇一個真實的項目需求:Thoughtworks OKR工具第2步：使用 ChatGPT 來完成領域術語定義和競品分析啟發，再到MVP特性設計啟發第3步：使用

8、ChatGPT 來完成特性的需求分析，展示可視化的用戶旅程、功能需求拆分及格式化編寫、驗收標準定義第4步：嘗試使用 ChatGPT 來把驗收標準轉化為UML設計圖特性分析架構設計代碼實現特性設計功能拆分定義AC架構設計 領域模型API接口詳細設計 編寫代碼編碼后L2L2L2L1L1L2L1L2L2第5步：使用 ChatGPT 生成 API，在通過Copilot 生成代碼第6步：.第x步：使用 ChatGPT 生成發布文檔L1L210%10-30%整體提升 20%30%效率，其中重復的規范性工作，如需求格式、代碼編寫、測試用例、單元測試提升明顯將看不見的隱性知識（需求分析、設計方法）展現了出來，

9、有進一步自動化的可能投入：ChatGPT 與 Copilot 費用：每人月 30 美金 Prompt 技巧的學習成本（一周）Prompt 不斷優化的調試成本（每段1小時）嘗試二：微調專有領域大模型的成本和效果探索準備數據轉換數據集微調（生成可用模型）功能需求生成格式設計數據蒸餾（指將大型訓練數據集中的知識提煉成小數據，以提高性能）注：使用公開搜集到的AC數據，調用OpenAI 進行優化以后作為數據集輸入生成數據集（3400條數據）注：一條數據，指給大模型的一個完整數據片段輸入，包含指令Prompt+輸入+輸出結構化表示 instruction:根據如下的需求創建功能需求,input:攀登：分享

10、攀登地點,output:用戶故事：可以分享攀登地點n作為一個攀登愛好者n我想在攀登應用中分享一個攀登地點n以便于其他攀登愛好者可以參考我的分享nnac 1:攀登愛好者可以在攀登應用中分享攀登地點n假設 攀登愛好者已經登錄攀登應用n當 攀登愛好者點擊分享攀登位置按鈕n于是 攀登愛好者可以輸入攀登地點的名稱、地址、攀登難度等信息，并可以上傳圖片nac 2:攀登愛好者可以查看分享的攀登地點n假設 攀登愛好者已經登錄攀登應用n當 攀登愛好者點擊分享攀登位置按鈕n于是 攀登愛好者可以查看其他攀登愛好者分享的攀登地點，并可以查看攀登地點的詳細信息基于GLM-6B模型微調（以功能需求AC場景為例）微調訓練（

11、Jupyter Notebook工具）嘗試二：微調專有領域大模型的成本和效果探索15輔助生成功能需求-示例（3400 個數據）輔助生成開放銀行 API-示例（3000 個 API 資源HTTP Resource）提示語生成結果提示語生成結果嘗試二：微調專有領域大模型的成本和效果探索開源模型微調需要高質量的知識，實際應用效果離 OpenAI 仍有差距探索過程ROI 評估GLM-6B模型用少量數據可調優出相對可用的專有模型 需求AC場景：3k 數據集可達到初步可用 編碼場景：10k-20k 數據集可達到初步可用 API設計場景：3k 數據集可達到初步可用 注：主觀經驗及結合GPT生成對比推測基于G

12、LM-130B模型，同等效果需要更少量的數據 根據LLaMA微調訓練經驗，推測達到初步可用的微調數據量更少（50個不同場景的AC數據）構建微調自動化流水線以降低后續微調成本 每次微調數據準備、微調效果評估都需要重復的代碼工作和人工過程，這部分自動化后可降低后續微調成本和門檻場景數據數據來源訓練投入/時間輔助功能需求（AC編寫）1k,3k,6k 個用戶故事微調及生成結果對比使用公開搜集到的AC數據，調用OpenAI 進行優化以后作為數據集輸入數據準備：3 天微調：14 小時/次微調次數：3 次輔助編碼（代碼片段生成）10k，20k,40k,80k 個代碼片段微調及生成結果對比公開的代碼數據集數據

13、準備：1 天微調：4 小時/次微調次數：4 次輔助API設計1k,3k 個 API spec結果對比業界各銀行的開放銀行API資料數據格式化后作為數據集數據準備：7 天微調：4 小時/次微調次數：6 次（prompt 優化）嘗試三：AI 應用開發探索與 BizDevOps工具集成設想開發輔助產品探索研究的 AI 應用嘗試三：AI 應用開發探索與 BizDevOps工具集成設想AI 應用開發和維護成本并不高，API 封裝和外掛知識庫的收益明顯研究過程ROI 小結持續運營發布運維研發實現需求分析產品規劃 業務術語清單 業務分析結果 專題畫布/電梯演講 用戶畫像/場景/旅程 低保真原型圖 MVP特性

14、清單 發布計劃.特性功能流程圖 用戶故事清單 用戶故事編寫 驗收標準生成 領域模型圖 序列圖 狀態圖 API接口定義 測試用例 測試代碼 代碼 部署腳本 發布說明 產品說明文檔 FAQ 文案內容 營銷圖片文案 營銷視頻腳本 評價分析結果 FAQBizDevOps工具（未進行集成驗證）IDE Copilot PluginChatbot/CopilotAI輔助觸點平臺集成調優出來的專有大語言模型（需求、代碼、API）軟件工程知識DSL（測試用例、API Spec轉換為結構化數據）Chatbot數據及語言AI 應用的開發和運維成本并不高需求場景中的Chatbot實施成本為：開發時間 100小時1產品

15、專家兼提示語工程師+1應用開發單應用基礎設施成本每月250美金把LLM調用封裝為API，更容易集中管理，控制成本鶴峰縣，配合各種形式前端，也讓用戶的體驗更流暢API封裝好以后，可以在前端以各種形態提供智能服務：Chatbot、IDE插件、文檔插件、WebAPP插件等，用戶可以在已有平臺中直接使用上AI助手現階段結合外掛知識庫提供語義搜索服務的ROI 最高把組織中已有的顯性知識（如Wiki）作為外掛知識庫，輔助大模型先學習，再生成內容，效果更好產品經理助手建議一：發現提效即實現 AI 應用的快速迭代重點：提示語工程、知識建模與整理、持續反饋設計AI提效實驗驗證提效可行性新研發工序假設重新梳理研發

16、流程知識建模12345持續反饋的平臺工程ShowcaseAI 應用開發MVP 微調試驗（可選）知識收集與整理109876AnalyseDesignDevelopDeployTest and reviewManagerOPM建議二：企業級 AI 應用的整體參考架構重點：封裝API 服務、大語言模型可替換、敏感信息過濾知識增強 用戶界面X Copilot API數據審計/安全操作編排LLM 檢索（Retrieval）向量存儲（Vector Store）生成 Embedding 專有領域文檔/數據大語言模型（LLM）Prompt ChainLLM Agent文本數據敏感信息存儲對話歷史敏感數據Cop

17、ilotAPIsLangChainChromaorPineconeOpenAIorLangChainOpenAI需求架構需求分析Copilot產品設計Copilot架構建模Copilot領域模型Copilot測試測試輔助Copilot各種前端技術敏感信息過濾&屏蔽操作步驟Prompt 生成響應后處理Python三方工具LangChainFastAPI個人到企業，規?；瘧肁I提效的ROIQ&A了解更多技術實踐案例麥思博(msup)有限公司是一家面向技術型企業的培訓咨詢機構，攜手2000余位中外客座導師，服務于技術團隊的能力提升、軟件工程效能和產品創新迭代，超過3000余家企業續約學習，是科技領域占有率第1的客座導師品牌，msup以整合全球領先經驗實踐為己任，為中國產業快速發展提供智庫。高可用架構主要關注互聯網架構及高可用、可擴展及高性能領域的知識傳播。訂閱用戶覆蓋主流互聯網及軟件領域系統架構技術從業人員。高可用架構系列社群是一個社區組織，其精神是“分享+交流”，提倡社區的人人參與，同時從社區獲得高質量的內容。