《路寧-大模型輔助需求代碼開發.pdf》由會員分享,可在線閱讀,更多相關《路寧-大模型輔助需求代碼開發.pdf(18頁珍藏版)》請在三個皮匠報告上搜索。
1、錄模型輔助開發態開發真實需求的挑戰切換到知識產和消費的思維框架依賴經驗知識的編碼任務實驗 知識分類及提詞框架 模型輔助開發的實形態 模型輔助開發態-任務全貌 利模型的模式:模型輔助開發態-主任務相關應現狀 搓模型 模型輔助開發態-了解測評背后的任務 任務是JS開發個Web Server 得出結論-效率提升55%較為獨的函數級任務 Github Copilot的實驗 HumanEval評估數據 模型輔助開發態-了解測評背后的任務 Lite評估集有300個case,18%僅1改動,30%在2以內,20+改動的占7.3%。被解決的問題集中在評估集中的簡單任務。項都是純python的庫,如django
2、和pytest。.SWE-Bench 開發真實需求的挑戰-看個例 實現步驟類似粗粒度的偽碼,包含:改動或函數簽名及輸輸出格式:如何與現有代碼集成。復的約束:遵循設計約束,新寫套。新能實現的提:提較難的細節。開發步驟提的夠細成的效果就夠好,但是.最好的模型實驗才能得到最好的成效果。錄結構+代碼件+任務描述作為提詞的起點。選個真實需求,做任務的規劃。開發真實需求的挑戰-分析任務難度 模型能:規劃推理、指令遵從、窗度、注意、輸出傾向等 切換到知識產和消費的思維框架 依賴經驗知識的編碼任務 如何遵循設計 是復雜編碼任務的重要挑戰 依賴經驗知識的編碼任務-利通過框架完成任務的法描述 代碼上下中已蘊藏這些
3、經驗,但加經驗描述影響窗中的注意分布,降低推理負擔,提升成效果。經 驗 新任務 依賴經驗知識的編碼任務-利相關任務的實例化經驗 經 驗 新任務 加個任務的具體實例(changelist),來刻畫在設計約束下實現個任務的細節經驗,給其他編碼任務做參考。changelist 依賴經驗知識的編碼任務-利相關任務的實例化經驗 知識分類及提詞框架 產物知識:在流程中以產物形式顯性表達的知識。經驗知識:產產物知識過程中使的經驗,往往是隱性的。衍數據知識:程序運時的數據,還有基于代碼分析出來的數據,于知識相關性計算或直接拿來提升某些任務效果。在什么上下下(基于什么),應什么樣的經驗(怎么),完成個什么樣的任
4、務(什么)。對于現在模型的能,可有可。來產物知識,默認為項件錄及代碼件。來復的經驗知識。對輸出內容及各式的約束說明。具體任務的描述和實現提。知識分類及提詞框架 模型輔助開發的實形態 具能做到什么程度?知識程+Agent 程師是否需要裸ChatGPT?程師是否必須能駕馭模型?的精能被釋放到什么程度?追求多例的效率提升較現實?個維護知識程是否可?Thanks&Take Away 1.軟件開發任務態豐富,主任務難度遠超撐性任務。2.從知識產和消費的度重新建模軟件開發過程。3.如何遵循設計是復雜編碼任務的重要挑戰。4.從現有代碼結構或完成任務的歷史記錄中加經驗知識。5.利合理的知識分類指導知識程建設。