江凱-Lowcode x AI云鳳蝶的思考與實踐.pdf

《江凱-Lowcode x AI云鳳蝶的思考與實踐.pdf》由會員分享，可在線閱讀，更多相關《江凱-Lowcode x AI云鳳蝶的思考與實踐.pdf（54頁珍藏版）》請在三個皮匠報告上搜索。

1、江 螞蟻集團 2024/06Lowcode x AI云鳳蝶的思考與實踐綱.AI 對 Lowcode 業的沖擊.業界變化趨勢洞察三.云鳳蝶產品與技術實踐四.總結與展望AI 輔助編程速發展對話式應成百花放編輯態+AI=輔助提效運時+AI=?垂直業務+AI=?運時+AI=?垂直業務+AI=?提示詞程微調multi agentRAGCursor:AI 輔助編程CodeRabbit/Ellipsis:AI 代碼 reviewAI 輔助編程速發展、AI 對 LowCode 業的沖擊Devin/SWE-agent:AI 程序員清華開源 ChatDev：AI 游戲公司、AI 對 LowCode 業的沖擊V0:

2、對話式前端成marblism:對話式全棧應成（React/NodeJS）galileo:對話式設計稿成對話式應成百花放、AI 對 LowCode 業的沖擊難道就到此為了嗎predict next token（概率）、AI 對 LowCode 業的沖擊如何看待這波沖擊？Scaling Law認清 LLM 的本質和能邊界注 2：sora 理解了世界模型嗎？注 1：LLM 學會了類知識嗎如何看待這波沖擊？Text2Code 是怎么搞出來的？能徹底替代程序員嗎？、AI 對 LowCode 業的沖擊了解指令微調GPT（Generative Pre-trained Transformer）在量語料基礎上

3、掌握了然語的規則ChatGPT 在問答數據的 finetune 后 掌握了在什么場合（prompt）說什么話規模監督訓練海量互聯本數據集predict next token有監督訓練（SFT/RHLF）pre train 的基座模型指令微調（Instruction Tuning）的 finetune 模型質量標注問答數據集prompt 引導下的 predict next tokenText2Code 的關鍵還是質量的問答數據集智能三要素如何看待這波沖擊？lowcode 平臺可以搞個 text2dsl 模型徹底從配置式升級成對話式嗎？、AI 對 LowCode 業的沖擊Q1：pre train

4、的基座模型包含海量的 dsl 數據嗎？沒有，但從 lowcode 平臺積累的歷史應可以清洗出來Q2:有質量的 text2dsl 的數據集來做指令微調嗎？沒有，需要標注https:/ 6.6W csvCase2:OpenAI 數據標注千萬美元投，上千名數據處理團隊與外包團隊理論可，實際很難，需要 lots of 綱.AI 對 Lowcode 業的沖擊.業界變化趨勢洞察三.云鳳蝶產品與技術實踐四.總結與展望AI 輔助編程速發展對話式應成百花放編輯態+AI=輔助提效運時+AI=?垂直業務+AI=?運時+AI=?垂直業務+AI=?提示詞程微調multi agentRAG、業界變化趨勢洞察垂直業務+AI

5、?編輯態+AI 輔助提效運時+AI?熱有些嘗試創業的熱編輯態+AI=輔助提效：Power Platform、業界變化趨勢洞察Copilot 然語操作AI 代碼建議AI 代碼成、業界變化趨勢洞察編輯態+AI=輔助提效：Power Platform然語成D2C然語成表單+存儲模型編輯態+AI=輔助提效：Mendix、業界變化趨勢洞察輔助邏輯編排Lint校驗成、業界變化趨勢洞察編輯態+AI=輔助提效：Wix然語對話提取結構化需求結構化需求成、業界變化趨勢洞察垂直業務+AI?編輯態+AI 輔助提效運時+AI?熱有些嘗試創業的熱按下不表，最后再講綱.AI 對 Lowcode 業的沖擊.業界變化趨勢洞察三

6、.云鳳蝶產品與技術實踐四.總結與展望AI 輔助編程速發展對話式應成百花放編輯態+AI=輔助提效運時+AI=?垂直業務+AI=?運時+AI=?垂直業務+AI=?提示詞程微調multi agentRAG三、云鳳蝶的產品與技術實踐云鳳蝶是什么三、云鳳蝶的產品與技術實踐云鳳蝶與 AI 結合的規劃編輯態+AI：然語驅動的低代碼引擎運時+AI：默認智能的新體驗、AI 原的新需求三、云鳳蝶的產品與技術實踐產品演示產品演示：對話式應研發-制作個內海鮮市場產品演示：導 Excel 創建應產品演示：輔助編程-公式邏輯產品演示：多模態，根據表單內容智能成 Banner三、云鳳蝶的產品與技術實踐LLM 簡要技術圖In

7、 Context Learning 提示詞程微調 針對特定任務法放在 context 有質量數據集RAG 會動態變更有時效性的知識multi agent 框架 編排復雜任務Langchain、MetaGPT、AutoGPTTools 對接外部能Function Calling基座模型訓練 PreTrainingSFTRHLF業務模型訓練 Continue PreTrainingSFTRHLF模型壓縮 量化蒸餾模型部署 推理性能優化偏底層應層推理效果優化與外部程/數據連接復雜業務編排模型評測 數據評測三、云鳳蝶的產品與技術實踐些經驗總結三、云鳳蝶的產品與技術實踐不要看提示詞程（以意圖識別為例）需

8、求：將戶的然語輸識別為 n 個任務的種Q:諸多 bad case，如何解決？需要微調嗎？A:這是個通的分類任務，沒有太多領域知識，先嘗試繼續優化提示詞三、云鳳蝶的產品與技術實踐1.程序員的本：google 找些前的經驗 2.讓魔法打敗魔法：讓 GPT 幫忙優化本技巧除了應在開發時，也可以應在線上以然語創建表單為例，戶輸不會像 PRD 樣詳細可以預設個 PRD Agent，讓 Agent 先基于戶簡單輸擴寫需求，或多輪對話追問細節不要看提示詞程（以意圖識別為例）三、云鳳蝶的產品與技術實踐不要看提示詞程（以意圖識別為例）微調的作PS.組件種類過多，且組件定義版本化變更的，未來可能需要演進成 RAG

9、 案成法 json 的問題，除了 Fine-tuning，也可以考慮 Function Calling 的案（即讓模型輸出 flattern 的簡略結構，再調 function 程序轉換）組件種類過多 in context learning 不夠復雜的組件樹嵌套法成容易成法 json badcase 法解決穩定可控性能成本領域知識嚴格控制輸出格式，避免輸出法 json對于不符合預期的 badcase 可以加訓練數據集相 prompt engineering節省單次調的上下 token，省錢補充基座模型未內化的知識三、云鳳蝶的產品與技術實踐如何判斷需要微調？（以然語成表單為例）遇到問題了問題：沒

10、有現成的然語到公式數據集，純標注成本太 解決案：程序+GPT 數據增三、云鳳蝶的產品與技術實踐微調數據集不夠怎么辦？（以然語成公式為例）三、云鳳蝶的產品與技術實踐微調數據準備有哪些容易踩的坑？三、云鳳蝶的產品與技術實踐微調數據準備有哪些容易踩的坑？三、云鳳蝶的產品與技術實踐如何在業務中實踐 multi agent 架構？三、云鳳蝶的產品與技術實踐如何在業務中實踐 multi agent 架構？（以 IDE 修改組件屬性為例）戶原始輸意圖識別 agent實體識別 agent指令成 agent應 DSL 修改多個相關微調任務合并成個 螞蟻開源多任務微調 MFTCoder 框架研發時：提升訓練效率

11、運時：節省前置意圖識別性能開銷https:/ multi agent 架構？三、云鳳蝶的產品與技術實踐三、云鳳蝶的產品與技術實踐如何讓 LLM 理解需求不是指令？（以 IDE 修改組件屬性為例）需求：將商品和收貨式放到同，突出顯示商品信息指令:1.把商品組件布局屬性改成內聯 2.把收獲式組件布局屬性改成內聯 3.把商品信息組件字體加粗能理解需求的 Copilot 才是好的 Copilot三、云鳳蝶的產品與技術實踐如何讓 LLM 理解需求不是指令？（以 IDE 修改組件屬性為例）CoT（思維鏈）三、云鳳蝶的產品與技術實踐如何解決 AI 法 100%準確的問題？（以然語成表單為例）好的產品設計來兜

12、底 提供對模型中間推理產物的介修改能訓練數據集評測數據集線上數據回流建數據輪，持續迭代三、云鳳蝶的產品與技術實踐如何確?？尚猿掷m提升？綱.AI 對 Lowcode 業的沖擊.業界變化趨勢洞察三.云鳳蝶產品與技術實踐四.總結與展望AI 輔助編程速發展對話式應成百花放編輯態+AI=輔助提效運時+AI=?垂直業務+AI=?運時+AI=?垂直業務+AI=?提示詞程微調multi agentRAG垂直業務+AI?編輯態+AI 輔助提效運時+AI?熱有些嘗試創業的熱展開講講四、總結與展望回顧下業界變化趨勢洞察四、總結與展望運時+AI=新體驗：Retool邏輯編排內置 AI 節點，絲滑的使 AI 能四、總結

13、與展望運時+AI=新體驗：Retool邏輯編排內置 AI 節點，絲滑的使 AI 能四、總結與展望運時+AI=新體驗：Power Platform成每個應專屬 copilot 打通 Microsoft Copilot Studio然語數據查詢、數據分析、導航表單填寫、本輸建議四、總結與展望向未來，GUI 和 CUI 注：Conversation UI運時+AI=新需求海量的 GUI 應如何適配 AI 時代？廢棄 GUI 讓 AI 通過 function calling 重新對接 API 根據 Data Schema 智能推理 UI通過某些技術段 讓 GUI 變成 CUI 可消費的激進派溫和派四、

14、總結與展望運時+AI=新需求1.卡搭建，放棄已有 GUI，重做運時+AI=新需求：釘釘智能助理四、總結與展望2.編寫 RPA 腳本 將傳統 GUI 服務變成 AI 可調的能節點會議室預定，對接 API,根據 API Data Schema 動渲染卡運時+AI=新需求：百度超級助理四、總結與展望垂直業務+AI=端到端免研發四、總結與展望端到端的對話問卷成、數據采集對話式交互問卷、訓練的 AI 回答四、總結與展望AI 版本的“salesforce”根據店鋪和商品信息 AI 成客戶調研并分析和追蹤回流線索數據拓展客戶垂直業務+AI=端到端免研發四、總結與展望AI 戶體驗監控傳統的監控：絡錯誤、代碼錯

15、誤基于戶為的監控：戶瘋狂重復點擊按鈕、戶在個請求等待過程中標意義的煩躁移動、某個按鈕或者鏈接點擊之后沒有反應 AI 做啥：LLM 給抓取到的這個戶 case 成然語描述的標題通過機器學習從量數據中識別出當下對戶影響最嚴重的些問題 push 改進垂直業務+AI=端到端免研發Everest Group 2023低代碼報告259 個 YC 投資 AI 相關項統計(source)四、總結與展望AI 會改變 lowcode 商業模式和格局嗎AI 改變 LowCode 業格局和市場前景了嗎思考先解決基模和卡的可性問題，從功能和簡單案，不設邊界的嘗試 AI，遇到問題解決問題承認當下 LLM 能缺陷，在想做和能做之間找平衡除 LowCode 編輯態輔助提效，還需投助產更智能的應，以及投向 AI Native 的新形態對話式應產，以應對需求側變化AI 會進步激活 LowCode，從需求側和能側都是在通 LowCode 平臺上結合 AI 暫殺級場景，尋找垂直業務場景 AI 零代碼免研發，端到端解決案更有想象空間完。感謝