肖然-大模型時代的AI能力工程化.pdf

1、 2024 Thoughtworks 大模型時代的AI能力工程化肖然肖然 ArchSummit 2024 2024 Thoughtworks|Confidential 2 2024 Thoughtworks 3李開復在2023年3月19日發布Project AI 2.0時談到AI 1.0和AI 2.0的關鍵變化Source：量子位AI應用的成本越低，AI應用的范圍越大AI 進入2.0時代當具備跨領域知識的基礎模型出現之后，微調適應不同領域任務的AI模型的成本極低海量數據標注海量數據標注VSVS自監督學習自監督學習單一領域任務單一領域任務VSVS基礎模型基礎模型（跨領域知識的跨領域知識的）高成本

2、模型訓練高成本模型訓練VSVS低成本模型微調低成本模型微調基礎模型基礎模型：On the Opportunities and Risks of Foundation Models 2024 Thoughtworks You4AI助理用自然語言提出問題LLMLLMLarge Language ModelTasksTask 1Task 2Task 3Task nTask ChainTool aModel aTool bModel nTool/Model MeshMemoryOutput用自然語言給出答案內部或外部的 工具/模型Line of VisibilityLine of Visibility

3、GoalsSource:Generative AI PoV-Generative AI in Fashion我們正在進入一個新應用時代！2024 Thoughtworks AI 驅動創新產品市場營銷、銷售、客戶服務、公共信息.AI 輔助 SDLC軟件工程、數據工程.5AI 增強個人能力培訓,問答系統,人工智能助手,AI4Science,.AI 平臺工程人工智能服務平臺、MLOps、Dataloop人工智能服務商業軟件開發基礎模型研發用戶客戶SDLC創新產品個人能力平臺工程經驗工程效果有效性增強個人能力增強個人能力增強企業能力增強 SDLC打造人工智能服務出現了許多新的應用場景數據工程師 算法工

4、程師 2024 Thoughtworks6融合AI技術的應用開發變得更復雜Existed Backend ServicesExisted Application(CMS,CRM,etc.)AI AgentsAI ToolsBackend DatabasesBackend Data PlatformVectorstoreEmbedding ModelsLLMs&Prompt ManagementSecurity(Cybersecurity,AI security,and Privacy)Public Cloud Service(Azure GPT,OpenAI,etc.)MLOps&LLMOps

5、(deployment,serving,fine-tuning)Compliance&Dataloop(Audit&Logs)為了將 GenAI 應用于生產環境，我們需要考慮一系列問題，如安全性與合規性、模型選擇與部署、資源應用與購買等。如果我們需要大規模應用 GenAI 怎么辦?2024 Thoughtworks 上一個AI時代企業應用的驚人事實87%的AI模型開發項目未投入生產-VentureBeathttps:/ 2024 Thoughtworks 小數據量小數據量單機可完成模型開發AI 模型的治理仍然很隨機8大數據量大數據量模型開發需要多機多卡簡單數據簡單數據(結構化數據為主，包含簡單

6、文本數據)復雜數據復雜數據(非結構化數據為主，另含視頻、雷達等多模態數據)常見場景常見場景：推薦引擎、精準營銷、異常檢測等業務場景；非結構化數據以文本分類，情感分析為主開發模式開發模式：本地，單機即可完成數據處理、訓練和發布等所有工作，GPU資源需求小難點挑戰難點挑戰：難以獲取數據，數據權限管理和內部流程平臺需求平臺需求：開放數據、模型管理、部署和運行常見產品常見產品：Dataiku,Databricks常見場景常見場景：以OCR、語音識別、語音合成、文本生成、視頻生成等多模態生成式AI為主的應用場景開發模式開發模式：以云端服務器微調的方式訓練模型，難點難點挑戰挑戰：數據標注與數據合成，GPU

7、資源需求大平臺需求平臺需求：數據標注工具、模型管理、部署和運行常用產品常用產品：Databricks,Sagemaker,PaddlePaddle,ModelArts,.常見場景常見場景：推薦引擎、精準營銷、異常檢測等業務場景；非結構化數據以文本分類，情感分析為主開發模式開發模式：云端多人協作，根據企業相關人員規模選擇平臺產品或自研平臺難點挑戰難點挑戰：難以獲取數據，數據權限管理和內部流程平臺需求平臺需求：大數據平臺、開放數據、模型管理和部署常見產品常見產品：Dataiku,Databricks,自研機器學習平臺常見場景常見場景：自動駕駛、語音識別、各類生成式AI，各類數據的基礎模型開發開發模

8、式開發模式：多人協作，基于云端算力打造自研平臺難點挑戰難點挑戰：標注數據成本高，算力需求巨大平臺需求平臺需求：端到端支持數據采集、挖掘、標注、算法訓練、模型評估、模型管理等常見產品常見產品：自研機器學習平臺AI模型治理面臨的共性難題：難管理、難部署、難監控、難協作“難管理、難部署、難監控、難協作”參考人工智能化研發運營一體化(Model/MLOps)能力成熟度模型 第一部分：開發管理 2024 Thoughtworks AI能力工程化才剛剛開始行業內探索MLOps過程管理和LLMOps模型治理的標準，但構建全流程的AI研發運營體系仍然任重道遠。AI模型開發AI應用協作AI模型交付 小作坊式的開

9、發，工具鏈碎片化 AI資產（算法/數據/算力）管理散亂 數據來源分散，數據不標準，獲取難 一旦交付，很難重新訓練和發布新模型 缺少基礎設施支持大規模訓練和推理 無法觀察監控模型在生產環境的運行狀態 AI團隊&IT：模型適配只能交給AI團隊 AI團隊&業務：業務不知道已有AI能力 AI團隊&AI團隊：AI模型分享交流難參考MLOps模型交付標準解讀、魔塔中文開源模型社區-模型即服務9考慮到AI模型開發方法發生巨變的今天，需要全新思考如何解決這部分問題！2024 Thoughtworks 實現AI能力工程化，Hugging Face經驗值得借鑒10https:/thenewstack.io/how

10、-hugging-face-positions-itself-in-the-open-llm-stack/1.降低模型開發成本 2.降低模型使用難度3.助力模型分享交流Hugging Face關注模型的應用、探索和社區Hugging Face不是一個AI模型開發平臺，而是AI模型治理治理平臺平臺和應用應用社區社區，吸引大家用起來。2024 Thoughtworks AI 能力工程化發展路徑11面向未來重點抓手激活創新統一服務Initial具備基本能力Defined提供標準化服務和管理Managed服務度量與全面治理Optimizing引領創新與持續優化Foundation ModelsStru

11、cture DataUnstructured DataUnified AI Model PlatformSelf Service Generator AppsStandard Services:OCR/ASR/TTS etc.Conversation AIfor Internal use caseSelf Service Foundation Model Fine tuneFine tune Foundation ModelVersioned Dataset ManagementConversation AIfor external use caseConversation AIas a Se

12、rviceGAI as a serviceMulti-AgentSelf Service Chat AppsData LoopDataset ManagementSelf Service Knowledge BaseDigital Humanas a ServiceSLA MeasurementModel as a ServiceSelf-service AI PlatformIntegrate with Data PlatformAI MarketMLOpsCommunity 2024 Thoughtworks 能力復用12成本下降單模型的性能提升提效，推理加速。實現多模型的路由選擇審計合規

13、平臺避免數據出境等帶來的數據安全個人保護法PII/可審計安全實踐企業級AI 安全監測與評估；企業級Chat提升應用效果：在GM平臺下，Prompt幫助模型更好的理解任務，COT模型的編碼過程更加優化，FT則使得模型更好地適應特定任務GluonMeson平臺能力平臺能力命名來源背景介紹：膠子（gluon）是負責在兩個夸克之間傳遞強作用力的基本粒子，介子（meson）是粒子物理學中一個夸克和一個反夸克通過強作用力捆綁在一起的復合粒子。象征著我們平臺是介子，通過平臺的能力（膠子），將大模型和各業務場景凝聚到一起。Thoughtworks 交界平臺交界平臺LLMOps 運維簡化 2024 Though

14、tworks l 面向AI 2.0的企業級平臺藍圖2 支持規?；闹С忠幠；腁I方案創新工廠方案創新工廠（AI Solution Factory at Scale）2.1 AI 基礎設施基礎設施-低碳低碳彈性彈性異構異構云中立云中立 1 持續的持續的AI戰略設計和規劃戰略設計和規劃（Continuous AI Strategy Development）3 企業級的運營治理機制企業級的運營治理機制（Enterprise AI Governance）管理層愿景目標對齊AI創新機會點識別和評估端到端智能化旅程設計優先級評估和落地演進路線價值評估度量體系AI創新框架和管理流程具備端到端能力的AI P

15、oD團隊AI能力卓越中心訓練云集群（容器化算力）AI GuardRails 安全合規治理體系AI轉型推動組織CPU/GPU資源動態調度資源監控2.2 AI 服務平臺服務平臺-可控可控標準化標準化持續交付持續交付開放開放2.4 以以數據數據為中心的持續改進和為中心的持續改進和AI治理治理2.3 AI 原生的應用工廠原生的應用工廠-價值驅動價值驅動持續運營持續運營業務價值鏈 AI影響分析算力底座算力資源管理與調度推理云集群（容器化算力、物理機算力）虛擬化硬件國產算力資源動態調整物理機算力資源動態調度任務監控集群監控AI容器服務AI鏡像管理統一管理、調度、監控的開放服務（通過API、SDK、算子等形

16、式）模型服務內部與外部的生成式AI模型（GLM/LLaMa/Baidu/Aliyun）判別式AI模型（CV/NLP/分類/回歸）AI開放服務AI場景運營模型開發算法開發、模型調優、模型微調、構建集成、模型評測數據開發數據采集、數據挖掘、數據標注、數據集管理、測試驗證流程管理項目與需求管理、數據流通、項目追蹤、流程審批合規治理AI服務可追溯、內容審查、簽名水印、日志審計模型與AI服務運營服務發布、持續監控、A/B測試、資源管理、成本管理安全評估在數據收集、模型訓練和模型運行階段提供防御手段效率-數字員工體驗-智能檢索體驗-AI工作空間體驗-多模態互動體驗-智能IDEAI運營門戶創造-內容生成效率

17、-伴隨助手Knowledge/知識Skill 技能Tools|工具API Lookups、NL2SQL、數據可視化、自然語言處理、計算機視覺、圖形處理、機器學習框架.總結、聚類、文本生成、文本分類、意圖識別、模式識別、檢索、推理、客戶信息、產品信息、交易信息、流程處理信息、術語知識、協議知識、規章制度、技術規格.AI Agent 模版集市Q&A chatbot、文檔閱讀理解助手、總結摘要 Agent、情感分析 Agent、翻譯 Agent、文本轉語音 Agent etc 2024 Thoughtworks AI不會淘汰你，但學會使用AI的人會 2024 Thoughtworks AI能力工程化

18、的關鍵是人能力工程化的關鍵是人！對于對于想要想要這是這是不像不像我們的產品我們的產品數據/算法工程師軟件工程師用戶共享數據集、經驗并微調基礎模型。創建人工智能服務或Agent，以構建智能應用程序在日常工作中內容生成、Copilot 或知識管理人工智能服務平臺 提供 GPU 和其他資源。提供基礎模型 提供數據集管理。提供微調服務 評估 LLM 和提示 自助服務 Gradio 應用程序集成 能夠利用提示和知識創建人工智能服務 能夠添加和管理存在的數據服務和應用程序 能夠管理人工智能服務 定義 LLM 護欄 能夠為日常工作創建內容或提升效率 改善企業知識搜索和訪問體驗 能夠使用各種輕量級人工智能應用

19、程序人工智能開發平臺提供基礎模型管理和微調服務為創建人工智能服務提供開放標準提供適合每個人日常使用的應用程序 2024 Thoughtworks Fine-tuning or train models(eg.Jupyter,Stable Diffusion)AI 應用的復雜度帶來了新的協同關系應用的復雜度帶來了新的協同關系數據/算法工程師軟件工程師用戶ModelsAI ServicesIntelligent AppsBuild Model ManagementBuild components for AI service developmentBuild AI playground App(e

20、g.nl2df,seal detector)Evaluate model quality&publish it(eg.MLflow)Experience AI playgroundCreate AI service in components(eg.Atom)Build prototype of AI Service(eg.Doc Chat)Build AI playground for users 2024 Thoughtworks l AI 2.0時代組織能力升級17人工智能驅動的人工智能驅動的數字產品數字產品AIAI驅動的驅動的一體化平臺一體化平臺現代化的現代化的數據架構數據架構低低摩摩

21、擦擦運運營營模模式式負負責責任任的的技技術術擁抱擁抱變革變革AI-EnabledAI-Enabled的團隊的團隊敏捷交付思維敏捷交付思維產品思維產品思維大模型技術、算力技術、監管政策、市場等存在高度不確定性，需要在不確定性中尋找確定性 三個核心能力三個核心能力 AI驅動的數字產品 AI驅動的一體化平臺 現代化的數據架構 兩個支柱兩個支柱 低摩擦運營模式 負責任的技術 企業文化企業文化 產品思維 敏捷交付思維 AI使能的團隊 擁抱變革Thoughtworks AI 2.0 Thoughtworks AI 2.0 戰略戰略 2024 Thoughtworks 擁抱擁抱 AI 2.0，迎接數智化未來迎接數智化未來Thoughtworks服務號Thoughtworks商業洞見Thoughtworks提供AI 2.0在業務和研發場景下的數智化轉型戰略規劃、體系化AI人才培養和能力建設、企業私有化大模型構建方案、AI平臺和應用框架設計開發，以及AI高價值場景從探索、設計到落地實施及運營推廣的端到端方案，加速您的數智化轉型之旅。