秦思思-大模型火熱背后的 MLOps 發展現狀和趨勢.pdf

1、2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型驅動的MLOps發展路徑秦思思 高級業務主管（中國信息通信研究院）國際注冊信息系統審計師（CISA）、高級信息系統項目管理師、Scrum Alliance 敏捷教練、軟件工程造價師，具有十余年金融機構項目管理和質量管理經驗，在CMMI、DevOps、研發效能領域有深入研究和實踐，并參與軟件度量相關的國標和地標編制及IT審計著作翻譯。作為人工智能關鍵技術與應用評測工信部重點實驗室人工智能工程化推進委員會人工智能研發運營小組組長，目前重點跟蹤研究人工智能工程化（包括MLOps、LMOps、AI治理、模型管理、模型評測等

2、）的發展，牽頭系列標準的編制、評測、咨詢等工作。01大大模模型型發發展展現現狀狀02大大模模型型對對M ML LO Op ps s帶帶來來的的挑挑戰戰03M ML LO Op ps s發發展展新新路路徑徑04信信通通院院工工作作介介紹紹目目錄錄C Co on nt te en nt t2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型百家爭鳴，形成AI技術發展新格局大模型生態構建呈現出產、學、研強強聯合的趨勢。領域頭部企業充分發揮優勢，紛紛尋求合作。生態構建-強強聯合技術能力-持續提升行業應用-拓寬加深社會價值-普惠向善大模型技術能力仍在持續突破，在語言/視覺/多

3、模態/生成等領域的性能取得顯著提升。大模型行業應用開始面向具體任務和垂直行業，建、用、管的關注焦點，由訓練轉向應用。大模型社會價值凸顯，不再唯參數規模論，開始強調實用性、普惠性，造福社會?；谥窃次虻来竽Ｐ偷亩瑠W手語播報數字人系統提供全流程智能化的數字人手語生成服務，方便聽障人士收看賽事專題報道，提升社會參與度和幸福感國網-百度 文心能源行業大模型GPT-4較GPT-3.5在多項任務取得顯著性能提升產學研聯合產研聯合產學聯合產產聯合盤古氣象大模型盤古礦山大模型盤古電力大模型百度文心千帆大模型平臺華為昇思大模型平臺火山引擎大模型服務平臺阿里云PAI大模型平臺各界積極投入研發：互聯網企業、AI企業

4、、高校院所、電信運營商、金融機構紛紛入局技術迭代不斷加速：大模型更新迭代周期不斷縮短，模型發布呈井噴態勢從單模態到多模態：語言、語音、視覺、多模態大模型全面鋪開落地應用范圍不斷擴大：大模型不斷面向醫療、教育、金融、電力等細分領域拓展應用日日新20182019202020211-7月8-12月20221-5月6-10月11-12月1-5月2023GPTBERTERNIE 1.0GPT-2ERNIE 2.0GPT-3GLM-130B通義WeLMChatGPTOPT-IMLSwitch Transformer盤古NLP阿里M6悟道2.0紫東太初ERNIE 3.0ERNIE 3.0 TitanMT-N

5、LGDALLE 2GatoPaLM混元通義千問LLaMAGPT-4文心一言MOSS孟子星火360智腦玉言2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型技術能力多維提升大模型能力持續升級，有望成為人工智能技術底座語言實體識別文本分類信息檢索機器翻譯文本摘要情感分析代碼生成常識問答語音語音識別語音合成方言識別聲紋識別語種識別多模態圖文生成圖文問答圖文檢索圖片-代碼生成多模態寫作視覺物體識別動作識別目標檢測圖像分類語義分割其他數學計算結構預測氣象預測識別能力理解能力預測能力分類能力生成能力Transformer 開創了繼 NLP、CNN和 RNN之后的第四大類模型來

6、源：Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyond2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型應用落地向各行業輻射大模型性能持續提升，多維展現技術能力14.251.2OpenAI CLIP悟道文瀾圖像：RUC-CAS-wenlan評分+37.0%性能提升6989.890.6BERT人類基線ERNIE 3.0超越人類語音：CIDEr-D評分23.3535.09MSVLPT紫東太初+11.74%性能提升文本：SuperGLUE 評分大模型功能持續進化，賦能多個垂直場景

7、3.96%檢索效果提升20%生成效果提升語音助手故事生成跨模態檢索87.5%人工成本降低95%測試效率提升不良網站治理移動業務質量檢測2%意圖識別效果提升搜索領域：重塑檢索結果的呈現，例如：微軟的“NewBing”辦公領域：打造智能化平臺，例如：微軟的“Copilot”；阿里的釘釘；金山的“WPS AI”；飛書的“My AI”；百度“如流”金融行業：賦能智能客服和投研能力 例如：彭博社“BloombergGPT”；工行金融通用大模型；農行“ChatABC”；金融顧問“4K-GPT”；LightGPT大模型教育行業：個性化、啟發式教育模式變革探索中，例如：科大訊飛“星火”；網易有道“子曰”；學而

8、思數學大模型“MathGPT”醫療行業：提升線上問診和實體醫院的醫療效率，例如：谷歌Med-PaLM多 媒 體：使用文字生成圖像、音頻等，例如：Adobe的“FireFly“法 律 界：法律內容搜索和總結、合同和簡報起草，例如律商聯訊Lexis+AI大模型賦能行業應用成為AI發展新趨勢TM隨著大模型性能和功能持續提升，過去幾個月，科技巨頭們推出一波又一波通用大模型，未來行業大模型將如雨后春筍般出現大模型為行業帶來的影響：大模型的應用進一步推動人工智能開發從“作坊式”到“工業化”升級，降低AI應用門檻，促進AI普惠化。大模型使行業競爭更加激烈，使用大模型提高產品和服務競爭力，將為企業帶來長期持續

9、的競爭優勢。大模型的應用生態將創造出更多商業機會和就業機會，智能涌現將有可能重塑商業和社會秩序，為行業變革帶來契機。2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型平臺落地趨勢：使大模型更加下沉更加普惠大模型平臺重點關注大模型供需雙方的匹配，1+N模式或將成為主流生產模式，1個大模型+N個插件、模型、軟件、應用.平臺工具作為AI大模型淘金時代的鏟子形成多種交付模式，促進大模型普惠化進程APIPaaSSaaSMaaS平臺工具逐漸成熟，推動大模型產業化加速環境部署數據預處理預訓練微調模型壓縮推理部署插件化行業需求和應用場景豐富，大模型產業落地階段開啟金融行業營銷客服

10、投研投顧電力行業交通行業巡檢故障診斷信控規劃其他行業電信行業咨詢辦理客服助手01大大模模型型發發展展現現狀狀02大大模模型型對對M ML LO Op ps s帶帶來來的的挑挑戰戰03M ML LO Op ps s發發展展新新路路徑徑04信信通通院院工工作作介介紹紹目目錄錄C Co on nt te en nt t2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型的特點和挑戰大模型缺乏足夠的專業領域數據，“幻覺”問題凸顯，無法獲取實時數據，推理結果缺乏足夠的準確推理更新不及時私有化部署和應用成本高昂，訓練是周期性投入，而推理是持續性長期投入應用流程復雜成本高大模型好

11、似可以替代一切工作，又好似壁壘重重，大小模型協同、和插件應用的協同、和應用系統的協同、和知識庫的協同將打破重重壁壘應用場景不夠靈活大模型波及面廣、滲透性強、影響度深，需做好大模型及其應用的安全合規，這可能涉及實現訪問控制、加密和其他安全措施安全問題更加顯現大模型的特點：參數量大、訓練數據量大、泛化能力強、強大的理解能力、強大的生成能力.2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型落地應用面臨的挑戰角色面臨的困難與問題類別應用方應用場景是什么？如何賦能業務？應應用用拿到了大模型如何微調？如何私有化部署？如何使用私有數據二次訓練？數據怎么標注處理？二次訓練所需算

12、力夠嗎？推理所需算力夠嗎？如何分布式?大模型二次開發平臺是采購還是自研？需要哪些功能和性能？如何和其他軟件或應用系統對接，如何打造更高級的應用？大模型推理出來的結果可解釋嗎？答案出現幻覺怎么辦？合規嗎？可可信信大模型如何管理？數據隱私如何保證？AI工業化生產進程加速，大模型規?；瘧萌孕柰黄?，在二次開發和部署的應用層面，安全可信層面，均面臨諸多挑戰。2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站大模型為MLOps帶來的挑戰MLOps可以承載大模型工程化過程，解決大模型落地面臨的挑戰，但MLOps急需能力擴展靈活的數據處理能力12更強大的資源管理調度能力4分布式推理能

13、力3插件等擴展能力5更強大的安全可信能力6大模型調優能力01大大模模型型發發展展現現狀狀02大大模模型型對對M ML LO Op ps s帶帶來來的的挑挑戰戰03M ML LO Op ps s發發展展新新路路徑徑04信信通通院院工工作作介介紹紹目目錄錄C Co on nt te en nt t2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站MLOps概念與原則MLOps是通過連接模型構建團隊、業務團隊及運維團隊，為機器學習模型全生命周期建設標準化、自動化、可持續改進的過程管理體系，使組織規?；?、高質量、高效率、可持續地生產機器學習模型。作為AI基礎設施之一，MLOps

14、促進各團隊高效協作，提升業務價值產出。一般來說，實施MLOps需要遵循的原則包括自動化、持續性、版本化、可監控、可測試、可追溯、可復現、可協作等?；驹瓌t組織應圍繞MLOps流程的持續運轉，明確角色與分工，可提高多角色間的協作效率，從而提升整體生產效率和質量。角色分工2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站MLOps發揮著承上啟下的作用開開發發管管理理機機器器學學習習流流水水線線管管理理（持持續續訓訓練練|持持續續集集成成|持持續續交交付付|持持續續監監控控）算力：CPU、GPU、FPGA存儲：SSD、NVME基礎網絡邊側設備端側設備金融行業新零售智慧城市制造

15、業需求管理數據工程模型開發機器學習框架在線學習框架深度學習框架模型訓練引擎強化學習框架資源智能調度引擎（資源隔離|自動彈性擴縮容|錯峰調度|在離線混合調度|資源碎片利用|任務優先級控制|）流水線引擎在線推理引擎批量推理引擎模模型型交交付付持續集成部署發布模型測試配置與度量資資產產管管理理模型倉庫特征倉庫元數據倉庫可可 信信安全管控風險管理模型審計可解釋、公平.智能運營應用領域M ML LO Op ps s體體系系平平臺臺框架引擎基礎設施數據集市數據中臺模模型型運運營營服務高可用運營監控告警與事件管理成本效益管理.外部數據源實時數據批量數據數據標準管理算法倉庫MLOps體系平臺位于基礎設施、數據

16、中臺、框架引擎之上，支撐AI模型規?；a，賦能下游應用場景2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站MLOps發展歷程斟酌發酵階段（2015-2017）2015年Google首次提出機器學習項目技術債問題，標志著機器學習高效落地問題被明確提出和正視。概念明確階段（2018-2019）MLOps這一概念被提出并逐步接受。2019年提出的CD4ML理念，闡述了機器學習項目如何開展持續交付，并提出端到端的交付流程。落地應用階段（2020年至今）2020年以來，產業焦點集中于AI大規?？焖俾涞?，布局MLOps平臺或工具的需求日益迫切，推動組織數智化轉型成為產業界追逐的

17、目標。來源：Hidden Technical Debt in Machine Learning Systems來源：Gartner2023起for 大模型2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站MLOps for 大模型LMOps(Large Model Operations):MLOps for 大模型，LMOps使大模型通過更加體系化的過程更快獲得更優專有能力，適應更多場景落地。數據調優部署監控私有數據處理提示工程微調強化學習集成部署監控反饋LMOps流程化：數據-調優-交付-運營流水線自動化：自動化流水線和工具鏈持續閉環：模型監控、數據反饋、回流迭代可管

18、理：AI資產管理和協同、資源管理調度靈活協同：與應用、插件、系統、數據庫、軟件高效協同2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站LMOps是MLOps面向大模型的垂類分支隨著大模型的迅速崛起，LMOps作為重要分支為MLOps補充新型能力，共同構筑AI PaaS金融行業新零售智慧城市制造業智慧運營智能化應用AIPaaS.運營商醫療健康MLOps模型測試數據工程模型開發模型集成模型交付LMOps服務部署結果反饋推理溯源數據回流大模型插件平臺能力分布式訓練平臺部署與推理平臺大數據平臺統一鑒權調度執行流量控制存儲管理監控報警數據API模型文件模型ID服務監控模型部署模

19、型推理模型監控模型維護提示工程模型微調遷移學習強化學習模型壓縮安全風險模型安全數據安全服務安全模型魯棒性模型可解釋模型公平性構建集成開發管理模型交付模型運營MLOps模型管理模型安全與風險管理組織結構系統與工具ModelOps需求管理數據工程模型開發平臺與資源管理模型監控與維護模型服務連續性管理配置與變更管理部署發布測試管理配置管理度量反饋LMOps大模型應用運營告警與事件管理度量與分析模型成效管理2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站MLOps+LMOps 助力MaaS服務模式落地MLOps+LMOps共同打造AI模型開發和管理平臺，API、SDK等常用的

20、靈活輸出方式的出現，使工具化、平臺化方式逐漸出圈，為模型即服務模式的落地提供堅實基礎，促進包括大模型在內的模型服務實現落地新范式，未來AI服務將像水電一樣觸手可及模型即服務MaaS基礎設施：算力、模型、數據模型調用、定制、部署、運營AI使用者、開發者、研究者.接口調用軟件服務AI中樞平臺小模型聯動大模型+信息系統系統組件各類模型數據庫.插件 其他.更低成本全面應用更少門檻無感知更多范式AI for everyone未來從常用的接口調用方式，到大小模型聯動、大模型for中樞平臺、大模型for軟件服務等新方式的出現，為滿足應用多樣性需求，模型服務能力急需跟上快速算力零門檻，直接使用MaaS平臺運營

21、模型簡單技術零門檻，直接體驗和享受模型服務靈活模型服務輸出方式多樣，適合各類型使用方定制MaaS以AI PaaS平臺為基礎，提供定制化開發模型即服務（MaaS）以算力、模型倉庫及數據倉庫為基礎，實現簡單、快速、靈活、可定制化的供給模式，形成AI落地新范式01大大模模型型發發展展現現狀狀02大大模模型型對對M ML LO Op ps s帶帶來來的的挑挑戰戰03M ML LO Op ps s發發展展新新路路徑徑04信信通通院院工工作作介介紹紹目目錄錄C Co on nt te en nt t2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站 技術沙龍交流 產業活動峰會 最佳

22、實踐推廣生生態態建建設設 項目咨詢顧問 戰略規劃指導 從業人員培訓 技術公開課程咨咨詢詢服服務務 標準規范市場 評測推動升級標標準準評評測測 落地實踐指南 產業觀察報告 技術工具圖譜產產業業研研究究工作體系2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站構建集成開發管理模型交付模型運營M ML LO Op ps s模型管理模型安全與風險管理組織結構系統與工具M Mo od de el lO Op ps s需求管理數據工程模型開發平臺與資源管理模型監控與維護模型服務連續性管理配置與變更管理部署發布測試管理配置管理度量反饋L LM MO Op ps s大大模模型型運運營營

23、告警與事件管理度量與分析模型成效管理第第一一級級：基基礎礎級級第第二二級級：專專業業級級第第三三級級：領領先先級級第第四四級級：卓卓越越級級第第五五級級：領領航航級級初初步步化化，人人工工方方式式初步開展模型開發、部署、上線等工作規規范范化化，具備模型研發和運營管理體體系系及及規規范范，并依據規范初步形成了數據處理、模型開發、模型部署流水線，具備版版本本控控制制能力系系統統化化，具備包括數據處理、模型開發、模型集成和部署，以及模型持續監控和更新維護的機器學習全鏈路流流水水線線，且流水線支持部部分分自自動動化化執行能力自自動動化化，具備機器學習全鏈路流水線的全全自自動動化化執行能力智智能能化化，

24、支持機器學習流水線部分環節的智智能能化化學學習習和執行能能力力成成熟熟度度等等級級劃劃分分開發管理、模型交付已發布，模型運營、大模型運營標準火熱進行中MLOps系列標準結構2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站開發管理標準（2022.4已發布）聚焦AI開發過程管理，助力流程自動化、體系標準化、資產版本化需求分析測試用例設計Start項目計劃數據收集數據探索數據處理特征工程模型評估與選擇模型構建模型訓練模型交付需求管理1數據工程2模型開發3開發管理標準化流程 需求管理混亂，易造成返工 實驗復現不合預期 團隊協作困難 陷入信息孤島和重復勞動的困境行業痛點 開發流

25、程出現問題不可追溯 模型生產質量無保障 風險不可控2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站模型交付標準（2022.10已發布）聚焦持續交付，打造CI/CD/CT流水線，敏捷交付、快速上線、持續迭代構建管理持續集成1.構建集成持續部署發布管理2.部署發布測試執行測試管理3.模型測試環境與資源變更與版本管理4.配置管理指標與數據質量驅動改進5.度量改進01環境不一致導致模型部署困難02交付過程實時監控和預警能力不足03模型測試不成體系，交付質量無保障04模型交付不可持續，交付周期長模型交付標準化流程行業痛點2023 DevOps 國際峰會 暨 BizDevOps

26、企業峰會 北京站模型運營標準（即將發布）l不同團隊、不同任務的資源分配和管理困難l模型服務能力不可持續l數據漂移、內容漂移l監控、預警不完善l數據反饋鏈路不暢通模型開發模型訓練模型交付行業痛點模型運營標準化過程平臺與資源管理模型監護與維護數據監控業務監控模型監控與維護告警與事件管理度量與分析度量分析行為決策配置與更新管理配置管理變更管理模型服務連續性管理風險管理危機管理應急管理高可用管理成本管理效益管理模型成效管理平臺監控平臺維護資源管理告警管理事件管理聚焦持續監控，注重模型服務的穩定、安全、高質量和業務的體驗、效率、效益2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京

27、站多多模模態態大大模模型型科科學學智智能能大大模模型型任務型多輪次多模態對對話話大大模模型型開放域風控助理營銷金金融融大大模模型型投顧咨詢助手客服電電信信大大模模型型辦理刻畫預測調度交交通通大大模模型型感知能能力力化化語語言言大大模模型型視視覺覺大大模模型型產產業業化化模模型型化化領領域域大大模模型型產產業業大大模模型型基基礎礎大大模模型型模型訓練數據構建模型壓縮基基礎礎設設施施（數據、算力、算法）模模型型訓訓練練與與壓壓縮縮平平臺臺（工具+套件）賦賦能能業業務務 (客服、翻譯、設計、助手)，服服務務行行業業 (金融、電信、交通、制造)工工程程化化L LM MO Op ps s 模模型型應應用

28、用運運營營平平臺臺（工具+套件+插件+接口）提示工程模型微調部署發布資源管理監控維護L LM MO Op ps s使使大大模模型型走走向向應應用用，是是M Ma aa aS S的的平平臺臺化化能能力力之之一一行行業業大大模模型型任任務務大大模模型型大規模預訓練模型技術和產品評估方法 第3部分：模型運營LMOps大模型運營標準（即將發布）2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站信通院MLOps【開發管理/模型交付】能力成熟度評級開放應用成熟度和服務能力兩個評測維度基基礎礎級級增增強強級級旗旗 艦艦 級級專專業業級級領領 先先 級級卓卓 越越 級級領領 航航級級5

29、 5 級級基基礎礎級級4 4 級級3 3 級級2 2 級級1 1 級級面向應用方，圍繞具體的AI模型等項目，客觀地評價企業落地MLOps的技技術術和和管管理理水水平平，橫向對標企業內不同項目間或不同企業間的應用能力現狀，樹立行業實踐標桿，為全方位持續改進AI項目研發運營管理水平提供參考。面向產品服務方，客觀地考察企業MLOps平臺或工具能力，并在此基礎上系統性評估企業提供AI模型等產產品品的的服服務務能能力力，橫向對標企業間的服務能力水平。應應用用成成熟熟度度評評測測服服務務能能力力評評測測12評測介紹2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站工作進展計劃2 2

30、0 02 23 3.5 5大模型運營LMOps標準啟動2 20 02 23 3.3 31 1.M ML LO Op ps s實實踐踐指指南南發發布布會會2.模型運營標準編制啟動2 20 02 23 3.1 12 2MLOps實踐案例評選可可信信A AI I峰峰會會評評測測結結果果發發布布2 20 02 23 3.4 41.MLOps工具圖譜征集活動開展2.MLOps年度第一批評測MLOps工具圖譜MLOps實踐指南（2023）2 20 02 22 2 總總結結1.開開發發管管理理、模模型型交交付付標標準準發發布布2.開發管理首輪試評測結果發布聯聯盟盟評評估估規規范范C CC CS SA A行行業業標標準準送送審審I IT TU U國國際際電電信信聯聯盟盟標標準準立立項項MLOps標準2 20 02 23 3.7 71 1.大大模模型型運運營營LMOps標準發布2.模型運營標準征求意見稿發布3 3.工工具具圖圖譜譜發發布布2 20 02 23 3下下半半年年MLOps和LMOps第二批評測2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站ThanksD De ev vOOp ps s 時時代代社社區區榮譽出品