李夕瑞-騰訊Angel大模型一站式平臺工程實踐.pdf

《李夕瑞-騰訊Angel大模型一站式平臺工程實踐.pdf》由會員分享，可在線閱讀，更多相關《李夕瑞-騰訊Angel大模型一站式平臺工程實踐.pdf（46頁珍藏版）》請在三個皮匠報告上搜索。

1、李夕瑞 騰訊Angel機器學習平臺專家工程師騰訊Angel機器學習平臺專家工程師，多年專注于AI工程領域，目前負責Angel大模型一站式平臺的架構設計與開發工作，支持騰訊混元大模型、騰訊廣告等模型研發、應用場景。演講主題：騰訊Angel大模型一站式平臺工程實踐騰訊Angel大模型一站式平臺工程實踐李李夕夕瑞瑞騰訊Angel機器學習平臺專家工程師，Angel大模型一站式平臺負責人，10年+機器學習平臺研發經驗，支持騰訊混元大模型研發、騰訊各產品業務應用混元。騰訊混元大模型產品應用情況Angel機器學習平臺構建AI基礎設施底座混元一站式平臺 LLMOps 實踐騰訊混元大模型之路做創新的長期主義者兼

2、顧實用和創新2020-2022推出百億/千億廣告推薦大模型2023.04混元一站式推出業務精調服務始終堅持把創新成果及時對齊業務需求2021-2022發布萬億混元NLP大模型登頂各大權威榜單，始終處于模型算法探索的最前沿2023.05廣告、會議、文檔等頭部業務接入混元一站式2024.1混元升級高性能MOE模型突破規模和性能的天花板，應對資源緊張成本高企等挑戰2024.82024年Q3 發布更快更強更高混元turbo在SuperCLUE中文大模型評測榜單獲國內第一 2023.09混元大模型對外發布混元一站式面向業務全面開放2024.6混元多模態MOE模型發布在SuperCLUE-V中文多模態大模

3、型基準8月榜單騰訊混元獲國內第一2024.11混元開源內部同宗同源，業界最大、最好 MOE大模型-混元 Large混元大模型騰訊產品應用情況混混元元已已接接入入7 70 00 0+司司內內業業務務，實實現現技技術術與與應應用用同同行行典型業務案例-搜狗輸入法智能創作搜搜狗狗輸輸入入法法 -智智能能創創作作助助手手A AI I幫幫寫寫提升聊天、朋友圈文案等社媒寫作能力A AI I汪汪仔仔創創意意轉轉化化為為影影響響力力:支持在小紅書、大眾點評、朋友圈等 20 多個場景。聊聊天天高高情情商商：一鍵提升溝通魅力，支持節日祝福、請假條、祝酒辭等 100+個意圖。智智能能問問題題生生成成：無限聯想，迸發

4、思維火花，目前支持 2-15 個字的輸入（隨意輸入）騰訊旗下SaaS協作產品全面接入混元騰訊文檔企業微信智能助手騰訊會議全品類文檔生成跨品類信息處理“一句話”指令，即可開啟智能辦公 和高效創作騰訊問卷騰訊電子簽騰訊樂享騰訊云AI代碼助手AI小助手智能錄制實時字幕 翻譯讓討論更沉浸，讓會議更高效小助手已接入騰訊混元大模型提升產品體驗和服務效率郵件內容創作、翻譯等典型業務案例-騰訊文檔文本創作案案例例：騰騰訊訊文文檔檔A AI I智智能能助助手手騰騰訊訊文文檔檔智智能能助助手手：在騰訊文檔的doc、表格等各品類中，通過AI提高用戶創作效率，提升創作體驗文文檔檔創創作作文文本本編編輯輯表表格格公公式

5、式生生成成支持自然語言生成250+內置函數遵循用戶指令，進行各種場景的文本創作對已有內容進行續寫、潤色、校閱、翻譯和總結典型業務案例-騰訊文檔文本創作典型業務案例-騰訊會議長文理解案案例例效效果果：騰騰訊訊會會議議A AI I小小助助手手騰騰訊訊會會議議A AI I小小助助手手：是為會議設計的機器人，可在會議前、中、后幫助用戶處理問題和指令，旨在簡化會議操作并提高會議效率。會會控控入入口口理解用戶指令，與會議API交互會會議議總總結結幫助用戶高效獲取會議內容會會議議問問答答快速精準獲取答案關關聯聯問問題題推推薦薦更好了解會議關聯信息典型業務案例-騰訊會議長文理解典型業務案例-微信讀書RAG+摘

6、要總結AI大綱AI問書 微微信信讀讀書書典型業務案例-廣告創意生成混元加持AI搜索能力，解鎖深度搜索和分析能力高質量時新搜索提供引文讓答案可信可溯源，引文數量多、時間新、信源好全面掌握相關資訊，并快速提取要點，迅速定位信息源延伸閱讀學習體驗輕松拿捏專業文獻圖文表格資料通過延伸閱讀滿足用戶對周邊信息的獲取需求，關聯問題引導追問閱讀學習無縫銜接騰騰訊訊元元寶寶 -A AI I搜搜索索角色對話、劇情互動、劇照cos 探索更多智能體玩法智智能能體體應應用用元寶AI角色對話成為騰訊視頻劇集宣發新亮點，不僅實現風格對話，兼具強大的擬人感、記憶感知、情感風格長相思AI角色對話總熱度近2億，“相柳”單角色熱度

7、1.7億，人均對話prompt數167.3；隨劇情播出，元寶快速上線衍生角色“毛球”，對話率超90%，小鳥角色+音色產生社媒自傳播本次合作獲新華社、21財經等主流媒體高度評價和官方權威報道，充分肯定了AI在開拓文化新賽道方面的創新方向；審核提效、代碼助手、知識問答 不斷解鎖更多場景信安審核引入混元提升多個場景的機器審核效率和提升機審準確率，切實降本增效智能客服支持客服多輪對話，微信支付、騰訊游戲等客服場景落地為人工客服提供推薦話術、歷史工單摘要等支持代碼助手補全：支持主流5大語言生成、采納，覆蓋司內大部分開發者AI CR：滲透近半代碼評審用戶持續提升的模型效果建立在全棧自主可控的能力上Ange

8、l大模型框架整體技術架構分布式訓練引擎多維并行通信拓撲感知模型訓練混合精度分布式推理引擎量化算子優化模型推理壓縮天河服務器星脈網絡 GPUAI芯片預訓練大模型算法Angel大模型框架GPU算力SFT精調PPO強化學習文生文文生圖圖生文多模態高性能統一視角的顯存管理與緩存5D多維并行與算子優化Angel大模型平臺關鍵技術創新大規模GPU通信拓撲感知親和性優化計算通信流水線與低精度量化低成本大BatchSize提升MFU大模型壓縮技術高性能：整體訓練性能是業界開源框架的2.6倍，推理是業界2.3倍框框架架模模型型容容量量（G GP PT T）千千億億模模型型訓訓練練時時長長D De ee ep p

9、S Sp pe ee ed d (微微軟軟)2 28 8B B4 40 0天天A An ng ge el l (本本項項目目)5 55 5B B1 15 5天天拓撲感知降低通信占比，多機多卡線性加速比顯存+主存統一編址，增加單機容量性能比微軟開源DeepSpeed提升2.6倍 剪枝量化蒸餾大模型壓縮國產芯片GPU異構硬件適配大規模之GPU通信拓撲感知親和性優化技術結果：負載均衡技術和通訊庫優化，帶寬利用率提升，通信開銷下降80%優選后通信路徑優選前通信路徑結果：提高通信效率，性能較NV NCCL提升11%在任務分配時選擇一、二層交換機下的GPU卡，并針對多機路由和收發包調度做優化，TP以及DP

10、走最優網絡路徑，PP通信次之挑戰：隨著卡規模增加，節點間網絡通信量增加，耗時開銷變得顯著GPU拓撲感知路由與星脈網絡聯動，將allReduce、all2all等通信的GPU卡分組信息，透傳給星脈網絡TCCL層，通信時選擇最佳路由GPU親和性調度大規模：單個訓練任務突破萬卡規模，多機多卡加速比99%萬卡加速比99%，線性擴展斷點續訓自動容錯全方位監控，平臺自動調度Angel模型平臺訓練吞吐高性能之統一視角的顯存管理與緩存技術挑戰：低端GPU顯存只40/80G，大模型存儲有瓶頸顯存統一視角管理GPU顯存與系統主存統一編址管理，計算單元統一訪問，根據模型網絡layer預取，擴大顯存容量80G80G8

11、0G80G2TRAM80G80G80G80G+=計算單元模型算子之間的顯存共享避免重復申請，前序tokens生成支持Paged&Prefix KV-Cache提升顯存利用率顯存共享與緩存結果：顯存優化，吞吐120qpm優化到160qpm，提升30%(70BMOE，8節點)結果：模型存儲容量增加1x倍，低端卡也可訓練TB模型低成本之大模型壓縮技術挑戰：模型達到一定程度需要進行多卡、多機部署，帶來高成本量化壓縮通過量化壓縮，保障同等參數規模下，降低模型部署成本蒸餾小型化通過蒸餾降低模型本身的體量，小型化權重量化權重+激活量化W8A16/W4A16W8/A8Feature蒸餾數據蒸餾優先數據蒸餾，壓

12、低feature蒸餾結果：推理部署成本下降70+%混元一站式平臺服務騰訊所有 AIGC 業務場景LLMOps一站式平臺，模型研發高效迭代、業務落地簡單易用LLMOps核心模塊-業務接入方案輕量通用開箱即用資源消耗低算法支撐場景定制安全要求高混元Open API模型精調Agent搭建業業務務場場景景接接入入方方案案復雜場景任務設計能力邊界拓展Open API API能力布局和使用流程 超長上下文moe模型最大輸入256k，輸出6k混元 lite推理性能、成本更低，在某些垂直場景效果領先萬億級參數規模moe模型中文效果最優適用于效果要求高的場景32k上下文窗口混元-turbo模型，混合專家模型訓練

13、中文效果最優,大海撈針指標99.9%混元-standard 最大輸入30k，輸出2k同時，提供豐富的api模型能力，根據不同場景服務業務，已生文為例混元生文混元多模態混元生圖基于自然語言對話的方式，可結合輸入的文本輸出相關文本內容，可在文本生成、創作、問答等場景服務各類行業混元最新多模態模型，支持在對話中輸入圖片生成文本：包括圖片理解、圖片創作、多輪對話、分析推理等能力?；诨煸纳鷪D大模型，具備強大的中文理解與圖像生成能力，可結合輸入的文本描述智能繪制出精美圖像。Open API 申領限流及prompt工程Api申請流程、調用統計、限流、提頻等全流程配套能力prompt模板管理prompt調

14、優Prompt評測prompt應用模板管理管理，支持 各類prompt開箱即用，精細化運營支持使用專屬調優模型進行prompt調優支持單條/批量的prompt評估流程將調優好的prompt進行快速應用Prompt工程API 全流程能力模型精調 支持平臺訓推框架，提供一站式精調流程精調：千億模型精調資源比開源DeepSpeed減少一半。吞吐比開源 FasterTransformer提升1.3倍，混元千億模型推理成本打平 ChatGPT3.5-turbo刊例價；訓練推理框架精調流程算力AngelPTM 訓練框架數據管理模型部署模型精調模型評估太極混元一站式平臺會議文檔業務應用廣告微信云AngelH

15、CF推理框架統一GPU資源管理調度模型庫支持統一公司算力資源，統一管理調度，協助業務落地太極一站式研發平臺，數據管理、模型精調、模型部署、agent應用等全流程能力全面落地業務場景，服務業務模型精調模型庫，各尺寸、各領域模型，體驗服務小模型、垂直領域、行業大模型的深入挖掘各size模型提供各類size的模型支持業務快速上線模型體驗垂直領域模型金融fit大模型、醫療大模型、財經大模型、翻譯等文生文、文生圖、圖生文等全模型體驗支持模型快速體驗深入各類行業大模型快速服務業務落地模型精調 數據管理套件數據抓取構造能力平臺提供一整套數據構造的解決方案，輕松解決上述問題。數據處理支持數據清洗、去重、打標等

16、相關數據處理能力，幫助用戶快速優化sft訓練數據質量三大數據能力數據倉庫數據構造模型精調 精調任務模板化軟硬結合的高效訓練方法大模型通信占比大幅下降80%端到端訓練性能超過業界開源框架2.6倍顯存+主存統一編址單機模型容量增加1x倍自研訓練框架AngelPTM，性能是業界開源框架 2.6 倍模型類型：一站式所有模型包括文生文、文生圖、圖生文等精調方式：全參、lora、dpo等資源類型：各類異構卡、包括如l40、h20、紫霄等指標分析：支持各類指標快速分析查看訓練結果多模型多類型的精調訓練模型精調 模型服務部署、評測、生產運營編譯器優化量化異構卡部署服務部署能力日志監控擴縮容線上灰度服務運營能力

17、人工打標自動化評測服務調優評測能力Agent搭建 混元Agent介紹內容參考來源：騰訊研究院.AI Agent，為什么是AIGC最后的殺手锏？Lilian-OpenAI AI 安全團隊leaer.LLM Powered Autonomous Agents以大語言模型為大腦驅動，具有自主理解感知、規劃、記憶和使用工具的能力，能自動化執行完成復雜任務的系統什么是大模型Agent應用？我們為什么需要大模型Agent應用？用于解決模型本身無法解決的業務場景需求Agent搭建 Agent框架資源算力與存儲資源混元一站式業務混元模型庫TEG混元助手、工蜂CDG騰訊廣告、FiTWXG搜一搜、企微PCG騰訊文

18、檔、QQIEG騰訊游戲、NPCCSIG騰訊云、騰訊會議Agent搭建模型開發數據管理（訓練數據抓取/管理）模型訓練(Full_Finetune/LoRA/DPO/RLHF)模型評測(在線調試/多人眾評)模型服務（模型部署/推理量化）插件管理搜索增強混元Embedding索引自定義插件網址解析實用工具安全審核代碼插件混元Agent模板庫混元Agent搭建場景應用Demo能力使用Demo角色扮演Demo智能問答Agent自定義流程編排角色扮演Agent混元Embedding服務向量計算任務EMB索引BM25檢索Agent搭建-端到端解決方案基于小程序編程助手運行邏輯模型效果問題 多輪改寫錯誤 問題

19、分類結果錯誤 兜底結果不符合預期 大模型潤色內容缺失知識庫檢索問題 正確結果未召回/漏召回 召回結果排序太靠后 召回結果重復 召回結果觀點沖突其它問題 工程鏈路問題 自定義插件問題 參數傳遞問題Agent搭建 知識庫索引效果優化+模型精調深度定制多路檢索召回索引數據準備索引服務構建Agent應用模型精調訓練Agent搭建 工作流編排、Functioncall、插件內容解析20+平臺基礎插件，為解決業務實際問題而搭建安全審核搜索增強實用工具文生圖音樂生成日期查詢TTS音色插件TTS語音播報參數配置-可見可控插件功能詳細描述，輸入輸出參數及可配置參數可見可配置意圖識別多輪對話路由規劃Function CallRAGLLM服務編排-拖拽使用自定義服務編排，以拖拽的方式在畫板上自由編排實現業務邏輯感謝聆聽！