騰訊云MaaS升級引領”效能革命“.pdf

《騰訊云MaaS升級引領”效能革命“.pdf》由會員分享，可在線閱讀，更多相關《騰訊云MaaS升級引領”效能革命“.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、騰訊云MaaS升級引領“效能革命”主講人：吳運聲騰訊云副總裁、騰訊云智能負責人、優圖實驗室負責人從“量變”到“質變”，AI進入“大模型”時代模型能應用于不同的數據集或任務解決多個任務的能力通用性模型在從未見過的數據上能表現出良好的性能能力對新數據的適應能力泛化性模型能以合理的時間和資源快速處理數據并做出決策應用時的可用性和效率實用性專家系統 1968知識表征 1974XCON 1980支持向量1995語義網絡線路圖 1998AlexNet 2012ResNet 2015聯邦學習2016Transformer 2017GPT3NLP神經網絡 2013算力瓶頸1990計算機視覺 1976深度學習2

2、006條件隨機場 2001GPT-4圖神經網絡 2005BERT2018BP算法1986AlphaFold2AI進入“大模型”時代達特茅斯會議1956年8月發起，提出了“人工智能”這一名詞，匯集了一批日后AI領域最重要的學者感知機 1957ChatGPT達特茅斯會議1956深藍擊敗卡斯帕羅1995AlphaGo戰勝李世石 2016AI大模型帶來新機遇，加速云智一體，助力業務全鏈路智能設計/研發生產/制造營銷服務企業創新每個環節都可能找到創新空間，實現降本增效員工提效人人都能驅動AI實現創新國內大模型“百花齊放”，產業落地已過“嘗鮮期”圖片生成聊天對話文案創作視頻生成商業客服廣告營銷購物推薦文檔

3、摘要文本翻譯文字識別旅行攻略更多場景產業落地實效成大模型價值重要評估維度我國10億參數規模以上的大模型已發布79個智能調度運行監測模擬預測交通研發設計生產制造管理服務工業客戶服務風險管理分析決策金融自動監測報警診斷運維管理能源媒資管理內容生產媒體傳播傳媒流程管理決策支持社會保障政務大模型催生“效率革命”，為產業提質增效效率更“高”助力生產、經營、管理重塑業務模式場景更“廣”百行千模滿足更多行業需求應用更“深”大模型+AI原生應用推動業務全鏈條智能能力更“強”專業知識+推理能力特定領域表現及適應性騰訊云MaaS持續升級，加速大模型產業落地智能創作智能檢索（跨模態）智能文檔管理智能客服分析營銷場景

4、MaaS行業大模型精調解決方案客戶專屬大模型TI-OCR訓練平臺TI-AOI訓練平臺細分領域模型訓練平臺媒體AI中臺智能視頻分析平臺智能圖像創作平臺應用平臺企點客服企點分析營銷AI語音助手智能應用數智人AI繪畫TI平臺平臺&工具TI-DataTruth數據標注平臺TI-ONE 訓練平臺TI-Matrix應用平臺Angel機器學習框架技術底座行業大模型行業大模型開放生態金融大模型政務大模型文旅大模型傳媒大模型教育大模型模型底座騰訊混元大模型基礎設施高性能計算集群HCC高性能網絡：自研星脈計算網絡架構向量數據庫三大升級，騰訊云MaaS引領“效能革命”技術底座升級自研混元大模型，同時支持20+主流開

5、源模型，提供從一億到千億不同規模的模型，更豐富的模型能力平臺能力升級升級大模型訓練、精調工具鏈，覆蓋大模型開發全生命周期，支持一鍵部署，支持更高的加速比智能應用升級騰訊內部廣泛的PaaS、SaaS產品實踐，驗證模型可用性、易用性，提升用戶體驗，助力生產提效技術底座升級能力更強，模型選擇更多元客戶可直接在騰訊云通過前端交互和API調用體驗以混元作為基底模型，直接在公有云精調支持SFT和LoRA兩種精調模式自研騰訊混元大模型，構筑騰訊云MaaS堅實底座全面接入主流開源模型，提供更豐富模型選擇騰訊云TI平臺Llama 2VicunaFalconBloomDollyAlpaca一鍵部署服務調用快速測試

6、模型能力低代碼精調模型篩精選模型抓核心功能開源模型一鍵部署，快速測試，助力選型大模型網頁問答 測試開源大模型效果在線體驗內置推理模板 一鍵調用落地模型服務API 接口調用一鍵問答快速選型調用落地業務API一鍵精調，業務適配，助力優化大模型1.一鍵啟動默認配置 啟動精調任務2.訓練監控實時監測訓練指標 資源利用率3.任務管理管理任務版本 記錄超參快照4.模型發布記錄模型中間結果 挑選最佳指標模型部署多機多卡斷點續訓模型迭代持續優化平臺能力升級更完善的工具鏈TI平臺工具鏈升級，覆蓋大模型開發、應用全生命周期大模型開發大模型精調一鍵調用：20多個主流開源及自研大模型低代碼部署體驗新調試開發：基于no

7、tebook快速啟動模型精調標注訓練調試部署調用數據集管理數據標注能力數據中心內置訓練加速接入高性能文件存儲：訓練工坊全新升級Angel訓練框架加速能力，性能提升30%百GB每秒帶寬大幅提升訓練速度大模型指標監控：遠程調試：豐富的資源指標監控及告警，覆蓋網絡及GPU算力實時調試分布式運行任務，大幅提升建模效率內置推理加速：全新升級Angel推理加速能力，加速比可達2倍大模型調用：統一的大模型調用API及體驗工具，大幅縮短業務接入大模型能力周期模型部署資產和資源管理模型管理管理模型的存儲路徑、元信息將模型轉換為支持推理加速的優化后模型，支持多種模型格式資源組管理升級高性能計算節點：接入HCC高性

8、能計算節點及星脈高性能計算網絡升級升級騰訊云TI平臺行業大模型精調解決方案行業大模型企業專屬大模型訓練加速推理加速預處理完成的數據模型壓縮模型測試模型注冊模型發布訓練任務提交數據載入算法調試模型載入企業數據精調加速能力升級，支持更多模型、實現更高加速比1.異步調度優化CPU&GPU異步調用提高吞吐2.顯存優化緩存定長+池化，提升參數支持規模3.計算優化Attention及MLP Block塊算子融合優化AddLayernormTensorQ GemmK GemmV GemmFusedAddNormFusedBatchGemm行業方案Bloom7B8.9 example/s19.1 exampl

9、e/s太級Angel加速比:2.14ChatGLM33.3 example/s太級Angel加速比:1.719.8 example/s行業方案Llama 266.8 example/s太級Angel加速比:1.448.6 example/s行業方案訓練加速效果對比推理加速效果對比行業方案Bloom7B17.7example/s12.9 example/s太級Angel加速比:1.37ChatGLM12.5 example/s太級Angel加速比:2.430 example/s行業方案Llama 226 example/s太級Angel加速比:1.7746 example/s行業方案智能應用升級

10、更豐富的落地產品騰訊云MaaS內部實踐，重塑PaaS/SaaS產品AI大模型智能應用TI-OCR訓練平臺復雜場景下OCR效果大幅提升支持Zero-shot&Few-shot具備閱讀理解和推理能力解決傳統識別痛點難點AI繪畫智能文生圖+圖生圖單圖生成性能優異，接口耗時僅為業內一半支持25+生成風格自研算法模型、中文適配性強、配置靈活車載助手文案創作優質的文案內容、中文適配性強高效穩定的服務、全面的場景覆蓋企點分析AI助手對話式分析、輔助更新配置智能結論提取、一鍵報告生成企點客服數智人“通用口型”版小樣本數智人，1小時內獲取分身“交互式”小樣本數智人，升級支持“傾聽等待狀態”交互對話更自然“智能驅

11、動”3D數智人，快速批量打造，同時基于語義智能匹配動作，提升運營效率更高效更自然更智能管理端企業知識管理一站式服務復雜文檔精準解析、高效校驗用戶端復雜知識問答全面覆蓋，大幅提升解決率更自然對話能力、智能手冊能力、行程規劃能力、場景化任務編排、通用知識問答能力多輪業務辦理靈活應對，聊天式解決問題方案價值落地案例：閱文集團推理和加速性能提供高性能穩定計算節點及推理加速能力，推理性能提升30%文生圖/圖生圖，大模型文生文推理部署降本增效客戶訴求算法和工程團隊精力有限，模型數量多迭代快自行搭建推理集群和服務平臺，模型更新復雜降低維護難度推理成本高昂，推理速度已達瓶頸千百億級別模型推理部署，推理吞吐和時

12、延存在瓶頸降低推理成本高效大模型部署和服務接入提供動態batch和自動服務調度機制，大幅提高服務吞吐量模型優化和部署模塊一鍵加速和發布模型，支持模型推理加速的過程中動態加載不同的LoRA模型產品示例模型文件上傳文件存儲,導入模型1.進行模型優化2.部署模型3.方案價值落地案例：某文旅客戶任務完成率提升在無多輪畫布增加的前提下，突破效果天花板無需配置對話流程，大模型端到端解決業務問題客戶訴求運營人力有限,人工配置成本高人工有限,期望知識庫運營上手簡單,低成本投入極低配置涉及訂單等接口場景,對機器人任務要求高復雜業務場景,無配置情況下無法通過機器人閉環解決問題精準解答聚焦場景是酒店業務，包括酒店的

13、查詢、預定、修改和取消，后期逐步覆蓋機票、旅游等全棧場景對話構建成本降低自動判斷意圖和識別槽位，生成相應的API并自動調用，基于API的返回，自動生成擬人化的回復話術產品示例接口信息配置酒店的查詢、預定、修改和取消1.輸出樣式配置圖文模版、氣泡列表2.對話體驗3.方案價值落地案例：某科技公司訓練性能提供高性能算力集群及訓練加速能力，訓練性能提升40%在自動駕駛領域，完成2D感知和3D感知類建模任務客戶訴求算法團隊精力有限,模型迭代節奏快自行搭建大規模建模平臺，需關注底層算力、存儲提升模型產出效率算力資源有限，訓練速度已達瓶頸基于TB級數據進行多機多卡訓練，訓練速度存在瓶頸提升訓練速度輕量化運維

14、和接入平臺打通高性能分布式文件存儲和高性能計算節點，內置高性能分布式訓練框架，算法人員一鍵提交訓練任務提供自動任務調度及資源隔離機制，大幅提升算力資源利用率產品示例數據代碼上傳文件存儲1.新建notebook調試節點2.tikit提交多機多卡任務3.方案價值落地案例：某稅務部門稅務領域的知識專家從知識采集到知識運營實現智能化升級，大大擴展稅務領域的知識邊界，領域內的問題答有所依大模型客服，服務于內部稅務人員進行業務咨詢客戶訴求傳統智能客服知識受制于知識邊界，問題攔截率覆蓋率低不在知識庫的問題無法回復或答非所問擴展問答邊界更新知識依賴人工持續梳理問答對政策法規、辦事指南持續迭代，需不斷投入人力梳

15、理自動更新知識緊跟法規、指南的稅務助手提供動態batch和自動服務調度機制，大幅提高服務吞吐量模型優化和部署模塊一鍵加速和發布模型，支持模型推理加速的過程中動態加載不同的LoRA模型產品示例直接導入法律法規、辦事指南文檔1.后臺自動化訓練，自動抽取問答對，自動匹配行業模型校驗2.SaaS或API調用3.信通院X騰訊云：行業大模型標準體系及能力架構行業需求分析與資源評估需求評估算力評估算法評估數據評估工程評估明確場景目標模型選擇訓練環境搭建數據處理模型訓練共建模型精調模型評估模型重訓優化模型聯調部署模型應用運營應用場景模型開發模型能力模型運營模型應用安全可信金融大模型標準電信大模型標準文旅大模型標準教育大模型標準政務大模型標準工業大模型標準傳媒大模型標準汽車大模型標準行業數據與模型共建模型精調與優化部署THANKS謝謝觀看