A8_【專家】大模型商業化場景探索實踐_王仿_16708912.pdf

《A8_【專家】大模型商業化場景探索實踐_王仿_16708912.pdf》由會員分享，可在線閱讀，更多相關《A8_【專家】大模型商業化場景探索實踐_王仿_16708912.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、讓 機 器 像 人 一 樣 思 考北京市海淀區中關村東路1號院9號樓10層No.1 ZHONG GUAN CUN EAST ROAD,H A I DIAN DISTRICT,BEIJING智譜/華東區技術負責人/王仿大模型商業化場景探索實踐CONTENT大模型應用范式01大模型技術的突破和創新大模型應用場景與實踐0203人工智能研究方向人工智能研究方向1.研究目標：使計算機來模擬人的某些思維過程和智能行為（如學習、推理、思考、規劃等）2.研究方法 結構模擬：人腦的結構仿照人腦的結構機制，制造出“類人腦”的機器挑戰：人對大腦的研究還比較淺層 功能模擬：語言撇開人腦的內部結構，而從其功能過程進行模

2、擬。挑戰：機器的通用智能很難青出于藍而勝于藍如何讓計算機理解人類語言語言理解語言理解內容創作內容創作NLUNLUNLGNLG信息表征信息抽取信息壓縮如何讓計算機理解人類語言信息的表征計算機理解字詞，是通過把他們投影到多維向量空間，投影之后保證相似的詞句投影后向量距離相近，達到刻畫現實世界的語義詞義的目的。GPT-1：詞向量的長度是 768GPT-2：詞向量的長度是 1600GPT-3:詞向量的長度是 12888如何讓計算機理解人類語言信息的抽取NLP預訓練模型很核心的一個工作是NLP的特征抽取，特征抽取能力很大程度決定最終模型的效果。NLP三大特征抽取器：CNN/RNN/Transformer

3、RNN-循環神經網絡：信息由前向后在隱層之間逐步向后傳遞，把一個序列的信息壓縮到一個定長向量里。局限：t時刻的狀態依賴t-1時刻的輸入，所以它必須串行進行，不能并行計算。如何讓計算機理解人類語言CNN-卷積神經網絡2014年由Kim最早把CNN引入到NLP領域，輸入的字或詞通過embedding來標識，把一維的字詞序列做成了d*n的二維結構。局限：對遠距離的特征捕獲能力不強。如何讓計算機理解人類語言Transformer17年由谷歌提出，原始論文中transformer是完整的encoder-decoder框架，但是從特征提起的角度講，主要是指encoder部分，decoder也有特征提取的能

4、力，更多的是用來做語言模型。綜合比較三個NLP特征抽取，Transformer在語義抽取、長距離特征捕獲、任務綜合特征抽取以及計算效率上都有比較顯著的提升如何讓計算機理解人類語言信息壓縮的方式有了上面2個能力之后，通過對目標的學習，不斷優化詞句信息壓縮的精準度，目標學習的方法分成AE、AR、Seq2Seq三大的框架以及三者之間的融合。auto-regressive自回歸模型（AR）代表作GPT，是一個從左到右的語言模型。auto-encoding自編碼（AE）代表作Bert，通過Mask LM，訓練雙向文本編碼器，適應于NLU任務，比如文本分類、序列標注，ner等。訓練方法：它首先破壞輸入序列

5、的一些token，通過encoder編碼到潛在空間，然后再解碼（重構）到原始空間。encoder-decoder（seq2seq）代表作T5，使用完整的Transformer框架，將序列從一個domain轉換成另外一個domain的序列。General Language Model（GLM）代表作清華大學的GLM、谷歌UL2。輸入文本通過隨機刪除連續的tokens（AE），順序重建刪除的連續tokens（AR）。多模態大模型多模態大模型VS 傳統CV模型多模態大模型結構圖像理解大模型:深度融合多模態特征數據&訓練：15億張圖文對，預訓練了4096個A100*days，并在構造的視覺定位（vis

6、ual grounding）數據集上進行二階段預訓練。在對齊階段，CogVLM使用了各類公開的問答對和私有數據集進行監督微調，使得模型能回答各種不同類型的提問。視頻理解:深度融合多模態特征架構自研將文本、時間、空間三個維度全部融合起來的 Transformer 架構。數據自研視頻理解模型，針對視頻生成文本描述，構建海量高質量文本-數據，提高模型指令遵從度。算法自研高效的 3D VAE，將原視頻空間壓縮至 2%大小，配合 3D RoPE 位置編碼模塊，更有利于在時間維度上捕捉幀間關系，建立起視頻中的長程依賴。智譜大模型矩陣，全面涵蓋文本、代碼、圖像、視頻大語言-多模態（文本、圖像、視頻、情感語音

7、）-使用工具-自學習CONTENT大模型應用范式01大模型技術的突破和創新多模態大模型應用場景與實踐0203大模型技大模型技術簡介術簡介模型（LLM）介紹Agent大模型場景感知任務規劃.檢索增強（RAG)動態知識庫領域專業知識庫.專屬工具庫電商SaaS系統財務SaaS系統.超級員工AI客服AI財務專員.繼續教育（Finetune）行業流程規范領域特定知識.智譜MaaS平臺，支持國產算力、跨模態的大模型與智能體平臺智能體中心API工具腳本工具知識庫工具平臺內置工具工具調試與管理融合編排框架開箱即用快速編排記憶體Agent管理可視化實時調用API文檔API_KEY管理API集成API調試版本與狀

8、態管理引擎能力全模型調用檢索增強（RAG）工具增強智譜清流智能體開發平臺模型訓推中心語言模型微調（全參、LoRA）訓練數據增強模型部署部署資源池分配服務編排推理&加速運維監控模型管理中心容災降級體系隱私安全保障權限管理應用可觀測性鏡像上傳/管理SFT處理復雜專業任務智譜大模型服務平臺測評中心預覽調試批量測評應用管理模型評測內置評測集自動評測知識中心非結構化知識管理數據表類知識管理音視頻類知識管理文檔轉化pdf版面分析圖文互轉視頻解析富模態文檔解析訓練數據模型評測新一代 MaaS 平臺，三步完成模型微調無需代碼，三步完成微調，支持 GLM-4 全系列模型按 照模 板 收 集并 準 備 數據，然

9、后將其 導入 數 據 集中 以 訓 練模 型Step1 準備訓練數據使 用平 臺 微 調工 具，訓練 您 的 專屬行 業大 模 型Step2 創建微調任務Lo RA 微 調模 型 可 直接 調 用，全 參 微 調模型 請將 訓 練 好的 模 型 部署 到 私 有云 服 務器Step3 部署微調模型無需代碼，三步完成微調零代碼構建 AI 原生應用智能體開發平臺：提供豐富工具支持，零代碼搭建企業 AI 應用零代碼、可視化的智能 體配置支持企業專有知識問答開箱即用 的智能體模版豐富的企 業級第三方插 件成熟的智 能體評測系統靈活快捷 的集成方式WorkFlow 工作流Agent 智能體以動作為節點，

10、通過可視化的拖拉拽工作流編排；需要梳理明確的業務流程、按照既定順序串聯執行任務意圖識別訂酒店信息詢問大模型節點條件判斷節點訂機票信息詢問結果輸出訂酒店插件結果輸出意圖分類對接軟件示例：差旅預訂場景-workflow 實現流程訂機票插件以任務為節點，通過 Multi-Agent 模式，實現 Agent 像人一樣分工協作，多步驟任務拆解，Agent 模式組件會自動判斷工具調用及跳轉邏輯，完成復雜多輪交互場景Agent 1訂機票Agent 2訂酒店調用工具：訂票軟件調用工具：酒店軟件示例：差旅預訂場景-Agent 實現流程支持 2 種智能體應用CONTENT大模型應用范式01大模型技術的突破和創新大

11、模型應用場景與實踐0203案例分享：DR生成影像所見所得所見所得DR影像患者信息影像所見:兩側胸廓對稱，氣管影居中，兩肺紋理增多、紊亂、伴淡片狀模糊影；左下肺野第5前肋似見點結影、邊緣不清；心影大小及形態無異常，膈面光整，雙肋膈角銳利。影像所得:1、慢支伴感染；治療后復查。2、左下肺可疑結節，建議CT助診?；颊咝詣e男，年齡70歲，反復咳嗽一年醫療圖像大模型患者基本信息患者主訴影像所見影像所得+多輪訓練醫院系統上傳影像所見所得數據反饋醫療圖像大模型本身具備較強的圖像理解能力，結合醫療DR影像的專業數據，進行多輪訓練，使醫療圖像大模型具有識別DR影像的專業能力，夠能根據輸入的圖像、患者基礎信息等，

12、生成高質量的所見與所得，輔助醫生進行醫療診斷。案例分享：基于非小細胞癌的分期分型TNM腫瘤分期，是目前國際上通用的一種分期系統。通過T、N、M三項標準，可以判斷腫瘤是屬于早期、中期還是晚期，主要用于新發腫瘤患者，根據原發腫瘤、淋巴結、遠處轉移等情況來綜合判斷腫瘤病情以及分期，進而指導后續的臨床治療。所見所得(CT等)語言大模型-T語言大模型-N語言大模型-MT-診斷結論N-診斷結論M-診斷結論檢查部位:頸部，胸部上腹部檢查設備:GERevolution能譜CT 一 檢查項目:胸部CT平掃:CT平掃(頸部):CT平掃(上腹部)CT 所見:陽性:雙側甲狀腺密度均勻，未見明顯占位征像。喉部未見明顯異

13、常密度影。喉旁軟骨未見明顯破壞征像。咽旁間隙無變狹。雙側頸根部及鎖骨上窩區見 多發結節影，左側為著，部分融合，與血管分界不清。雙側胸廓對稱，兩肺肺紋理清晰，肺紋理分布未見明顯異常，雙肺見多 發大小不等結節影，最大者位于右肺下葉胸膜下，大小約1.7cmX1.1cm，淺 分葉狀，CT所見所得案例分享：試卷智能批改通過多模態模型獲取試卷上固定區域的內容信息As is indicated in the material,we can see that nowadays,a lot of old people get together in some public parks and squares t

14、o dance with loudly music.MSEduGLM1大模型提取出結構/語法錯誤，語句的優點/改進點，整體總結3語法糾錯好詞佳句文章總評.將內容信息傳遞給大模型2評判規則GLM精選教師批改語料模型訓練原始試卷掃描版批注后試卷提取結構化信息4案例分享：華碩電腦AI PC智能助手GLM端側側大模型GLM-Edge系列硬件控制屏幕亮度、藍牙控制、音量調節等個人知識庫學習電腦中的文件，輕松應對提問本地AI搜索通過自然語言快速搜索本地文檔AI識圖迅速識別圖像元素，精準解答圖像內容AI PC智能助手應應用GLM云側側大模型GLM-4GLM-4VCogView-3文檔生成AI輔助潤色、重寫或

15、者創作文本小碩碩知道華碩靈耀、無畏、ProArt系列豆叮知道華碩A豆系列端云協同解決方案端云協同中臺華碩是全球電腦與數位科技領域的領導品牌。踐行“追求無與倫比”的品牌愿景，華碩攜手智譜打造小碩知道、豆叮知道AI PC智能助手創新產品。為用戶帶來全新的智能交互體驗，提高內容創作和商務辦公效率打造華碩第一方入口級AI應用，形成獨有AI功能賣點，提高用戶粘性便捷交互智能問問答效率倍增軟件控制控制微信、飛書等第三方軟件PC用機問答就如何與PC系統交互提供教學長文檔解讀快速提煉總結文檔或大量文本AI聊天與AI對話，詢問新聞資訊、行業動態等AI創作AI繪畫等多模態創作能力難點大模型賦能的智能座艙場景Cha

16、tGLM部署模型CogViewCogVLM車書問答成本高昂車書數據結構復雜，需要人工處理，同時知識和版本更新頻繁交互內容及方式機械化擬人化和口語化程度低，且缺乏對視頻圖像的感知理解后排充電口在什么位置？AI助手后排充電電接口位于三排側圍側圍和后備備箱內部。畫一個五顏六色的小P企業IP形象繪制車書問答給我5歲的女兒生成一個小動物卡通繪本AI助手靈感繪本創作在一個遙遠的森林里，居住著一位金發碧眼的小女孩，她名叫艾拉總是穿著一件鮮艷的紅色裙子。一天，艾拉在森林里迷路了，她遇到了一只會說話的藍色小鳥。車外景物識別AI助手98形象生成準確率%89艙外感知準確率%落地效果前面的路牌標識意思是前方有一個T行

17、路口。前面的路牌告訴我們前方有一個T形路口，您可以選擇左轉，前往觀瀾路，或者右轉前往平湖路.前面的路牌什么意思？AI助手案例分享：小鵬汽車智能座艙AI助手案例分享：新零售案例支持用戶語音或文字記錄每天的飲食類型和分量，收集信息后自動調用內部的熱量計算公式，并自動給出飲食建議，給客戶提供健康飲食方案。小安研發助手:結合內部有豐富的實驗、調研報告等非結構化數據，以大模型、搜索、RAG以及知識圖譜等技術為基礎，構建一套服務于內部新品研發、資料查詢的系統，提升研發效率。小安營養師麥當勞面臨大量顧客案件咨詢和投訴，涉及餐品質量、服務體驗、會員權益等多元化領域。引入智能化技術提升服務效率與準確性，提高顧客

18、滿意度并優化成本。麥當勞智能客服輔助系統高精度、個性化的導購客服機器人服務于線上用戶，支持商品推薦、商品對比，優惠介紹，日常對話等功能，并實現逐步替換線上真人客服。服飾類智能導購客服支持相機、電視、耳機等數碼產品的優惠活動、產品功能、個性化推薦等功能，給客戶提供專業且準確的導購服務。數碼智能導購客服面向一線養殖員，支持口語化咨詢問答關于奶牛的護理、喂養、看病等知識，處理實際中遇到的問題。養殖顧問案例分享：真實場景多模態理解安全作業行為判斷海上三無船只監控掃地機器人攝像頭1.以上分享內容均基于行業交流目的，不涉及任何商業合作背書或銷售意圖；2.文中提及的企業名稱、品牌標識及技術術語僅為客觀描述或假設性引用，其知識產權歸屬原權利人所有；3.本材料中涉及的技術參數、案例描述及行業數據僅代表嘉賓個人/機構觀點，與主辦方立場無關，亦不構成任何形式的商業建議或承諾。北京市海淀區中關村東路1號院9號樓10層版權所有 北京智譜華章科技有限公司 2024No.1 ZHONGGUANCUN EAST ROAD,HAIDIAN DISTRICT,BEIJING讓 機 器 像 人 一 樣 思 考