張帆-大模型的企業級應用探索與實踐.pdf

《張帆-大模型的企業級應用探索與實踐.pdf》由會員分享，可在線閱讀，更多相關《張帆-大模型的企業級應用探索與實踐.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、大模型的企業級應用探索與實踐張帆/智譜AI COO大模型開啟新紀元，企業需要快速搭上時代列車l電話手機網站iTunesTwitterWhatsAppinstagramApple StoreTikTokChatGPT2個月9個月2年2.5年3.5年5.5年6.5年7年16年75年ChatGPT 發布 2 個月用戶破億l越來越多的企業將AI 及大模型引入業務生產環節 Gartner“2024 年 1 月，在生產中接入生成式 AI 或大模型的企業達到 21%，到 2026 年，超過 80%的企業都會接入生成式 AI 或大模型?！薄暗?030年前，它有望為全球經濟貢獻7萬億美元的價值，中國進一步釋放生

2、成式AI總效益的1/3”麥肯錫增長效益基礎效益相當于小型國家的年度GDP2萬億美元4萬億美元43%43%38%52%28%1%營銷代碼生成會話知識管理設計無有99%中國企業認為AIGC 適用于自己公司應用場景 IDC新 一 代 認 知 智 能 大 模 型Foundation ModelAlgoAI 2.0TransformerModelModelAlgoModelAI 1.0大模型帶領AI進入2.0時代TaskModelDataSetAlgoModelAlgoModelAlgoModelAI 0.5Neural Network智譜AI的大模型矩陣，全面涵蓋文本、代碼、圖像、視頻CodeGeeX

3、 系列多編程語言代碼生成大模型。每天幫程序員編寫2000 萬行代碼。CodeGeeX4-ALL-9BCodeGeeX4代碼大模型多模態大模型經過大規模預訓練，能理解圖片/視頻屬性、場景和畫面風格，可生成多種類型的高質量圖片和視頻。最新升級GLM-4V-Plus多模態理解CogVLM2開源多模態CogView-3-Plus文生圖CogVideoX最新視頻生成最新開源語言大模型從端側模型、小模型到千億級參數模型，GLM系列模型持續發展，從GLM-130B 到 GLM-4 All Tools，基于技術突破、效率提升和成本控制，第四代GLM系列模型全新升級，GLM-4-Flash免費調用。GLM-4-

4、Plus 是智譜全自研 GLM 大模型的最新版本。ChatGLM3-3B端側模型GLM-4-9B最新開源GLM-4-Air高性價比GLM-4-Flash免費調用ChatGLM3-1.5B端側模型GLM-4-0520性能強大支持各種場景的個性化角色扮演，具備人設如一、情感共情、超長記憶等特點。超擬人大模型角色扮演CharGLM-3Emohaa心理陪伴GLM-4-Plus最新旗艦媲美GPT-4o的最新基座模型，更進一步的多模態理解模型最新發布的GLM-4-Plus 基座模型，通過多種方式構造出了海量高質量數據，并利用 PPO等多項技術，有效提升了模型推理、指令遵循等方面的表現，并能夠更好地反映人類

5、偏好。GLM-4V-Plus 具備【視頻總結】+【推理能力】+【多輪對話】+【時間問答能力】+【視頻修改】能力，能夠理解并分析復雜的視頻內容，同時具備時間感知能力，能進行對視頻特定時刻的畫面進行問答。GLM-4V-Plus：國內首個通用視頻理解模型 API孫悟空。這個視頻中出現的是什么人物角色？在視頻中，孫悟空站在一個充滿云霧的神秘場景中。他身穿華麗的盔甲，拿出一根金箍棒，似乎正在與云霧中的巨大敵人準備戰斗。他的表情嚴肅而專注，似乎在思考著什么重要的問題。他在這個視頻中做了什么？GLM-4-Plus：各項指標與 GPT-4o 等第一梯隊模型持平GLM-4V-Plus場景示例視頻以一幅寧靜的山景

6、開場，秋葉裝點著樹木，一條蜿蜒的道路通往積雪覆蓋的山峰，在清澈的藍天之下，仿佛在邀請人們去探索。隨著畫面轉換，我們看到一條標有斑馬線的道路，周圍是金黃色的秋樹和積雪覆蓋的山脈，在晴朗的天空下，呈現出一種寧靜、未受破壞的環境。接著，畫面展示了一條通往黃色建筑的道路，秋樹和積雪覆蓋的山脈增強了這種寧靜、孤立的氛圍。隨后，畫面切換到一條穿過山谷的道路，一側是秋葉和常綠樹，遠處是鋸齒狀的山脈。最后，畫面聚焦于一條通往積雪覆蓋的山脈的道路，秋樹和光禿禿的樹木排列在道路兩旁，在晴朗的天空下，強調了這種寧靜和未受破壞的自然美。請描述下視頻中的內容，形成一段文字優美的游記。是的，在視頻中可以看到工人在搬運東西

7、時，有片刻時間他沒有戴安全帽。此外，在其中一個場景中，工人沒有戴安全帽時，他的背部對著鏡頭。視頻中是否出現了可能的安全違規行為？沒戴安全帽的情況出現在視頻的第5秒。沒戴安全帽的情況出現在視頻中第幾秒？視頻游記創作安全生產監管GLM-4V-Plus場景示例 圖中人數：1 吧臺內戴帽子的員工數 1 員工用手機：否 判斷原因：員工正忙于操作機器和準備飲品，沒有使用手機仔細觀察該圖片，數出圖中人數，戴帽子的員工數，員工是否使用手機，判斷是否使用手機的原因 圖中的桌面數:1 桌面物品:桌上有1杯飲料 桌面整潔：否 判斷原因：因為桌上有飲料瓶子仔細觀察該圖片，數出圖中桌面數，桌面有什么物品，桌面是否整潔，

8、判斷桌面是否整潔的原因零售門店監測叔叔的職業是什么西二旗在哪條線上手繪圖像理解白板上的內容是什么強大的端側多模態理解能力可商用的視頻生成模型 CogVideoXCogVideoX 具備強大的視頻生成能力，支持多種生成方式，包括文本生成視頻、圖片生成視頻，可應用于廣告制作、電影剪輯、短視頻制作等領域。人人可用發布Day1對所有用戶全面開放 強大極速6s視頻生成速度最快只需30s 高效指令遵循可處理超長且復雜的Prompt指令多模態輸入輸出支持多種創作需求文生視頻輸入：油畫風格，美麗的少女側顏，光透過樹形成斑駁的影子，柔光落在她臉上圖生視頻輸入：小丑魚圍繞著珊瑚游蕩，水里面的氣泡向上浮動，水下搖晃

9、的鏡頭模型CogVideoXPikaGen-2Open-Sora V1.2Human Action96.8 88.0 89.2 85.8 Scene55.44 44.80 48.91 42.47 Dynamic Degree62.22 37.22 18.89 47.22 Multiple Objects70.95 46.69 55.47 58.41 Appearance Style24.44 21.89 19.43 23.89 Dynamic Quality69.5 52.1 43.6 63.7 GPT-4o MT Score3.36 2.48 2.62 2.52 CogVideoX在開源視頻

10、模型中性能表現優異CogVideoX 讓藝術經典煥發新生支持多種類型的AI繪圖創作 CogView-3-Plus智譜AI 在業界率先推出 Transformer 架構的文本-圖像生成模型 CogView，適用多種圖像生成和增強任務。最新發布的CogView-3-Plus，效果與目前處于一線水平的 MJ-V6 和 FLUX 等模型持平。一張新鮮烘焙的可頌特寫圖片，可頌擁有金黃色的酥脆外皮和柔軟分層的內部，放置在鄉村風格的木質桌面背景上?？身炛車鲋恍┨欠?，旁邊是一小杯冒著熱氣的咖啡。一只巨大的機械蜘蛛，眼睛發光，齒輪復雜，在月光下高聳的摩天大樓之間編織著閃耀的銀色蛛網。高清畫質營銷素材生成高清

11、畫質創意內容生成新 一 代 認 知 智 能 大 模 型智譜新一代 MaaS 平臺，快速創建大模型應用打造大模型流水線，高效開發應用支持智譜全系列全模態大模型豐富的工程節點批量測試和評測工具開箱即用，提供豐富插件及模版API、SDK等多種方式集成業務新 一 代 認 知 智 能 大 模 型智譜新一代 MaaS 平臺，三步完成模型微調無需代碼，三步完成微調，支持 GLM-4 全系列模型按照模板收集并準備數據，然后將其導入數據集中以訓練模型Step1 準備訓練數據使用平臺微調工具，訓練您的專屬行業大模型Step2 創建微調任務LoRA 微調模型可直接調用，全參微調模型請將訓練好的模型部署到私有云服務器

12、Step3 部署微調模型無需代碼，三步完成微調新 一 代 認 知 智 能 大 模 型國內外多硬件適配，更懂中國市場需求多規格軟硬件一體機，全面支持國產信創國內外硬件適配，攜手共建智能生態開放所有模型供國內外硬件廠商適配共同打造新一代大模型基座40國內外廠商參與適配+以昇騰生態為例，ChatGLM3 推理速度提升達 3 倍之多3優化后 Vs 優化前倍智譜AI x 昇騰首批算法備案&上線備案首批適配端側芯片的模型廠商完成高通、英特爾的車、PC和手機端芯片適配性能效果兼備，且端側模型微調后可比肩云側新 一 代 認 知 智 能 大 模 型大模型的能力正在快速落地為業務價值AI 汽車智能座艙客戶標簽輿情

13、分析維修助手AI 消費智能客服營銷素材生成AI 醫療健康輔助診斷病例結構化醫療文獻摘要藥師助手數字導購銷售話術質檢AI 游戲智能NPC劇情文本生成智能客服團隊知識庫AI 制造設備運維助手工業知識管理安全管理工業數據分析AI 教育AI助教學習伴侶科研輔助校園百事通AI 文旅智能導游行程規劃酒店客服數字店長新 一 代 認 知 智 能 大 模 型小鵬汽車：智能座艙AI助手ChatGLMCogViewCogVLM傳統車機系統對于語音指令理解率低，用戶需要記住功能名稱并說出明確指令才能執行操作。指令功能弱傳統座艙互動僅限于語音互動，缺乏多模態感知，且內容回復缺乏實時和趣味性。交互方式單一挑戰挑戰車外景物

14、識別需求理解與推理前面的路牌是什么意思？AI助手哦嚯!前面的路牌可真是信息量滿滿吶!它就像一個小小的交通指揮官，告訴我們前方的道路情況。你看，它告訴我們前方有一個T形 路 口 我 們 可 以 選 擇 左 轉 前 往 觀 瀾 路(Guanlan Rd)，或者直行前往平湖路(Pinghu Rd)。AI 創作給孩子講一個童話故事，并生成繪本你好呀小朋友，讓我為你講一個關于勇敢的小松鼠與魔法森林的故事吧在一個遙遠的村莊旁，有一片神秘的魔法森林。森林里住著一只聰明勇敢的小松鼠，名叫奇奇.百科全書圖文創作懂車問答車外景物識別AI助手前面停著一輛特斯拉Model Y。這輛車外觀時尚動感線條流暢優美，顏色看起

15、來非常新，像是新車或者保養得很好。前面是什么車？AI助手新 一 代 認 知 智 能 大 模 型基于NLP和小模型場景支撐的模式，智能化程度低，用戶體驗差。功能主要集中在設備控制和生活助手，使用場景單一。后臺小模型眾多，訓練、維護成本和復雜度高，同時限制了產品創新力。音箱用戶理解文本生成智能音箱智能手機手機用戶通用問答角色扮演內容生成文章摘要/追問商城助手會議紀要對話信息抽取回憶對話95用戶滿意度%“人工智障”人工智能提升效果問答場景對話回憶信息提取角色扮演85%81%80%87%開放平臺 API 調用小米小愛：智能生活助理挑戰新 一 代 認 知 智 能 大 模 型輔助用戶完成文檔創作及潤色演示

16、文檔大綱及內容生成 在生產內容時，多樣性不足，無法適應廣泛的用戶場景。在理解用戶輸入時，推理能力不足，無法接受整篇文章。傳統模型訓練維護成本較高，需要針對每個產品化場景做專項訓練。傳統方案智能化功能開發難點AI全文潤色AI幫我寫AI續寫AI擴寫AI縮寫AI總結AI文檔問答AI翻譯AI表格操作AI數據問答AI數據轉幻燈片AI生成幻燈片AI寫作助手AI閱讀助手AI數據助手AI設計助手數十個文檔指令12個文檔子場景續寫擴寫會議紀要規章制度.口語化教學教案中標通知更活潑更正式重寫活動策劃文檔生成PPT.主題生成PPT補充生成PPT長文本生成PPT.種草文案金山辦公：智能辦公助手新 一 代 認 知 智

17、能 大 模 型 01 智能健康營養專家：專業知識解答、個性化營養建議 02 用戶營養健康評測：缺鈣風險評估、免疫力狀況評估、營養均衡測試等 03 營養計劃制定及監督：營養配餐、智能共情陪伴、目標和計劃動態調整等蒙牛：AI 營養師人們對營養健康的日益重視（高品質牛奶、功能性牛奶高速增長)，但專業的營養健康服務供給嚴重不足（中國每10萬人平均只有0.3名營養師，遠低于全球27名營養師的水平，且價格昂貴難以普及)營養師供給嚴重不足挑戰聯手打造AI營養師，提供24*7個性化、專業級的營養健康服務 創新消費者運營方式，AI營養師全流程陪伴，增強消費者粘性，提升復購率。利用AI賦能的用戶交互活動數據，促進

18、新品研發，生產更貼合消費者心意的產品。AI賦能大幅降低營養師成本，讓消費者得到性價比更高的營養健康咨詢服務。創新運營方式，AI營養師全流程陪伴新 一 代 認 知 智 能 大 模 型企業大模型落地的“最佳實踐”新 一 代 認 知 智 能 大 模 型企業如何判斷是否大模型Ready？判斷大模型Ready試點場景評估業務流程的數字化程度，包括數字化在業務流程中的覆蓋度，數據的規模和質量，時效性，以及數據是否有統一完備的定義。負責人需要明確大模型負責人，專職的大模型負責人有助于落地的效率以及持續性。合理的期待合理期待是確保持續投入的關鍵，我們既不可以高估大模型的短期效果，也不可以低估長期潛力。數字化程

19、度測試指標需要有明確的試點場景，找到業務和大模型的最大公約數，既是大模型擅長解決的，也是企業內部重要的環節。需要定義測試目標，以及明確的評測方法和評測指標。新 一 代 認 知 智 能 大 模 型大模型獲取知識的 三個階段 和 應用方式預訓練微調Prompt 工程產品化/工程化模型層應用層通用能力閱讀理解大模型預訓練是通過大量的無監督訓練來學習語言的普遍的特征和模式，使其可以高效的完成各種通用任務，而非特定任務。文本生成指令遵從上下文理解思維鏈(CoT)領域能力法律文書大模型微調部分是通過對模型進行微小的調整來提高目標數據集上模型的準確性，從而更好地適應新的任務和領域。醫療問診文學作品教育習題專

20、利/論文任務能力簡歷生成大模型Prompt部分是對任務和需求的精確描述，以便幫助模型更好地理解輸入文本，從而提高模型的準確性和效率。意圖分類智能客服產品導購用戶需求抽取產品能力embedding大模型的落地使用需要工程化和產品化，比如外掛知識庫，意圖分類和提取，任務Prompt生成，任務拆解調度等。文件解析知識庫長期記憶上下文解析新 一 代 認 知 智 能 大 模 型大模型時代,企業如何構建自己的競爭力?新能力=基座模型+組織數據資產業務場景+讓 機 器 像 樣 思 考北京市海淀區中關村東路1號院9號樓10層版權所有 北京智譜華章科技有限公司 2024No.1 ZHONG GUAN CUN EAST ROAD,H A I DIAN DISTRICT,BEIJING聯系我們：400-6883-991