騰訊云&Gartner:2024生成式AI產業落地路徑研究報告(69頁).pdf

編號:162292 PDF 69頁 9.99MB 下載積分:VIP專享
下載報告請您先登錄!

騰訊云&Gartner:2024生成式AI產業落地路徑研究報告(69頁).pdf

1、生成式AI產業落地路徑研究報告版權聲明 本報告版權屬于騰訊云計算(北京)有限責任公司,并受法律保護。轉載、摘抄或利用其他方式使用本報告文字或觀點的,應注明“來源:騰訊云計算(北京)有限責任公司”。違反上述聲明者,公司保留追究其法律責任的權利。引言 在當下新一輪科技革命和產業變革加速發展的背景下,數據已成為新的生產要素,算力成為新的基礎能源,而人工智能則成為新質生產力。2024年的政府工作報告中,明確指出要深化人工智能應用,并首次提出開展“人工智能+”行動。該行動打開了新質生產力的大門,人工智能正在成為產業創新的關鍵抓手。尤其是以大模型為代表的生成式AI技術,已成為推動新一代產業變革的核心動力。

2、為抓住此次技術機遇,企業開始積極嘗試將生成式AI融入工作流程,以探索各種創新可能性。生成式AI已經成為企業各個層面關注的焦點,CEO寄望于新技術成為公司業績增長的引擎,而員工則期待新技術成為他們創意性工作的源泉。在這個變革的時代,企業不斷努力將技術機遇轉化為競爭優勢,不斷拓展業務領域,迎接未來的挑戰。對于企業而言,探索生成式AI應用落地是一項具有挑戰性的任務。本報告提出了生成式AI應用場景矩陣,用以協助企業完善自身可落地應用場景。同時,報告還基于落地實踐經驗總結出生成式AI應用落地路線,指導企業遴選適合自身情況的落地方式。結合Gartner的產業技術研究,本報告力圖為企業帶來騰訊云的思考、實踐

3、經驗與建議,希望幫助企業捕捉這一歷史性新機遇,譜寫第二增長曲線。CONTENTS目錄01生成式AI勾勒企業智慧未來02生成式AI產業落地路徑,指引企業找到適合的落地場景和技術路線03騰訊云為客戶提供生成式AI驅動的新一代產品方案一、大模型技術發展迅速,激發企業生成式AI應用需求/02二、生成式AI應用落地處在探索階段/03三、企業落地生成式AI應用面臨兩大挑戰/03一、生成式AI應用場景盤點梳理/06二、騰訊云、Gartner聯合推出生成式AI應用落地路線圖/12三、落地路線解讀/16一、基于生成式AI的騰訊云產品架構升級/22二、騰訊云完善的產品矩陣,滿足不同路線客戶需求/2204生成式AI

4、產業最佳落地實踐05生成式AI發展展望一、路線一-標準軟件/46二、路線二-標準模型能力增強/48三、路線三-定制化模型精調訓練/56第一章生成式AI勾勒企業智慧未來(一)大模型技術發展迅速,激發企業生成式AI應用需求 伴隨2022年末ChatGPT的問世,以大模型為代表的生成式AI技術得到各行各業的高度關注和熱議。最早由谷歌提出了Transformer架構,隨后,谷歌相繼發布了基于Transformer架構的Bert、T5等預訓練模型,同時OpenAI也推出了GPT預訓練模型。模型的參數量迅速提升至千億甚至萬億級別,成為超大規模參數模型,同時通過對豐富知識數據的學習,大模型技術在泛化能力、多

5、模態能力、開放域交互和模型可解釋性等方面均有巨大提升。2020年,GPT3.0發布,在文本生成方面的能力表現優異。其生成的文本準確、連貫,并且更加貼近人類的表達方式,這使得大模型在內容創作、對話交互等場景具備實用性。2022年,Midjourney發布,大模型的圖像生成能力得到廣泛認可,應用于廣告、游戲等創意設計場景。2024年,Sora發布,可以根據文本、圖像生成逼真且具有想象力的視頻。教育和娛樂等行業正在積極應用Sora制作視頻。大模型技術發展帶來的生成式AI效果提升催生出了新的場景和產業模式,企業探索生成式AI的需求迅速增長。根據 Gartner 對 822 位企業領導者進行的 2024

6、 年新一代人工智能規劃 調查顯示,絕大多數正在實施或積極計劃實施生成式AI的企業高管已經預期或實現了實施收益。平均而言,受訪者調查報告:收入增加 15.8%,成本節約 15.2%,員工人數減少 4.6%,生產率提高 22.6%。11Gartner Inc.,How to Calculate Business Value and Cost for Generative AI Use Cases,G00805323生成式AI產業落地路徑研究報告 02(二)生成式AI應用落地處在探索階段 生成式AI技術在極短時間內快速滲透到各個工作場景之中,并在改變以往的工作方式。這種新技術的普及將不可避免地誕生新

7、的商業模式和產業生態,并帶來全新的機遇。在這個變革的過程中,企業都在積極融入新技術的潮流,并期望在競爭中脫穎而出。根據Gartner調研數據,44%企業CIO表示已經落地或將在未來12個月落地生成式AI,68%企業CIO表示已經落地或將在未來24個月內落地生成式AI。目前,經過初步對生成式AI技術的觀望學習,企業認為抓住這一變革性新技術將改變行業競爭格局。大量企業開始轉向嘗試探索將生成式AI技術應用在自己的業務流程中。首先,生成式AI有望大幅實現降本增效,從而徹底改變行業成本結構。生成式AI打造的智能助手使得企業為每位員工配備了“專家智囊”,員工個人產能得以倍數級提升,重塑了企業人力資源成本結

8、構。其次,生成式AI有望實現客戶交互方式的變革,使得企業在客戶爭奪戰中搶得先機。一方面,生成式AI的交互體驗與真人無差,且個性化更強,年輕客戶更青睞新一代的交互方式。另一方面,全新的交互方式之上有可能孕育全新的消費模式。(三)企業落地生成式AI應用面臨兩大挑戰 生成式AI為企業描繪了美好的未來前景,然而,要將其真正應用于實際業務中,企業仍然面臨著場景價值、落地可行性等諸多挑戰。在場景價值方面,企業擔心新技術應用價值不及預期,面臨如何規劃應用落地場景的挑戰。企業需要確定生成式AI在特定業務場景下的實際應用和價值,這涉及到對業務需求、用戶體驗的全面分析和評估。但面對場景價值如何分類與遴選、生成式A

9、I能夠解決到何種程度等問題時,企業仍缺少成熟的方法支撐。22Gartner Inc.,2024 CIO and Technology Executive Agenda:A China Perspective,G00807509生成式AI產業落地路徑研究報告 03 在落地可行性方面,企業擔心生成式AI技術人才儲備不足、數據基礎設施不成熟等問題,面臨如何選擇適合自身情況落地技術路線的挑戰。盡管生成式AI技術非常先進,但要在企業內部或產品中實際落地應用,需要充分考慮哪些評估維度,以及可以選擇哪些落地路線,企業亟待解決。針對以上兩大挑戰,企業需要梳理落地場景,從中優選適合自身的應用落地。并且,企業需要

10、審慎評估技術、預算、風險等維度,尋找合理的落地方式。為此,基于Gartner的研究方法,騰訊云結合自身的大模型應用落地實踐經驗,為企業提供生成式AI應用場景矩陣和生成式AI應用落地路線圖,幫助企業解決場景價值、落地可行性等挑戰。生成式AI產業落地路徑研究報告 04第二章生成式AI產業落地路徑,指引企業找到適合的落地場景和技術路線 生成式AI技術有助于企業構建行業競爭壁壘,提升市場競爭力,改善客戶體驗。然而,企業在落地生成式AI應用時,缺少落地場景規劃和落地路線選擇的方法指導。本章旨在幫助企業全面規劃落地場景,遴選最適合自身情況的落地技術路線,實現生成式AI應用的快速落地。同時,本章節還為企業用

11、戶落地生成式AI匹配了相應的騰訊云產品方案,使企業能夠更加高效地利用生成式AI技術,實現場景價值。(一)生成式AI應用場景盤點梳理 1.生成式AI應用場景矩陣 生成式AI在各行業、各企業職能中的落地應用場景不斷增多。然而,在進行生成式AI應用建設之前,企業往往缺乏明確的可落地場景參考,并且對于如何優選試點應用進行落地缺少經驗和方法參考。為此,騰訊云推出生成式AI應用場景矩陣,通過對場景價值分類,并對場景技術成熟度進行評估,協助企業系統梳理適合自身情況的落地場景。(落地場景圖由橫縱2個坐標軸,4個場景價值象限,以及分布在象限中的場景點構成。)生成式AI產業落地路徑研究報告 06 在生成式AI應用

12、場景矩陣中,橫軸是指落地場景面向的企業業務流程分類。橫軸正方向,是生成式AI應用到與外部用戶體驗相關的業務流程,涵蓋直接與用戶交互或者將生成式AI應用內置于銷售給用戶的產品服務中等方式。橫軸負方向,是生成式AI應用到企業日常運營相關的企業內部流程,生成式AI技術服務于企業員工或企業內部核心業務流程??v軸是指落地場景對于業務的改造程度分類??v軸正方向,是指生成式AI具備顛覆既有業務的創新能力,通過變革產品/業務模式創新,實現業務價值革新??v軸負方向,是指生成式AI可以改善既有的業務和運營模式,實現業務流程增強。通過橫縱2個坐標軸,生成式AI落地場景被劃分至4個場景價值象限中,分別為運營效率提升、

13、客戶體驗提升、產品價值創新和業務流程重塑。運營效率提升象限,指面向企業內部用戶,改善了現有業務流程的場景;通過生成式AI應用幫助企業IT、辦公、營銷、人財稅法職能運營等部門實現降本增效的價值??蛻趔w驗提升象限,指面向企業外部用戶,增強業務服務流程的場景。通過生成式AI應用提升了企業售前、售中、售后的全流程客戶體驗,。產品價值創新象限,指面向企業外部用戶,顛覆了傳統業務價值的場景,此類場景通過生成式AI重新定義企業服務客戶的產品與服務模式。業務流程重塑象限,指面向企業內部用戶,革新業務價值的場景。通過生成式AI應用徹底改造了企業研發、供應鏈、生產等核心價值鏈。生成式AI產業落地路徑研究報告 07

14、 2.四大場景象限 生成式AI將在各個行業、各個業務流程釋放價值,這既包括現有業務流程增強所帶來的收入增長或成本下降,也包含推動行業進化過程中帶來的全新經濟價值。以下,我們將對運營效率提升、客戶體驗提升、業務流程重塑、產品價值創新4大場景價值進行解析。3.運營效率提升 高效的執行力是企業核心競爭壁壘之一。生成式AI既是通用知識的百科專家,在學習行業和企業專有知識之后,也可以成為特定領域的專家。生成式AI的專家能力,通過智能助手輔助員工或者智能化自動執行業務流程完成落地,從而實現運營效率提升。首先,企業員工日常有大量文檔撰寫、圖片素材制作、代碼注釋補齊等執行性工作。通過與模型的問答交互,員工可以

15、獲得文檔、圖像、代碼等基礎成果,在此之上進行調優可以提高工作效率。企業可以參考生成式AI應用場景矩陣,結合內部與外部業務流程,梳理與企業自身情況相關的生成式AI應用場景;我們也梳理了生成式AI在金融、教育、醫學、出行等13個行業的百大落地應用場景圖,供企業參考,挖掘更多可落地場景。完成場景梳理之后,企業可以從中遴選合適的場景優先試點落地。詳見附錄1文旅零售能源教育泛互地產物業運營商傳媒政務出行醫藥金融生成式AI應用場景盤點運營效率提升運營效率提升產品價值創新運營效率提升客戶體驗提升業務流程重塑產品價值創新運營效率提升運營效率提升客戶體驗提升業務流程重塑產品價值創新運營效率提升業務流程重塑產品價

16、值創新客戶體驗提升產品價值創新客戶體驗提升客戶體驗提升業務流程重塑金融APP開發運維管理產品需求挖掘智能投研智能盡調海報素材生成營銷文案生成輿情監控個性化營銷客群分析數據分析智能外呼智能推薦智能理財助手代碼助手辦公助手會議紀要(類似騰會)技術方案生成、測試用例生成營銷文案生成經營數據分析企業內部知識平臺數字人視頻彩鈴智能投顧智能投教智能客服金融產品創新設計交易策略優化持倉診斷分析宏觀行情解讀運營效率提升客戶體驗提升業務流程重塑智能調度銷售助手代碼助手員工培訓助手虛擬展廳智能客服智能客服與產品咨詢庫存管理車輛制造優化智能用車助手智能行程規劃政策咨詢政策解讀智能客服在線辦事引導與輔助政務服務滿意度

17、調查數據分析與決策支持公共安全與應急響應營銷海報生成營銷文案生成客流數據分析文創產品設計數字導覽員智能展品介紹景區服務咨詢智能點位介紹旅行行程規劃景區路線規劃文創產品銷售沉浸式文化體驗數字人與大模型交互智能預問診智能導診助手醫學知識問答助手用藥/檢查推薦心理疏導服務檢查檢驗單解讀用藥助手隨訪科室推薦疾病診斷助手病例生成助手出院小結生成處方質量控制虛擬醫藥代表醫藥/醫療器械銷售助手院務助手醫學考試培訓助手AI藥物研發病例分析與輔助診斷藥物安全性監測與預警文章摘要生成圖片素材生成多模態內容檢索內容合規審查稿件生成視頻生成讀書助手虛擬員工智能剪輯與合成虛擬角色與互動體驗包裝設計圖生成營銷海報素材生成

18、營銷文案生成商品運營數據分析客戶洞察分析業務代表產品培訓運營效率提升數字人解說數字人直播虛擬試衣間與個性化搭配建議智能庫存管理物流供應鏈優化產品價值創新業務流程重塑制造業務流程重塑電力負荷預測智能材料設計產品價值創新能源設施故障預測與維護產品咨詢客服個性化產品推薦系統智能售后服務與意見反饋處理客戶體驗提升社交角色扮演業務流程重塑沉浸式互動體驗設計產品價值創新銷售助手大模型物業管家智能前臺智能客服供應鏈優化管理庫存管理預測建筑運維決策客戶體驗提升客戶體驗提升銷售助手IT運維、網絡判障上屏推薦導購產品自動介紹產品自助使用助手智能售后與意見處理客戶體驗提升運營效率提升教學計劃生成教案生成助手作業出題

19、作業批改輔助編程文獻閱讀助手試題庫標簽分類招生營銷助手數據分析心理咨詢引導客戶體驗提升招生咨詢助手校園行政問答教務助手學工助手就業/升學助手產品價值創新口語對話虛擬老師個性化學習路徑規劃虛擬實驗室與模擬訓練運營效率提升設備巡檢維修知識助理產品設計助手智能排產智能需求分析與產品迭代生產數據分析知識管理平臺客戶體驗提升產品咨詢助手智能訂單處理與跟蹤智能故障診斷與預防業務流程重塑數智人直播新材料發現智能采購與庫存管理物流路徑優化AI審圖建筑圖紙生成數據分析知識管理員工行政助手房產經紀助手虛擬樓盤展示與體驗產品價值創新業務流程重塑運營效率提升游戲建模(背景/道具等)音視頻摘要代碼輔助生成智能推薦自動化

20、客戶服務數據分析與預測用戶行為分析運營效率提升運營效率提升檢修助手電力調度知識庫AI審圖場站巡檢煤礦安全預警內部知識學習平臺客戶體驗提升營業廳數智人智能客服電網智能客服設備自動報修智能訂單處理與跟蹤智能故障診斷與預防公文撰寫政策分析輿情分析政務信息自動化處理生成式AI百大應用場景生成式AI產業落地路徑研究報告 08 其次,企業業務流程和產品往往會積累大量知識文檔,但是這類知識數據往往十分冗雜,企業無法高效使用?;谄髽I積累的知識文檔、知識庫等非結構化數據,生成式AI可以實現自然語言交互的知識問答智能助手。員工可以通過問答形式迅速在知識數據中獲取自己需要的信息,釋放企業數據價值,從而提升運營效率

21、。最后,企業運營流程涉及多個部門與崗位,流程節點數量眾多。任何一個節點執行效率低下,都會導致整個流程延遲。生成式AI的Agent能力可以基于目標自動拆解工作任務、并自動完成,從而使得業務流程無需依托流程節點的人工執行,以實現效率提升。隨著生成式AI滲透到企業端到端業務流程之后,甚至將系統性實現運營效率的躍遷。以下,我們以生成式AI在金融行業的落地場景為例進行說明。在IT業務流程中,金融機構信息化程度較高,研發實力雄厚,面向客戶的APP應用以IT自研為主。生成式AI可以輔助IT技術人員自動完成代碼補全工作,從而提高了金融機構對客APP的研發迭代速度。在辦公業務流程中,生成式AI打造的辦公助手可以

22、在會議結束之后自動生成會議紀要。金融行業的專業術語眾多,基于行業大模型的生成式AI均可以理解并準確生成會議紀要,將員工從繁雜的流程化工作中釋放出來,提升會議待辦工作執行的效率。(生成式AI應用場景滲透金融業務流程)生成式AI應用場景滲透金融業務流程生成式AI應用場景代碼助手辦公管理個性化營銷數據分析企業內部流程IT辦公營銷運營(法務&人事&財務&行政)生成式AI產業落地路徑研究報告 09 4.客戶體驗提升 客戶體驗是企業持續搶占市場份額的重要抓手,生成式AI在客戶服務應用場景擁有回復個性化、支持文本圖像交互等優勢。生成式AI貫穿售前、售中、售后的客戶交互服務全流程,全面提升客戶體驗。首先,生成

23、式AI大幅改善了客服機器人的回復效果。生成式AI具備通識能力,與客戶交互的邊界逐步向開放域擴展,而且可以基于不同客戶的上下文生成個性化回復,打破了模式化固定回復的限制。而且生成式AI具備文本、圖像、視頻等多模態能力,可以支持客戶上傳照片等方式進行交互。其次,生成式AI打造的機器人不光適用于售后客服場景,在客戶旅程中還可以參與至顧問咨詢、銷售等多個客戶交互流程中。生成式AI通過學習產品說明書、金牌銷售話術等文檔,在產品咨詢、產品選型建議等售前和售中場景也在滲透。隨著生成式AI在客戶交互流程中滲透的增強,企業不僅改善了單一客戶體驗,也實現了全渠道客戶體驗一致。以下,我們以生成式AI在醫療行業的落地

24、場景為例進行說明。在營銷業務流程中,客戶經理面對的金融產品數量眾多,每款產品的介紹方案也很復雜,需要消耗大量時間學習理解。生成式AI可以通過知識庫問答,迅速解答客戶經理對于產品的疑問,并且協助客戶經理生成個性化產品介紹方案。在運營業務流程中,金融機構需要定期向監管機構報送經營數據與財務分析報告。生成式AI可以輔助財務人員快速獲取所需的分析數據,并自動化生成分析報告。針對異常指標,生成式AI通過對話式交互,可以快速下鉆分析定位原因。(生成式AI應用場景滲透醫療服務流程)生成式AI應用場景滲透醫療服務流程生成式AI應用場景智能導診檢查報告自動生成智能隨訪復診外部用戶體驗診前(售前)診中(售中)診后

25、(售后)生成式AI產業落地路徑研究報告 10 在診前環節,患者經常會遇到掛錯診室、醫生不匹配、候診時間長等體驗不佳的問題。生成式AI支持的機器人,可以通過意圖識別、智能追問等多輪交互協助患者獲悉對癥的就診科室,并完成預約掛號。而且,生成式AI還可以基于患者疾病類別與緩急、醫生擅長疾病與級別,進行精準醫生推薦,方便患者匹配合適的醫生。在診中環節,患者面對檢查檢驗報告往往一頭霧水,只能在與醫生交流過程中詳細垂詢。生成式AI可以通過醫療輔助診斷,自動生成輔助診斷報告,在幫助醫生提升檢查效率的同時,也幫助患者加深病情了解。在診后環節,患者缺少與醫生交互的通路,用藥過程中可能存在用法用量、用藥禁忌等疑惑

26、。生成式AI可以彌補診后的醫生空缺,隨時與患者保持交流,用口語化方式解答用藥疑惑、提醒用藥,持續關心患者。5.產品價值創新 每一次技術范式的變革,都將涌現出新的產品服務形式,為客戶提供全新的產品價值。生成式AI無疑是企業認定的新技術范式。相比傳統AI,生成式AI在需要創造力的創新類任務以及需要決策的專家經驗類任務中表現大幅提升。因此,通過生成式AI,企業有機會打造新一代應用,創造全新的AI驅動產品與服務。例如在教育行業,個性化教學、因材施教一直是教育領域的追求目標,但受限于師資資源,個性化教學更多是通過學生分組教學的方式實現,并非針對每位學生因材施教?;谏墒紸I的交互和創造能力,個性化AI

27、教學助手可以在教學、練習、考試全流程中與學生完成互動,并不斷基于學生知識盲點進行有針對性的教學強化。6.業務流程重塑 傳統AI技術在研發、生產、供應鏈等企業核心價值鏈一直難以滲透發揮價值,主要難點在于傳統AI無法理解如此復雜的業務邏輯。生成式AI擁有超強的知識汲取、分析以及生成能力,通過對企業內部數據的海量學習,以及業務流程運行過程中的持續迭代,有機會創造出超越傳統專家經驗的新模式?;谏墒紸I,企業有望革新傳統價值鏈,創造全新的業務流程。生成式AI產業落地路徑研究報告 11 例如在醫藥研發企業的藥物分子篩選場景下,研發人員需要進行大量分子實驗,進而篩選出有效的分子?;谏墒紸I,研發人員

28、可以構建更為準確的分子篩選標準,從而縮減分子實驗規模,縮短藥物研發周期。(二)騰訊云、Gartner聯合推出生成式AI應用落地路線圖 在完成應用場景規劃之后,企業下一步將步入生成式AI應用建設實施階段。但當前市場上缺乏生成式AI應用建設方法論,企業在落地路線選擇、落地路線評估維度、模型服務商分工協作等方面亟需方法指引。為此,基于Gartner研究報告,騰訊云推出生成式AI應用落地路線圖,以期助力企業遴選到適合自身情況的落地路線,規避建設風險、提高落地成功率。生成式AI應用落地路線分為3條。根據落地復雜程度由簡單到復雜依次別為,標準軟件路線、標準模型能力增強路線和定制化模型精調訓練路線。標準軟件

29、路線落地最為簡單,企業直接采購開箱即用的軟件完成落地。標準模型能力增強路線落地復雜度中等,企業需要參與提示詞工程等環節來增強模型能力,優化模型輸出結果的。定制化模型精調訓練路線落地最復雜,企業需要完成二次模型訓練工作。在3條路線中,復雜度越低的路線,企業在落地過程中技術采購(Buy)占比越大;復雜度越高的路線,企業在落地過程中技術自建(Build)比例越高。生成式AI應用落地三大路線生成式AI產業落地路徑研究報告 12 為了幫助企業更好的根據自身情況和項目需求選擇適合的落地路線,我們從評估維度和分工協作兩個方面對每條路線進行解析,并對應提供差異化的騰訊云生成式AI產品方案。1.評估維度 評估維

30、度,是指企業選擇生成式AI應用落地路線時應當考量的6個維度,分別為知識數據、開發投入、數據安全、輸出內容控制、項目預算和算力資源。知識數據指企業評估應用建設需準備的行業或者企業專屬數據。企業面臨基礎模型對于業務場景理解程度不及預期的問題,因此需要評估場景應用對行業/企業知識數據的要求。在場景落地過程中,基礎模型在通用程度高的業務場景下有較好結果,但是往往在垂類行業場景下的效果差強人意;對于企業或者行業屬性強的場景,基礎模型需要補充專屬數據以理解業務邏輯。行業/企業專屬知識數據可以通過提示詞工程、精調訓練等不同方式改善模型輸出結果。開發投入,是指企業評估應用建設所需的技術研發人員投入。生成式AI

31、應用建設時,企業面臨研發人力資源投入不足以及技術棧短板等問題,因此需要評估場景所需的研發人力資源投入。開發投入分為開發工程師與算法工程師,開發工程師為應用負責,算法工程師為模型負責 數據安全要求,是指企業評估數據隱私與數據合規潛在風險。生成式AI應用存在信息泄露風險,企業需要將數據進行脫敏處理,降低個人身份的可識別性。而且,對于敏感數據,企業還需制定嚴格的訪問控制策略,授權人員方可訪問。模型精調過程中也存在訓練數據未合規銷毀問題,企業需要建立完善的數據治理規范,確保訓練過程中數據合規。輸出內容質量控制,是指企業評估模型輸出的準確性、一致性和合規性要求。生成式AI應用落地過程中,企業需要解決模型

32、幻覺問題,以保證模型輸出的準確度。同時,大模型面對同一問題,可能會生成不同的答案,企業面臨如何保持問題回復一致性的問題。此外,大模型輸出的內容要避免涉及敏感信息、知識產權等法律合規問題。項目預算,是指企業評估場景落地所需資金投入。應用落地時,企業面臨投入產出比(ROI)計量的問題,合理的項目預算評估是ROI計算的前提。評估項目預算時,企業需要考慮模型開發、應用開發、應用集成等開發類預算,硬件等基礎設施類預算,數據采集與治理等數據類預算,合規類預算以及安全類預算等諸多角度。生成式AI產業落地路徑研究報告 13 算力資源,是指企業評估模型訓練與推理使用的GPU資源。GPU資源是企業落地生成式AI應

33、用時的一大掣肘。對于GPU資源配置的要求,模型訓練與推理兩個環節差異明顯。訓練所需算力資源的配置遠高于推理,企業需要進行合理的資源評估。在訓練環節,GPU內存需求、批處理大小設置等會影響資源投入。在推理環節,并發量、模型參數規模、延遲要求等會影響資源評估。2.分工協作 落地路線第二部分是分工協作,指應用建設涉及的基礎模型構建、模型精調訓練、提示工程與檢索增強生成、應用開發4個層面職責,在企業與模型服務商之間的工作劃分與配合?;A模型構建,是指以無監督機器學習方式,通過海量數據集構建預訓練模型的職責。在構建基礎模型時,訓練數據準備、訓練方法、算力儲備是3個核心工作。訓練數據,需要以海量互聯網數據

34、集為基礎,包含文本、圖像、音頻等多模態信息。訓練方法,通常采用無監督學習,使得模型自動發現數據中的模式、結構和關聯關系。訓練方法還會加入基于人類反饋的強化學習(Reinforcement Learning from Human Feedback,RLHF),將人類反饋映射為獎勵嵌入模型訓練,以持續提高模型輸出質量。算力儲備,模型每訓練升級一次需要投入大量高性能GPU卡時。模型精調訓練,是指通過有監督機器學習,將高質量的知識數據訓練集注入基礎模型的職責。精調可以提升模型在特定任務上的性能,使模型更適應特定領域、任務或應用場景,輸出更準確的結果。精調過程中,訓練數據的準備與增強、模型參數微調、持續

35、迭代是核心工作職責。精調所需的訓練數據,必須經過人工標注,而且可以通過數據增強生成更多訓練樣本。參數微調涉及模型架構的調整,需要對基礎模型進行層級解剖,以確定哪些層需要精調,哪些層保持固定。精調往往是一個長期持續性工作,在不斷調整精調策略的過程中逐步改善模型輸出質量。提示工程與檢索增強生成,是指通過提示詞工程(Prompt Engineering)設計和引導模型輸入,在不改變基礎模型參數的同時,解決模型幻覺、模型知識更新及時性等一系列問題。提示詞需要根據特定任務進行設計和迭代。提示詞設計可以由多種不同關鍵詞、語法組合形成策略,以適配不同使用場景。檢索增強生成(Retrieval Augment

36、ed Generation,RAG)是提示詞工程的一種重要形式。通過將檢索的知識庫信息引入到模型輸入,模型輸出的知識實時性、結果質量均有明顯改善。生成式AI產業落地路徑研究報告 14 應用開發,是指面向終端用戶(End User)的應用建設職責,以解決企業應用的定制化需求,保證應用可以適配企業業務流程。應用建設需要企業的業務需求方深度參與,以更好的確定應用待解決的問題與目標。3.產品方案 落地路線第三部分是產品方案,指騰訊云為不同落地路線所設計的產品組合方案。產品方案由AI Apps、AI Engineering、AI Infra3層及模型、安全構成。AI Apps 暨人工智能應用程序,是指主

37、要使用生成式人工智能模型來執行任務的軟件應用程序。這包括聚焦行業和功能的應用程序。AI Engineering 暨人工智能工程,是指使企業能夠操作生成式人工智能模型的工具,包括以模型和數據為中心的工具。AI Infra 暨人工智能基礎設施,是指可用于構建生成式人工智能應用程序的基礎設施組件,如計算、網絡和存儲組件。模型,既包括生成式人工智能基礎模型(如大語言模型),也包括針對特定行業或用例的特定領域的模型。安全,是指企業在建設生成式AI過程中面臨的數據隱私保護相關的AI本體安全(AI safety)、開發/運營/部署流程中安全防護相關的AI應用安全(security for AI)和AI內容審

38、核相關的AI衍生安全。企業可以基于自身場景需求,參考評估維度、分工協作對自身需求進行評估分析,明確符合自身特點的落地路線,最終選擇騰訊云提供的差異化產品方案來落地生成式AI應用。生成式AI產業落地路徑研究報告 15(三)落地路線解讀 1.標準軟件落地路線 標準軟件落地路線,是指企業直接采購基于生成式AI模型能力增強的成熟應用軟件。該落地路線下,生成式AI內嵌于應用之中,企業可以開箱即用。比如,在將生成式AI內置于HR SaaS軟件,實現以智能問答的交互形式服務員工。在評估標準軟件落地路線對應的場景時,場景需求呈現出應用成熟、通用程度高、安全要求高等特點。首先,此落地路線應用成熟度高,采購的是標

39、準軟件。因此,開發投入、項目預算、算力資源等評估維度對于企業要求低。其次,標準軟件適合的場景可以跨職能部門、跨行業,通用程度高,因此對于組織/垂直知識數據、輸出內容質量控制等評估維度要求也屬于低。最后,該路線下的應用多搭載于公有云之上,因此企業會非常在意數據與應用本身的安全防護,場景評估時數據安全要求高。選擇標準軟件落地路線時,企業與模型服務商在分工協作中,以模型服務商為主導。模型服務商以提供開箱即用的應用為導向,全權負責從底層基礎模型到上層應用建設的全部職責。該落地路線下,騰訊云提供一系列成熟的AI Apps產品方案。一類AI Apps是生成式AI增強的成熟軟件,另一類AI Apps是在成熟

40、軟件中增加智能助手入口,用戶可以隨時喚醒助手輔助工作 標準軟件落地路線優勢在于,既有系統改造成本低、投入預算低且可以持續升級迭代。由于直接使用成熟應用,企業只需要將應用與相關業務系統接口進行打通即可,現有工作流程、業務系統均無需調整,因此系統改造成本低。同時,公有云上的應用無需部署成本,軟件采購或基于用量或基于賬號量,預算投入低。另一個采購公有云應用的優勢在于,應用可以即時更新,企業可以隨時享受到最新的技術紅利。標準軟件落地路線的劣勢在于,模型能力不全面和無法定制化擴展功能。第一,該路線使用的模型由公開數據訓練,沒有針對垂直行業/企業專屬業務需求定制化調優,在面對部分垂類業務問題時可能性能與預

41、期有一定差距。第二,標準軟件不支持定制化開發,面對企業內部復雜的業務流程時,無法與業務深度融合。這導致企業難以將標準軟件與內部流程無縫整合,限制了在應對特定業務需求時的靈活性。生成式AI產業落地路徑研究報告 16 針對標準軟件落地路線,建議企業在代碼生成、會議紀要等通用程度高的場景采用該路線。這此類場景在各行業的需求通用度較高,一般不具有行業差異性,使用標準軟件即可滿足用戶需求。標準軟件通常具有較好的穩定性和可靠性,無需進行定制化開發,支持開箱即用快速落地,可以幫助企業高性價比快速落地生成式AI應用。2.標準模型能力增強落地路線 標準模型能力增強路線,是指通過提示詞設計、檢索增強生成等提示詞工

42、程,增強基礎模型輸出的準確性、知識實時性。檢索增強生成可以通過加載組織/垂直知識數據,改善模型輸入的提示詞準確性。值得一提的是,該路線實施時,會將生成式AI模型能力封裝為API服務接口,企業將API嵌入自研應用軟件增強智能化水平,或是基于API創建定制化的全新智能應用。該落地路線對應的場景進行評估時,場景需求具有私域知識引入、研發資源與預算投入適中、算力資源投入低、數據安全要求高等特點。首先,基礎模型無法充分理解企業內部業務場景、且無法回答實時更新的業務知識,需要引入行業或者企業私域知識以彌補基礎模型能力欠缺。因此,輸出內容質量控制和組織/垂直知識數據兩個評估維度屬于中等要求。其次,該落地路線

43、下企業既需要建設API服務接口,也需要定制化開發應用軟件,因此開發投入和項目預算兩個評估維度較標準軟件落地路線有所提高,屬于中等要求。再次,該落地路線中的檢索增強與提示工程不涉及模型參數的調整,無需模型訓練算力投入,只需企業為模型推理提供算力支持,因此算力資源要求依然低。最后,由于引入企業私域數據,在提示詞使用過程中有隱私數據泄露風險,數據安全評估維度保持在高要求水準。選擇標準模型能力增強落地路線,企業和模型服務商分工協作各有側重點。模型服務商參與所有4個環節工作,由于模型參數無需調整,模型服務商的工作職責重點在于基礎模型和模型精調。企業深度參與至數據檢索與提示工程、應用建設兩個環節,以解決A

44、PI服務接口和應用軟件的定制化需求。根據企業在數據檢索與提示工程環節的參與程度,標準模型能力增強落地路線可以繼續細分為三條子路線。第一條子路線,企業可以使用騰訊云封裝好的標準模型API,或者使用騰訊云的aPaaS平臺,加入企業專屬數據,通過RAG(檢索增強生產)等提示工程技術形成經過能力增強的專屬API。此路線中模型能力增強的工作由騰訊云主導完成,企業直接使用API即可。生成式AI產業落地路徑研究報告 17 第二條子路線,企業使用騰訊云機器學習平臺和向量數據庫產品,自行構建API服務接口的檢索增強。企業使用騰訊云提供向量數據庫構建企業專屬向量知識庫,實現對數據檢索速度和效率的喲花,并使用騰訊云

45、機器學習平臺完成模型推理服務部署。第三條子路線,企業獨立建設機器學習平臺和向量數據庫的框架,并完成API服務接口的檢索增強。相比第二條子路線,企業需要自行使用函數、容器等服務自行完成模型推理環境的搭建,此子路線更適合IT開發能力強、有自主構建開發中臺需求的企業。企業可以基于開發投入這一評估維度,進一步選擇適合自身情況的子路線。企業算法工程師團隊尚在建立早期時,檢索增強等工程能力可能存在技術短板,建議選擇第一條子路線。企業算法工程師團隊完善,但云原生技術團隊存在技術短板時,建議選擇第二條子路線。企業自研實力強,算法和云原生技術資源儲備完善時,建議選擇第三條子路線。在標準模型能力增強落地路線下,騰

46、訊云提供AI Apps和AI Engineering組合形成的產品方案。AI Apps主要以模型服務的方式提供。AI Engineering分為云原生平臺(如容器)、數據平臺(如向量數據庫)、AI開發平臺(如機器學習平臺)和應用開發平臺(如DevOps)。標準模型能力增強落地路線優勢在于,低成本改善模型輸出效果,以及生成式AI應用定制化能力增強。在改善模型輸出層面,企業無需支付高昂的算力資源和預算改造基礎模型,通過較低成本的提示工程和檢索增強,就可以實現知識輸出實時性和模型準確率提高,一定程度緩解了模型幻覺帶來的困擾。在定制化能力增強方面,企業可以將生成式AI封裝的API服務接口嵌入自研應用,

47、使得符合企業定制化需求的自研應用得以增強;企業也可以基于API服務接口創建全新的自定義應用,同樣使得定制化需求得以滿足。標準模型能力增強落地路線劣勢在于場景適應性受限和響應延遲。首先,該路線并沒有改進模型本身的能力結構,只是通過提示詞工程補充了知識、調優了輸出。因此,場景發生變化時,需要重新啟動提示詞工程,使用場景有局限性。其次,檢索增強是模型輸出前額外增加的執行步驟,可能會導致模型輸出的響應時間增加,進而影響終端用戶的使用體驗。針對標準模型能力增強落地路線,建議企業在知識助手類場景采納。生成式AI為各個崗位帶來了人效提升的機會,知識助手通過問答形式為每位員工提供賦能。而且,檢索增強加載的生成

48、式AI產業落地路徑研究報告 18知識庫可以實現每位員工的個性化,員工的個人經驗可以持續沉淀在知識助手上,進而為公司整體經驗提升奠定基礎。3.定制化模型精調訓練落地路線 定制化模型精調訓練落地路線,是指基于基礎模型,企業通過私域數據集進行模型訓練,以實現企業專屬大模型的建設。企業專屬大模型改變了基礎模型參數,并且在特定任務上表現出來的性能和在企業知識的深度理解兩方面得以增強。該落地路線對應的場景進行評估時,需求呈現出需求高度定制化、資源和預算投入高等特點。首先,企業精調模型是因為基礎模型在特定任務能力上存在短板,需要在模型底層進行改變以大幅改善輸出結果。對應的企業需要有針對性的進行專屬訓練數據集

49、準備和遴選,輸出結果的控制也完全以企業自身需求為準繩。因此,輸出內容質量控制、組織/垂直知識數據、數據安全要求等評估維度要求很高。其次,企業精調模型需要整建制的算法工程師團隊、完全定制化的模型訓練和應用開發,因此開發投入和項目預算也很高。同時,模型精調需要投入GPU資源完成訓練任務,消耗的算力資源同樣很高。該落地路線在分工協作層面,以企業為主導角色,模型服務商扮演輔助角色。除了基礎模型由服務商提供,模型精調、數據檢索與提示工程、應用建設等環節企業均處于核心主導地位。在此過程中,企業生成式AI技術自研能力得以大幅提升。模型服務商聚焦于基礎模型的迭代升級,重點為企業進行模型精調訓練提供算力和工具服

50、務。相應的,該落地路線下,騰訊云提供AI Infra與AI Engineering產品組合方案。AI Infra涵蓋計算資源、軟件加速、硬件創新等產品集合?;A模型精調耗費大量算力資源,因此內置硬件和軟件加速產品的異構計算平臺,可以協助企業提高GPU資源使用率、加快模型精調速度。AI Engineering包括AI訓練工具平臺和數據檢索與提示工程開發工具鏈?;A模型精調需要持續迭代,因此操作簡單的訓練工具平臺至關重要。定制化模型精調訓練落地路線優勢在于,模型輸出準確度有保障,以及提高了企業在行業中的競爭壁壘。由于模型精調完全針對企業個性化需求,輸入的訓練集準確度高,使得模型輸出的準確性也極高。

51、而且,企業在該落地路線中處于主導地位,對于專屬大模型的技術控制力強,為產品創新和業務重塑帶來無限可能。企業專屬大模型可能成為超越對手的有力競爭武器。生成式AI產業落地路徑研究報告 19 定制化模型精調訓練落地路線劣勢在于,成本高企和災難性遺忘帶來的模型能力退化。首先,該路線算力資源投入高、開發人員投入高、項目預算高。高企的成本,會拉低項目投入產出比。其次,精調后的模型可能在原有任務性能上出現大幅衰退,喪失了基礎模型的泛化能力。在面對檢索增強的模型輸出依然無法達到企業準確性和實時性要求,或者企業需要將生成式AI應用于業務邏輯極其復雜的場景、而基礎模型完全無法理解等情景時,建議企業采納定制化模型精

52、調訓練落地路線,定制企業專屬大模型。生成式AI產業落地路徑研究報告 20第三章騰訊云為客戶提供生成式AI驅動的新一代產品方案(一)基于生成式AI的騰訊云產品架構升級 1.路線一-標準軟件(1)騰訊樂享AI助手落地背景及挑戰 在企業知識管理、培訓學習、辦公協同場景中,存在著大量的內容生產、內容流轉、內容消費訴求,傳統的知識管理或培訓平臺存在著內容生產門檻高、內容生產效率低、內容獲取鏈路長、內容利用率低等問題,導致管理成本高但收效甚微,讓企業知識從“低質量”走向“不可用”。企業應用面臨的挑戰包括:1.實現問答能力與企業內部知識的強關聯;2.生成不同場景、格式的內容需要不同模型、方向的訓練方案。(二

53、)騰訊云完善的產品矩陣,滿足不同路線客戶需求Cloud for AI智變敏捷加速AI Apps智能應用AI Engineering智能工程平臺AI Infra智能分布式基座Models&Frameworks模型底座金融醫療泛互教育零售能源攜手伙伴共建行業垂直場景方案&應用Security全棧安全防護全棧提效 讓企業用好AI生成式AI產業落地路徑研究報告 22產品方案方案價值智能問答:搭建大模型與企業內部知識的橋梁,無需訓練模型即可快速搭建企業AI問答專家,可理解企業知識后以自然語言直接回復成員問題,并列出相關文檔鏈接作參考。對比傳統搜索的優勢:保留知識搜索的權限特性,改變傳統冗長的檢索-瀏覽-

54、篩選-理解的信息獲取鏈路,提高內容曝光,讓每次知識獲取時間減少5-10分鐘。對比傳統問答的優勢:無需管理問答對,直接基于文檔、視頻問答;可通過反饋-提醒修訂-后臺跟進分析的工作流,促進知識迭代;樂享千人千面的權限管理,AI也能對擁有不同權限的提問人給出不同的回答。智能寫作:提供適配企業業務內容生產的寫作大模型,讓模型一方面能夠掌握足夠多的各領域知識,提供創作靈感;另一方面能夠根據明確指令,對文檔內容進行總結、縮寫、擴寫或糾偏,如撰寫大綱、方案續寫、會議紀要等。降低業務內容創作的門檻,提升辦公協同內容輸出的效率。騰訊樂享AI助手 讓知識生產和學習更高效生成式AI產業落地路徑研究報告 23智能生成

55、:讓模型掌握跨職責的生產能力,如培訓中的生成考題場景,通過訓練專門的出題大模型,讓模型既理解業務知識,又按規則出題,成為一個懂業務的培訓出題專家,解決傳統的出題模式中各方資源協同和生產困難的挑戰。騰訊樂享AI助手,讓知識生產、學習、管理全生命周期提效。(2)騰訊云AI代碼助手落地背景及挑戰 隨著人工智能的爆發,軟件工程也轉向智能化,而AI代碼助手作為公認的高頻高價值場景先行一步。企業落地的挑戰包括。1、企業用戶關心代碼安全。尤其在金融等高合規要求行業,隨著大模型落地的不斷推進,企業越來越關注如何平衡大模型落地收益和潛在合規風險。2、業務場景要求多模能力,企業內部不同業務場景對多種個性化模型提出

56、需求,同時需保證應用側無縫對接。3、企業決策需要效果度量。企業用戶更關心投產價值如何衡量,期待通過數據監控手段,保障模型訓練效果,推動持續改善提升。4、企業效能提出全場景覆蓋。企業希望在研發過程中盡可能多的引入較為確定可行的AI加持場景,覆蓋多個智能研發場景,從而提升工程質量,達到效率提升最大化。產品方案基于“4+1+1”產品策略,打造騰訊云AI代碼助手生成式AI產業落地路徑研究報告 24方案價值 騰訊云AI代碼助手是依托于騰訊模型與訓練底座,精準面向企業客戶需求打造,支持多模態、安全合規、流暢高效、成本可控的專業AI編程提效工具。保障代碼安全(Security)依托騰訊云天御安全審核模型三重

57、防護能力,在語料防護和Reasoning、微調等階段進行主動預防:確保輸入內容正常合規;確?;卮饐栴}在訓練內容范圍之內,減少回答幻覺;確保不合規問題能夠被拒絕回答。部署后,和企業安全團隊積極配合,只選取企業內部認證合規的私有語料進行進一步訓練,打磨出符合企業要求的代碼模型。支持多模能力(MaaS)基于具備多模管理能力、支持企業私有化部署的專業訓練平臺-騰訊云TI-ONE平臺進行訓練和推理優化,在代碼對話、單元測試場景基于行業模型進行指令對齊和強化學習、推理優化,同時對真實場景下反饋的badcase進行調優。提供數據看板(Analysis)企業可通過數據看板進行衡量,通過效能看板密切關注代碼生成

58、率、采納率、QPS、生成耗時等關鍵指標,對產品的優化起到監督反饋效果。覆蓋豐富場景(Full)覆蓋代碼補全,技術對話,單元測試和代碼診斷等關鍵編碼階段應用場景。(3)騰訊企點營銷云AI助手落地背景及挑戰 企業數據分析主要痛點:懂業務的人不會用分析工具、懂分析的人不一定了解業務、海量數據人工挖掘效率低、數據洞察依賴主觀經驗不夠嚴謹。生成式AI產業落地路徑研究報告 25產品方案方案價值 基于騰訊云行業大模型在分析領域的應用服務。用戶可以通過自然語言對話,實現找數查數、數據結論解讀、智能歸因及異常診斷,旨在企業提供專業、高效、易用、可信的智能分析服務。用戶前端大模型核心服務用戶后端LLM意圖理解LL

59、M意圖理解LLM意圖理解Prompt管理技能平臺知識配置端知識庫+緩存(向量存儲+推薦模型)智能圖表LLM數據推理+結論生成在線調用-定制化擴展離線訓練-知識內化元數據向量庫語義泛化向量庫指標向量庫找數-表/指標查數-多模型指標口徑查詢知識問答技能管理知識處理反饋優化用戶互動Query信息信息信息LLM模型技能生成式AI產業落地路徑研究報告 26專業 結合行業知識在營銷分析領域微調后的大模型,具備專業分析師思維,覆蓋90%數據分析場景,及業界領先的問題識別率,客戶個性化知識一學就會,更懂業務。高效 智能歸因自動識別指標異動,海量數據也能快速定位影響因子,異常診斷可及時下發一線業務執行策略,定時

60、看板解讀任務和一鍵生產報告功能,輕松搞定周報日報。易用 對話式交互,只要懂業務,就可以實現數據查詢及分析,根據業務數據推薦分析問題和分析指標,小白用戶輕松上手,分析結果自然語言總結,不懂圖表也能獲得關鍵業務信息??尚?針對復雜問題,模型推理步驟可視化,分析結果對應配置參數/SQL可查看可驗證,分析結果生成配置頁面可查看可調整。2.路線二-標準模型能力增強(1)騰訊云大模型知識引擎落地背景及挑戰 大模型技術不斷深化,加速生成式AI應用落地,推動新一輪的產業變革,IDC報告顯示,知識管理、會話類應用目前最受企業者關注及青睞。然而,大模型到知識應用落地門還存在一定門檻,在典型知識服務應用包括知識問答

61、、業務辦理、知識總結等均有著不同程度的痛點。企業文檔知識多樣化,圖文并茂,排版復雜用戶問答效果及體驗不可控。流程知識復雜度高,維護成本高自動化接待難度大。不同行業不同場景對于知識總結、信息提取存在差異化訴求。面向這一背景,打造基于大語言模型的企業級知識應用構建平臺,提供提供開箱可用的應生成式AI產業落地路徑研究報告 27 用模版、可被集成的原子能力API,降低大模型接入到企業知識管理及會話應用場景的門檻,推動大語言模型在企服場景的應用落地。產品方案方案價值擅長處理企業級多模態復雜知識,支持最全常用格式與上百種文檔場景,在表格問答、復雜公式、圖文關聯輸出與數學計算等復雜場景,可滿足企業知識庫管理

62、維護的多樣化、專業性處理要求。依托OCR大模型解析引擎、多模態大模型、業內首個語義切分大模型與基于混元大模型技術的行業大模型,全鏈路解決復雜文檔的解析、切分、檢索、推理、生成等業界難題,端到端問答效果業內領先。多模態交互模式豐富,應用端支持多種輸入、輸出格式,提升交互體驗。易用使用門檻低,提供開箱可用的應用模板和可被集成的原子能力API兩種便捷使用方式。工具鏈完善,支持自定義模型選擇、角色設定、提示詞自動優化、知識庫管理及維護。一站式流程,支持對話測試-修正-發布-反饋增強的一站式處理。生成式AI產業落地路徑研究報告 28(2)向量數據庫落地背景及挑戰 利用LLM和向量數據庫,企業可以構建高效

63、、智能的知識庫系統,實現快速檢索、語義理解和個性化推薦,提升企業知識管理和應用效率。挑戰:文檔預處理、向量化門檻高,業務接入成本高,接入效果差。產品方案騰訊云向量數據庫核心能力生成式AI產業落地路徑研究報告 29方案價值(3)騰訊云Cloud Studio落地背景及挑戰 傳統的應用開發常常面臨:1、資源的限制 2、環境配置的復雜且不兼容問題端到端AI套件,AGI時代的知識庫解決方案生成式AI產業落地路徑研究報告 30產品方案方案價值 Cloud Studio,提供即開即用的在線開發環境,滿足AI場景下大模型運算、圖形計算等場景對GPU算力工作空間的需求,實現AI原生應用開發中提效降本與高效協作

64、,對于教育行業創新應用與教學成果快速迭代、上線更具有長效價值。3.路線三-定制化模型精調訓練(1)騰訊云TI平臺落地背景及挑戰 大模型驅動“智慧涌現”,AI大模型的發展與運用,正在逐步貫穿到企業的設計、研發、生產、營銷、服務全流程,助力企業創新的同時,幫助員工提效,加速云智一體進程,但是如何將大模型快速應用到自己的業務場景中仍然面臨大量挑戰。第一,缺乏高質量行業知識數據。通用大模型在邏輯推理、常識問答等場景下有較好的表現,但是在垂直行業業務場景下效果往往差強人意,需要有大量高質量的行業知識數據,通過大模型訓練優化,提升大模型在具體垂直行業業務場景下的能力。生成式AI產業落地路徑研究報告 31C

65、loud AI Studio方案價值為客戶提供豐富高質量的基底大模型。騰訊云TI平臺內置騰訊自研的超千億參數規?;煸竽P?,其使用超2萬億token預料優化預訓練算法及策略,并改進了注意力機器、開發思維鏈新算法,在多輪對話、知識增強、邏輯推理、內容創作等方面有優勢能力。同時,基于大量垂直行業的業務數據,我們精調訓練出金融、醫藥、教育、汽車等多個行業的行業大模型,降低了不同行業數據的彼此干擾,提升模型在行業垂類任務的性能。完善的工具平臺支持“簡單、穩定、高效”的大規模訓練。簡單,暨騰訊云TI平臺為用戶提供簡單的大規模訓練流程,內置精調物料,一鍵啟動精調 第二,大規模并行訓練穩定性要求高。由于大模

66、型的訓練參數量、數據量大,在進行大模型訓練時,需要大量的GPU訓練資源且訓練周期長,對訓練平臺的斷點續訓、故障自動隔離、自動容錯,異常感知等底座能力考驗極大。第三,計算資源少。大模型的訓練和推理,對計算資源和存儲資源有很高的需求,大規模分布式訓練需要高效的資源調度管理系統,減少節點資源碎片,提高調度成功率,并需要靈活的任務優先級配置策略,進一步提升資源利用率。產品方案TI 的一站式大模型精調解決方案生成式AI產業落地路徑研究報告 32任務,最快僅需5步即可完成大模型精調落地。穩定,通過機器故障自動遷移、異常POD驅逐重新調度、自動斷點續訓,保障大模型訓練任務的穩定性。高效,通過拓撲感知調度、g

67、ang調度策略,任務優先級配置策略等技術提高資源利用率,并通過自動注入通信配置、網絡拓撲等相關參數提升開發效率和問題排查效率。提供算力、存儲、計算多重優化加速能力。通過自研的Angel加速框架,通過CPU&GPU異步調用提高吞吐,通過緩存定長和池化,提升參數支持規模,優化顯存;自研大模型計算和并行優化方案,結合編譯和手工優化,解決低配顯存顯卡無法訓練超大模型問題;為用戶提供三重加速優化。(2)騰訊云異構計算平臺落地背景及挑戰 背景:AI已經進入了一個高速發展期,模型參數達到萬億級,在訓推場景,對算力的規模、性能、容錯、性價比提出前所未有的挑戰。大模型訓練場景痛點:大模型AI場景下,對于訓練效率

68、要求非常極致,單純堆疊計算節點存在“木桶效應”,存儲、網絡一旦出現瓶頸就會導致運算速度嚴重下降。推理場景痛點:AI 推理是前向傳播的用戶請求計算過程;需要尋求低時延、大吞吐、低成本、低功耗之間的平衡。部署、易用的痛點:AIGC 浪潮下,AI 應用部署和使用需求激增。因 GPU 等異構芯片的特殊性,自身部署使用難度大,涉及到選型、驅動安裝、軟件棧適配、版本兼容、應用部署等多重問題,中小企業及開發者望塵莫及。而且涉及到安全隱私問題,客戶要求私有化或本地化部署,來運載自己的大模型及相關業務。生成式AI產業落地路徑研究報告 33產品方案方案價值極致性能:搭載業界前沿芯片與騰訊自研 XPU 芯片;自研智

69、能網卡,虛擬化零損耗,性能媲美物理機;支持業內唯一100GVPC 和獨家3.2T RDMA 網絡;定制硬件,針對場景特殊優化,性能領先業界,萬億參數大模型訓練時間縮短 80%。極致易用:一鍵安裝 GPU 驅動;基礎環境自動化部署;提供批量任務管理、資源管理工具。支持多種AI環境快速部署,如ChatGLM-6B、StableDiffusion等。極致兼容:實例豐富度全球領先;統一的軟件接口 TACO,屏蔽底層硬件差異,保障平臺穩定;云原生網絡架構,實現訓練推理混部。極致降本:支持 vGPU 按需使用;qGPU 容器級資源切分,顆粒度達 5%,提供 GPU 算粒級彈性服務。產品全景能力生成式AI產

70、業落地路徑研究報告 34規模領先:騰訊云的算力調度總規模超過1.5億核,并提供16 EFLOPS(每秒1600億億次浮點運算)的智算算力。未來,新一代集群不僅能服務于大模型訓練推理,已實現全國90%+的大模型客戶覆蓋度,還將在自動駕駛、科學計算、自然語言處理等場景中充分應用。4.模型底座(1)騰訊混元大模型 騰訊混元是騰訊基于全鏈路自主可控技術打造的生成式大模型,通過持續迭代和實踐,積累了從底層算力到機器學習平臺再到上層應用的完整自主技術。目前,騰訊混元大模型參數量已達到萬億,tokens數量超過7萬億。算法層面,騰訊混元大模型率先采用混合專家模型(MoE)結構,并在這個過程積累大量自研技術,

71、其中包括創新的專家路由Routing算法、獨創的MoE Scaling Law機制以及合成數據技術,實現模型總體性能相比上一代Dense模型提升50%。訓練和推理框架上,騰訊自研Angel機器學習平臺面向大模型訓練,在預訓練、模型精調、強化學習多個階段進行優化,相比業界開源框架,可以用更少的資源訓練更大的模型,訓練速度是主流框架的2.6倍;面向大模型推理,Angel機器學習平臺實現成本相比業界主流框架下降70%,支持國產主流硬件的適配。算力層面,騰訊擁有自研星脈高性能計算網絡,使用領先的3層網絡架構,可支持單集群十萬卡規模,具備業界最高的3.2T通信帶寬,可提升40%的GPU利用率,節省30%

72、60%的模型訓練成本,為AI大模型帶來10倍通信性能提升。此外,星脈網絡中的交換機、光模塊、網卡均是騰訊全鏈路自研?;谠鷮嵉幕A能力積累,騰訊混元大模型積極推進相關應用落地,讓大模型創造更多價值。目前騰訊內部超過600個業務及場景已接入測試,騰訊旗下協作SaaS(軟件即服務)產品全面接入騰訊混元大模型,包含企業微信、騰訊會議、騰訊文檔、騰訊樂享、騰訊電子簽、騰訊問卷、騰訊云AI代碼助手等產品。騰訊廣告基于混元大模型推出AI廣告創意平臺妙思,有效提高廣告主生產及投放效率。生成式AI產業落地路徑研究報告 35 無論是企業客戶還是個人開發者,都可以通過騰訊云上API直接調用騰訊混元,實現更便捷的智

73、能化升級。騰訊還聯合生態伙伴,將大模型技術與20多個行業結合,提供超50個行業大模型解決方案。(2)騰訊云行業大模型 為更好解決特定行業問題,基于混元技術能力,結合垂直行業業務場景,加入大量垂直行業數據,精調訓練出垂直行業大模型。相比通用大模型,行業大模型能夠理解垂直行業的專業領域知識,提供更加精準的回復;并且在數據安全、生成內容控制方面會有進一步的能力提升。目前騰訊云已經推出金融行業大模型、醫學行業大模型、汽車行業大模型、教育行業大模型、文旅行業大模型等多個行業大模型,提供超50個行業大模型解決方案,助力客戶構建專屬大模型及智能應用,幫助客戶提質增效。以騰訊云金融行業大模型為例,其是在通用大

74、模型基礎上,加入大量金融行業數據進行訓練,并通過行業專家強化反饋,提升了金融行業大模型在金融領域的任務效果??梢宰鳛榻鹑跈C構員工的智能助手,在知識問答、輿情摘要、營銷文案生成、研報摘要、產品推薦、投資教育等場景幫助金融機構提高工作效率和用戶體驗。騰訊云也將持續升級產品、技術能力,加速行業大模型在千行百業應用落地,助力更多實體實現高質量的數智化轉型升級。生成式AI產業落地路徑研究報告 36 5.全棧安全防護(1)騰訊云金融風控大模型落地背景及挑戰 隨著零售信貸業務的發展,金融機構已經進入精細化運營和差異化競爭的階段,各機構的產品設計和目標客群都有比較大的差異,反欺詐技術也從過去的通用反欺詐模型發

75、展到定制化的階段。然而,金融反欺詐受表現期長,樣本收集成本高,產品渠道迭代快等因素影響,普遍面臨樣本不足問題,導致金融定制化模型極易發生過擬合,導致上線后模型不穩定,或者效果衰減快,給風險控制帶來很大挑戰。產品方案天御金融反欺詐大模型技術方案生成式AI產業落地路徑研究報告 37方案價值建模無憂:騰訊專家級建模 金融風控大模型融合了騰訊安全天御大量風控建模專家的經驗以及知識,能自動實現專家級精度的風控建模,客戶無需模型專才也能高效構建風控模型。部署提效:全流程自動化 在建模階段只需使用少量提示樣本,就能自動構建適配客戶自身業務獨有特點的風控模型,并且實現全流程自動化的部署上線,支持客戶持續發布快

76、速集成到自身的風控系統上,幫助客戶風控策略部署效率提升10倍。0510152025303540消費分期貨中預警拒絕回撈傳統建模效果(KS)MaaS建模效果多場景建模效果匹配專家建模024681012建模周期(天)上線周期(天)傳統建模效果(KS)MaaS建模效果多場景MaaS 建模前后周期對比10370生成式AI產業落地路徑研究報告 38性能提升:解決“小樣本”風控難題 依托20多年沉淀的海量欺詐樣本和多場景下的豐富風控模型能力,金融風控大模型能幫助樣本積累有限以及新業務上線“零樣本”的企業,高效解決“小樣本”訓練難題,模型區分度比傳統模式提升20%,快速構建風控體系,支撐業務發展。360度模

77、型評估 金融風控大模型為客戶提供超越自身樣本的模型評估體系,包含所有的風控模型評估指標,覆蓋全量金融風控的細分場景,并在跨場景的泛化性能力上提升30%,幫助企業新業務快速拓客。01020304050train_kstest_ksoot_ks傳統定制模型風控大模型大模型傳統模型性能對比02040銀行場景消費場景互金場景傳統定制模型風控大模型不同場景大模型泛化能力對比生成式AI產業落地路徑研究報告 39(2)騰訊云天御內容風控落地背景及挑戰 AIGC技術在帶來豐富創造力的同時,也讓數據真實性、內容合規性、用戶隱私和身份,以及倫理等問題遭到空前挑戰。從監管視角出發,國家對AIGC的整個業務形態提出需

78、要落實三類合規要求,分別是數據、內容和算法。在數據合規方面,2023年4月國家互聯網信息辦公室公布的生成式人工智能服務管理辦法(征求意見稿)(以下簡稱辦法)提到,在AIGC特定的大模型下提供者應當對生成式人工智能產品的預訓練數據、優化訓練數據來源的合法性負責。在內容合規方面,辦法中提到利用生成式人工智能產品提供聊天和文本、圖像、聲音生成等服務的組織和個人,承擔該產品生成內容生產者的責任;提供者應當依法依規對生成的圖片、視頻等內容進行標識,履行信息內容管理主體責任,加強本平臺網絡信息內容生態治理。在算法合規方面,算法推薦服務提供者必須落實算法備案要求、算法評估要求、算法相對透明要求、用戶權益建立

79、健全機制等要求。產品方案騰訊AIGC內容風控全鏈路解決方案生成式AI產業落地路徑研究報告 40方案價值 騰訊天御內容風控以接口輸入、內容預處理、模型識別、策略輔助、平臺調度分析、人工標注運營共6個維度為用戶提供完整的內容安全解決方案,同時與騰訊云對象存儲、云直播、云點播、實時音視頻等云上工具打通,讓AIGC企業在云上一次接入,即可完成全套內容安全審核,大幅提升效率。經驗豐富:20 多年運營經驗+萬億級違規處理。高準確率:機器準確率達 99.99%。一鍵接入:與騰訊云五大云組件聯動。量體裁衣:提供 十幾種定制識別服務。敏捷響應:小時級響應針對性服務。(3)騰訊數據安全治理大模型數據安全合規要求

80、在AIGC技術的快速發展和應用過程中,相關數據安全合規問題也一直備受監管單位關注。最近幾年,監管單位陸續下發了互聯網信息服務算法推薦管理規定、互聯網信息服務深度合成管理規定、生成式人工智能服務管理暫行辦法等規章政策,以網絡安全生成式AI產業落地路徑研究報告 41法、數據安全法、個人信息保護法三大上位法為依據,完善了AIGC領域的監管框架,要求建立健全信息發布內容審核、數據安全、個人信息保護、應急處置等管理制度和技術措施,規定了AIGC服務的提供者和運營者應履行的各項合規義務,包括訓練數據保護、個人信息保護、用戶輸入內容和使用記錄的保護、安全評估、數據定期審核等內容。大模型面臨的安全風險 通過分

81、析AIGC業務流程每個階段面臨的安全風險,得出以下風險模型:生成式AI產業落地路徑研究報告 42大模型數據安全保護解決方案 通過分析AIGC面臨的數據安全風險以及合規要求,對AIGC業務流程的不同階段匹配數據安全防護策略,方案如下:通過對大模型的用戶、實體、模型文件實施分級別的訪問控制,實現權限分離,通過數據安全治理中心、數據安全防護網關、機密計算平臺等產品能力,實現大模型業務全流程中海量數據和大模型的完整性和保密性。通過此方案可以實現如下效果:注:DSGC:騰訊云數據安全治理中心 CASB:騰訊云數據安全防護網關生成式AI產業落地路徑研究報告 43方案價值騰訊云數據安全治理解決方案針對AIG

82、C場景做了適配開發,支持海量數據的敏感度識別和安全防護、審計溯源,防止隱私數據泄露、被濫用、被篡改,滿足數據合規要求。騰訊云數據安全治理產品利用騰訊大模型能力和高性能算力,訓練數據安全大模型并反向賦能大模型數據安全,在敏感數據發現、數據標注、數據防泄漏、血緣分析、自動化響應等能力上具備顯著優勢,敏感數據自動化識別準確度達99%以上,風險識別準確度達97%以上,大大減少漏報率和誤報率,減少安全運營階段的工作量。生成式AI產業落地路徑研究報告 44第四章生成式AI產業最佳落地實踐(一)路線一-標準軟件產品方案 1.曠真律所-騰訊樂享AI助手項目背景及挑戰 曠真律師事務所是國內領先的法律服務機構之一

83、。律所所在的知識密集型行業,對知識的沉淀、更新和應用,有天然的、更高的要求。該行業的知識具有很強的專業性與實踐性,需要不斷學習和更新知識庫。而傳統的知識傳承是“師帶徒”模式,受帶人水平、人員穩定性的影響很大,需要系統化的知識管理平臺將隱形知識顯性化,為他人所用、為組織所用。此外,AI技術的出現能夠大幅提升法律文書工作的效率,快速分析幫助律師判斷和決策,促進團隊創新和協作,對推動法律行業的工業化進程至關重要。產品方案 導入內部知識文檔4w+至樂享平臺,打造專屬AI知識庫,員工使用樂享AI助手智能問答進行專業問題對答,提升知識學習效率;并通過反饋-實時提醒作者修改-管理后臺進行跟進分析,促進知識迭

84、代。打造企業培訓陣地,實現學考練同步執行,提升培訓效率;眾多資深律師作為培訓內容生產者,通過AI助手生成課程大綱、知識點,生成課后考題,提升知識生產效率。全面使用樂享AI助手、知識庫、課堂、直播、論壇、項目等功能模塊,助力曠真律所知識管理、學習培訓、文化建設三大場景提效。生成式AI產業落地路徑研究報告 46項目成效 曠真律所依托騰訊樂享打造團隊協作和知識管理平臺,實踐效果顯著:目前已在“曠真大學樂享平臺”存檔4萬余份員工編撰的指引和案例,開設了873場培訓和課程,220余場認證直播。平臺最高月訪問量達40萬人次,折合每人每天平均訪問10次。騰訊樂享的創新意義在于它打破了傳統企業知識管理的方式,

85、通過AI助手,使知識的生產、獲取、共享、迭代和管理變得更高效。不僅幫助曠真快速沉淀和傳承知識,降低人員流動帶來的風險,提高團隊效率和創新能力;還助力企業文化落地,打造了一支更具有學習力、凝聚力和奮斗精神的團隊,讓曠真更好地應對外部環境的變化。另外,騰訊樂享的應用也有助于推動曠真的數字化轉型,為律所行業的可持續發展注入新的活力??蛻粼u價 “借助騰訊樂享AI助手,目前律所已形成自己的AI知識庫。員工調研顯示,對典型問題的AI回答滿意度達93分,端到端問題準確率達91%?,F在有問題就找樂享AI聊,要內容就找樂享AI幫忙出,騰訊樂享是曠真人的智能大學!”2.招商銀行-AI代碼助手實踐項目背景及挑戰 客

86、戶作為頭部金融機構,積極擁抱智能化場景,率先探索AI驅動降本增效的落地方案;面臨以下痛點:1、企業安全合規要求高,代碼不可外泄;2、開源模型難以定制和調優、資源成本較高,產生投入產出管控顧慮;3、缺乏適用的標準評測數據集;4、IDE插件版本多,統一管理與多版本兼容挑戰大。曠真法律集團學習與能力發展部部長 龍慶生成式AI產業落地路徑研究報告 47產品方案項目成效1、成本降低:基于自研行業模型推理成本遠低于大模型成本。2、效能提升:成功打造出性能與體驗更優、安全合規且滿足業務場景的行業模型,建立起適合業務開發場景的模型微調評測標準,實現開發效率30%+提升。(二)路線二-標準模型能力增強 1.百川

87、智能-騰訊云向量數據庫Tencent Cloud VectorDB項目背景及挑戰 大模型提供在線推理的服務背后有一個模塊叫搜索增強,這個搜索增強服務需要向量數據庫提供數據檢索的功能,數據規模從1億-100億級別,對大規模、高性能、穩定性有比較高的要求。100億級單索引存儲規模,上千節點的集群管理,對向量數據庫的架構設計,系統穩定性有著較高的要求。代碼補全代碼診斷單元測試代碼對話私有化微調智能生成智能對話根據光標上下文的代碼或注釋生成代碼建議??梢詫W習客戶自有的代碼,定制化幫助開發者診斷代碼問題,給予修正建議質量部主導UT Agent1.AST構造table-driven框架2.強reasoni

88、ng模型生成case3.運行驗證,模型糾錯幫助開發者隨時進行技術問答,并給予具備推理性價值的技術答復安全約束、規范數據訓練工坊模型倉庫模型發布企業用戶模型微調底座-私有化模型管理模型部署模型導入模型管理模型優化模型測試版本管理模型文件手/自動伸縮流量分配服務監控熱更新ConfigMapSecret解決方案生成式AI產業落地路徑研究報告 48產品方案 騰訊云向量數據庫是一款全托管的自研企業級分布式數據庫服務,源自騰訊集團自研的向量檢索引擎 OLAMA,專用于存儲、檢索、分析多維向量數據。該數據庫支持多種索引類型和相似度計算方法,提供多副本高可用特性,單索引支持10億級向量規模,百萬級 QPS 及

89、毫秒級查詢延遲,不僅能為大模型提供外部知識庫,提高大模型回答的準確性,還可廣泛應用于推薦系統、NLP 服務、計算機視覺、智能客服等 AI 領域。集成Embedding功能,高效易用 Embedding 功能是騰訊云向量數據庫提供將非結構化數據自動轉換為向量數據的能力,目前已支持多種語言的文本 Embedding 模型??蓪崿F原始文本自動向量化進行寫入/檢索,對齊傳統數據庫使用體驗,無需關注向量化過程。數據寫入/檢索自動向量化,對齊傳統數據庫的使用體驗,無需關注向量生成過程。優化GPU處理速率,性能提升10倍,超高配速快速處理數據。海量GPU資源池提供算力服務,按需使用,成本更優。端到端AI套件

90、,AGI時代的知識庫解決方案 騰訊云向量數據庫實現面向RAG領域中內容檢索的端到端解決方案,在向量數據庫中集成文檔預處理、自動向量化、可視化調優等功能,簡化RAG中的數據處理以及檢索流程,大幅降低接入門檻,對比傳統處理方案召回率提升30%,實現界內最高召回率,加以可視化調優進一步幫助業務快速搭建定制化的知識庫服務。檢索召回效果提升30%在文檔預處理、索引構建、結果排序等環節均進行了專項優化,并構建獨特的精排方案,更適用于各類文檔檢索場景,召回率對比傳統方案顯著提升。生成式AI產業落地路徑研究報告 49接入成本降低10倍 相較于自行完成數據處理、向量化、創建索引等操作,AI套件方案提供簡單、高效

91、的解決方案,將知識庫接入的時間從1個月提升到1小時,接入成本降低10倍以上。項目成效 解決千億數據量級下的數據分區、過期刪除等問題,冷熱數據分離,提升海量數據下的檢索性能。2.中國大熊貓保護研究中心+廣東工業大學-TI平臺*知識引擎項目背景及挑戰 大熊貓行為識別“大熊貓的AI飼養員”。產品方案 (1)廣東工業大學、騰訊云、中國大熊貓保護研究中心聯合開展人工智能+大熊貓保護探索。一階段圍繞大熊貓采食行為視頻化自動識別技術進行研發。這個階段,借助騰訊云一站式機器學習生態服務平臺TI平臺的,進行數據清洗、標注、模型訓練,開發了全球首個【大熊貓行為智能識別模型】,并生成大熊貓日常管理數據,如飲食習慣、

92、行為規律等。主要使用到的TI平臺功能如下:依托平臺便捷易用性,多人協同完成大熊貓視頻數據的數據過濾、清洗、標簽,快速構造大熊貓行為識別圖像訓練庫。依托平臺的工具、算力等資源,加速大熊貓行為識別模型的搭建、訓練、調試、優化。(2)未來,隨著根據【大熊貓行為智能識別模型】生成的大熊貓日常管理數據的增多,如何更加高效地利用這些數據去輔助飼養員管理保護大熊貓,成為項目探索的重點。騰訊大模型知識引擎將是我們重點探索的方向。比如,我們將大熊貓日常管理數據、大熊貓管理保護垂直領域的專業知識導入大模型知識引擎,讓大模型對所有的數據、知識進行解析、重組,回答飼養員關于大熊貓日常行為狀態問題,打造一個信息全面、知

93、識專業的大模型生成式AI產業落地路徑研究報告 50飼養員助手,為飼養員快速提供單個大熊貓或者大熊貓種群的知識信息匯總和分析(含真實數據知識化和規范知識),助力大熊貓保護。3.中原出版集團-騰訊云大模型知識引擎項目背景及挑戰 由河南省教育廳牽頭,中原出版集團牽頭建設,面向河南省全省上千所中小學提供智慧教育平臺,通過724小時全天候大模型知識助教實現因材施教,打造教師助理及學生助手,整體提升教學效率及質量。教育內容的準確性至關重要,需確保大模型生成的內容不僅符合教育標準,而且還要適應不斷更新的教育政策和課程要求,中原出版集團要將河南省百萬級的中小學教材文檔導入,進行知識梳理配置,工作量龐大且復雜。

94、產品方案 知識引擎有現成開放接口,支持外部文檔通過接口寫入知識引擎文檔庫,無需梳理文檔配置問答對,可針對文檔直接問答。大模型支持教學大綱設計、習題解析等場景問答,可通過模型精調提升問答準確率,提升教學效率和質量。項目成效 目前已在河南省鄭州市部分重點中小學上線,在備課材料、教學實施、學生管理及工作事務四大場景幫助教師提升效率;在知識學習、作業聯系、備考準備、學習提升四大場景助力學生提升學習效率和質量。4.萬榕信息-騰訊云大模型知識引擎項目背景及挑戰生成式AI產業落地路徑研究報告 51 萬榕信息是一家成套開關設備產業互聯網集成服務公司,與騰訊云攜手打造面向成套開關設備行業提供解決方案和專業服務的

95、萬智云電氣產業互聯網平臺,借助人工智能技術提升行業設計效率,同時探索基于大模型的創新業務,擴寬服務應用邊界,提供更準確,個性化的解決方案。電器行業專業文檔內容復雜,包括國家標準,過往歷史技術文檔,設計文檔,網頁信息等,包含圖文表混排及大量數據,問答梳理困難。傳統客服機器人問答時,無法基于文檔生成設計、方案、框架類內容進行回答。產品方案 騰訊云大模型知識引擎具有解析復雜表格文檔的能力,可將專業電氣類技術文檔內容準確解析,通過大模型進行理解推理,生成用戶提問相對應的答案。大模型支持簡單數學計算、數字范圍判斷,可解決數字范圍類提問無法窮舉的問題;大模型具備方案框架生成的能力,可應對用戶方案設計思路類

96、提問。項目成效 創建行業知識庫,集結行業專家知識和經驗,通過基于騰訊云大模型知識引擎打造的在線服務平臺“榕博士”,供內部員工學習及合作伙伴查閱,促進知識共享。通過知識共享平臺,研發人員可高效了解行業設計規范及內部產品標準,提效研發效率,售前人員可快速檢索及定位產品文檔手冊,相應客戶咨詢,提升服務質量。5.中原消金-騰訊金融風控大模型項目背景及挑戰 面對新增零售信貸業務風控難與存量零售風控業務風險上升的雙重挑戰,中原消費金融攜手騰訊云天御將“風控策略”與“算法模型”深度融合,構建了一個以多元化的平臺能力、技生成式AI產業落地路徑研究報告 52解決方案術能力、數據能力為基礎,涵蓋“獲客+授信準入+

97、貸中管理+貸后管理”全流程的智能風控體系。面對日益龐大的市場需求和更加嚴苛的合規要求,中原消金如何搭建完善貫穿客戶全生命周期、業務全流程的智能風控體系是一項持續性的挑戰。傳統的風控模型以專家模型和邏輯回歸為代表,強調可解釋性和穩定性。隨著信貸業務走向普惠、經營的客群更加多樣化,需要使用更有效的算法來做信息整合和客群分層。為了更好地挖掘和發揮數據的價值,變量使用的量級和復雜度均會大幅提升,這對風控變量的管理提出更高的要求。圍繞客戶全生命周期的管理,模型從側重于貸前、貸中、貸后等環節的客戶風險識別,擴展到了包括客服、電詐、消保、協商還款等場景,更多地從經營的視角去審視模型帶來的增益。生成式AI產業

98、落地路徑研究報告 53。產品方案 面對新增零售信貸業務風控難與存量零售風控業務風險上升的雙重挑戰,中原消費金融攜手騰訊云天御將“風控策略”與“算法模型”深度融合,構建了一個以多元化的平臺能力、技術能力、數據能力為基礎,涵蓋“獲客+授信準入+貸中管理+貸后管理”全流程的智能風控體系。中原消費金融還與騰訊云金融風控大模型所積累的風控知識和能力進行互動,更高效率地生產出專屬于中原消費金融的風控模型。目前雙方通過這樣的模式聯合共建了10個風控模型,應用在反欺詐、信用初篩、拒絕回撈、客戶經營等多個場景。多模態風控知識金融風控大模型Prompt一鍵適配客戶prompt適配知識汽車金融小額短期消費分期大額長

99、期消費場景互金場景信用卡場景銀行助貸銀行場景消費場景互金場景生成式AI產業落地路徑研究報告 54。項目成效 在雙方聯合構建的智能風控體系的支撐下,中原消金有效降低欺詐行為的發生,并在業內率先正式推出“7天無理由還款”權益,該權益是中原消費金融公司面向首次借款的用戶推出的一項鼓勵用戶理性消費的保障性權益,也實現了消費金融行業產品形態“從0到1”的重大突破。建模周期從原來的 10天降至 3 天,上線周期從傳統的7天升級為小時級上線。0510152025303540消費分期貨中預警拒絕回撈傳統建模效果(KS)MaaS建模效果多場景建模效果匹配專家建模024681012建模周期(天)上線周期(天)傳統

100、建模效果(KS)MaaS建模效果多場景MaaS 建模前后周期對比生成式AI產業落地路徑研究報告 55(三)路線三-定制化模型精調訓練 1.長安汽車-行業大模型項目背景及挑戰 客戶APP、車機的小安助手及客服中心產品需升級能力:目前采用關鍵字匹配的方式回答用戶問題,若未匹配則不能很好的回答響應,用戶體驗較差。后端知識庫存儲了長安的車型知識,目前是人工錄入,隨著車型越來越多,效率低成本高,無法滿足業務需求。產品方案 基于汽車行業大模型,結合客戶數據,訓練長安大模型。利用大模型泛化解析能力,解析客戶手冊、文檔,生成知識對,完善知識庫;再基于大模型語義理解能力,結合知識庫,對用戶提出的問題進行更準確的

101、回答。項目成效 由周級錄入,升級到分鐘級生成天級校對,效率提升數十倍。人工錄入質量層次不齊,模型生成標準化,不依賴專家經驗。人工方式人員培養難,模型方式能力可迭代、可擴展。成本隨業務規模增長可控。由單輪會話提升到具備多輪對話能力。對傳統AI閑聊,升級到大模型閑聊,用戶體驗大幅提升。通過大模型兜底回復,提升問題解答率,提高結果正確率。生成式AI產業落地路徑研究報告 56 2.某大模型企業項目背景及挑戰 客戶自研文本大模型和語音大模型在上線后,遇到了內容審核的多項難點:區別于真人聊天,用戶會把AI當做問答工具,會涉及到歷史、政治、價值觀等話題,平臺的內容安全風險增加。產品迅速破圈,存在少量高危用戶

102、會嘗試試探平臺底線。由于場景的特殊,違規數據中色情話題比例較高。當前AIGC內容安全受到國家高度重視,監管要求AIGC技術提供商要在數據、合規、算法三大形態上落實合規要求,而即將上線的自研文本大模型和語音大模型面臨著新型AI 偽造、虛假、違背倫理、不適內容、未成年人等違規內容,以及AI 問答產生錯誤引導等內容,大大增加了審核的難度和復雜度。生成式AI產業落地路徑研究報告 57產品方案 針對 AIGC 技術所帶來的內容風險挑戰,騰訊安全依托二十余年的安全對抗經驗,為該大模型企業提供了AIGC全鏈路內容安全解決方案?;跀祿弦?、內容合規、算法合規等相關政策要求,為企業已上線的大模型平臺提供包含審

103、校服務、安全專家服務、機器審核服務、版權保護服務五大能力板塊,覆蓋AIGC類應用從模型訓練到內容生成到事后運營全過程的內容安全建設,確保AI大模型可信、可靠、可用。項目成效 天御AIGC內容安全解決方案覆蓋了“虛擬人創建”、“虛擬人 1V1對話”“熱點話題審核”等多個場景,為企業提供十幾種定制識別服務,機器審核準確率達 99.99%,有效保障了大模型生成內容的合規、可用。3.閱文集團-TI平臺行業大模型精調項目背景及挑戰 作為國內頭部的網文創作公司,閱文集團希望使用生成式AI技術,在文生圖/圖生圖場景中,面向C端用戶的應用需要提供高QPS、低模型耗時的方案。虛擬人創建審核流程1v1對話審核流程

104、用戶prompts輸入天御文本審核天御文本審核BLOCKPASSAIGC生成內容天御視覺審核BLOCKPASS前端提示:圖片不適宜/調整關鍵詞/AI輸出結果返回用戶用戶聊天輸入禁發詞PASSBLOCK天御文本審核PASSBLOCK柔性處置,拒絕輸入/輸出AI機器人同時輸出4條數據天御文本審核取業務和安全的綜合最高分做最終輸出業務相關性分+內容風險分生成式AI產業落地路徑研究報告 58產品方案項目成效 閱文基于騰訊云TI平臺搭載的angel推理加速引擎,推理能力平均提升30%,在文生文領域,更是把成本降低到原來的1/4。此外,TI平臺提供動態batch和自動服務調度機制,大幅提高了服務吞吐量,模

105、型優化和部署模塊一鍵加速和發布模型,支持模型推理加速的過程中動態加載不同的LoRA模型,極大減輕了服務部署的維護成本??蛻粼V求方案價值產品示例文生圖/圖生圖,大模型文生文推理部署降本增效算法和工程團隊精力有限,模型數量多迭代款自行搭建推理集群和服務平臺,模型更新復雜推理成本高昂,推理速度已達瓶頸千百億級別模型推理部署,推理吞吐和時延存在瓶頸降低維護難度降低推理成本推理和加速性能提高性能文檔計算節點及推理加速能力,推理性能提升30%高效大模型部署和服務接入提供動態batch和自動服務調度機制,大幅提高服務吞吐量模型優化和部署模塊一鍵加速和發布模型,支持模型推理加速的過程中動態加載不同的LoRA模

106、型模型文件上傳文件存儲,導入模型1進行模型優化2部署模型3生成式AI產業落地路徑研究報告 59第五章生成式AI發展展望 通過上一章節分析各行業的最佳落地實踐,我們可以發現生成式AI技術已經取得了突破性進展,并且在各個領域得到了廣泛的應用。隨著不斷的研究和實踐,生成式AI技術本身仍然存在著許多可以突破創新的方向。更加高效靈活的架構、覆蓋模態的持續擴充、具身智能等都是可期的生成式AI新技術趨勢。這些新技術突破,必將帶來更多的創新成果和應用場景。首先,我們認為新架構是一個至關重要的技術創新方向。本輪技術革命源頭是Trans-former架構的誕生,但距今已有7年之久,而且計算效率距離人腦還有很大的提

107、升空間。技術人員始終在開發下一代人工智能架構,卡內基梅隆和普林斯頓聯合研發的Mamba架構正在向Transformer發起挑戰。未來勢必涌現出更高效、更靈活的架構,帶來更多的優勢和創新,為未來生成式AI應用擴展奠定堅實基礎。其次,我們關注到多模態能力持續擴展的趨勢,如基因、生物電、雷達信息等?;蚪M學等信息可以視為另一種“語言”,復雜度極高,生成式AI技術正在突破這些未涉及的模態領域。這一技術趨勢將帶來生成式AI在生命健康、科學研究、汽車等領域更加豐富的應用場景,引領更多行業開啟科技變革。第三,具身智能是未來數年生成式AI又一技術突破點。具身智能,是指通過將生成式AI應用到物理世界,載體可以是

108、機器人、也可以是智能設備,從而實現更加智能化和個性化的互動體驗。具身智能延展了生成式AI技術的應用邊界,家居、交通等領域可能誕生產品價值創新的革命性變化。生成式AI技術的蓬勃發展已經為我們推開了通向通用人工智能的大門。研究人員還在不斷推動技術進步,企業也將積極采納新技術,并應對應用落地過程中的挑戰,最終共同努力實現通用人工智能的目標。生成式AI產業落地路徑研究報告 61附錄1文旅零售能源教育泛互地產物業運營商傳媒政務出行醫藥金融生成式AI應用場景盤點運營效率提升運營效率提升產品價值創新運營效率提升客戶體驗提升業務流程重塑產品價值創新運營效率提升運營效率提升客戶體驗提升業務流程重塑產品價值創新運

109、營效率提升業務流程重塑產品價值創新客戶體驗提升產品價值創新客戶體驗提升客戶體驗提升業務流程重塑金融APP開發運維管理產品需求挖掘智能投研智能盡調海報素材生成營銷文案生成輿情監控個性化營銷客群分析數據分析智能外呼智能推薦智能理財助手代碼助手辦公助手會議紀要(類似騰會)技術方案生成、測試用例生成營銷文案生成經營數據分析企業內部知識平臺數字人視頻彩鈴智能投顧智能投教智能客服金融產品創新設計交易策略優化持倉診斷分析宏觀行情解讀運營效率提升客戶體驗提升業務流程重塑智能調度銷售助手代碼助手員工培訓助手虛擬展廳智能客服智能客服與產品咨詢庫存管理車輛制造優化智能用車助手智能行程規劃政策咨詢政策解讀智能客服在線

110、辦事引導與輔助政務服務滿意度調查數據分析與決策支持公共安全與應急響應營銷海報生成營銷文案生成客流數據分析文創產品設計數字導覽員智能展品介紹景區服務咨詢智能點位介紹旅行行程規劃景區路線規劃文創產品銷售沉浸式文化體驗數字人與大模型交互智能預問診智能導診助手醫學知識問答助手用藥/檢查推薦心理疏導服務檢查檢驗單解讀用藥助手隨訪科室推薦疾病診斷助手病例生成助手出院小結生成處方質量控制虛擬醫藥代表醫藥/醫療器械銷售助手院務助手醫學考試培訓助手AI藥物研發病例分析與輔助診斷藥物安全性監測與預警文章摘要生成圖片素材生成多模態內容檢索內容合規審查稿件生成視頻生成讀書助手虛擬員工智能剪輯與合成虛擬角色與互動體驗包

111、裝設計圖生成營銷海報素材生成營銷文案生成商品運營數據分析客戶洞察分析業務代表產品培訓運營效率提升數字人解說數字人直播虛擬試衣間與個性化搭配建議智能庫存管理物流供應鏈優化產品價值創新業務流程重塑制造業務流程重塑電力負荷預測智能材料設計產品價值創新能源設施故障預測與維護產品咨詢客服個性化產品推薦系統智能售后服務與意見反饋處理客戶體驗提升社交角色扮演業務流程重塑沉浸式互動體驗設計產品價值創新銷售助手大模型物業管家智能前臺智能客服供應鏈優化管理庫存管理預測建筑運維決策客戶體驗提升客戶體驗提升銷售助手IT運維、網絡判障上屏推薦導購產品自動介紹產品自助使用助手智能售后與意見處理客戶體驗提升運營效率提升教學

112、計劃生成教案生成助手作業出題作業批改輔助編程文獻閱讀助手試題庫標簽分類招生營銷助手數據分析心理咨詢引導客戶體驗提升招生咨詢助手校園行政問答教務助手學工助手就業/升學助手產品價值創新口語對話虛擬老師個性化學習路徑規劃虛擬實驗室與模擬訓練運營效率提升設備巡檢維修知識助理產品設計助手智能排產智能需求分析與產品迭代生產數據分析知識管理平臺客戶體驗提升產品咨詢助手智能訂單處理與跟蹤智能故障診斷與預防業務流程重塑數智人直播新材料發現智能采購與庫存管理物流路徑優化AI審圖建筑圖紙生成數據分析知識管理員工行政助手房產經紀助手虛擬樓盤展示與體驗產品價值創新業務流程重塑運營效率提升游戲建模(背景/道具等)音視頻摘

113、要代碼輔助生成智能推薦自動化客戶服務數據分析與預測用戶行為分析運營效率提升運營效率提升檢修助手電力調度知識庫AI審圖場站巡檢煤礦安全預警內部知識學習平臺客戶體驗提升營業廳數智人智能客服電網智能客服設備自動報修智能訂單處理與跟蹤智能故障診斷與預防公文撰寫政策分析輿情分析政務信息自動化處理生成式AI百大應用場景參考資料1.Gartner Inc.,How to Choose an Approach for Deploying Generative AI,G007945592.Gartner Inc.,How to Calculate Business Value and Cost for Gene

114、rative AI Use Cases,G008053233.Gartner Inc.,2024 CIO and Technology Executive Agenda:A China Perspective,G00807509結語 企業在AI應用探索的道路上持續前行,許多企業業已借助AI技術成長為行業領導者,并開辟了新的業務版塊。作為新技術的代表,生成式AI為企業帶來了新的躍遷式發展機遇,推動企業向前邁出更大的步伐。在這個變革的時代,企業利用生成式AI技術不斷創新,帶來了更廣闊的發展空間,并保持在市場競爭中的領先地位。騰訊云基于行業實踐的復盤總結,提出了生成式AI應用場景矩陣和生成式AI應用落地路線兩大方法論,希望為企業開啟生成式AI旅途規避風險、打好前站。整體而言,生成式AI在不同產業的廣泛應用已經泛起了第一波漣漪。隨著技術進一步迭代精進,以及應用落地路徑的逐步成熟,生成式AI必將持續掀起新的技術應用浪潮,在全球各行各業產生顛覆性變革。騰訊云致力于持續深入挖掘技術的潛力,以助力實體經濟的發展,成為實體產業蓬勃發展的“放大器”。實體產業是國民經濟的基石,也是社會民生的保障,騰訊云希望充分發揮自身的技術優勢,為實體產業的進步貢獻力量,實現更廣泛的社會價值。

友情提示

1、下載報告失敗解決辦法
2、PDF文件下載后,可能會被瀏覽器默認打開,此種情況可以點擊瀏覽器菜單,保存網頁到桌面,就可以正常下載了。
3、本站不支持迅雷下載,請使用電腦自帶的IE瀏覽器,或者360瀏覽器、谷歌瀏覽器下載即可。
4、本站報告下載后的文檔和圖紙-無水印,預覽文檔經過壓縮,下載后原文更清晰。

本文(騰訊云&Gartner:2024生成式AI產業落地路徑研究報告(69頁).pdf)為本站 (patton) 主動上傳,三個皮匠報告文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對上載內容本身不做任何修改或編輯。 若此文所含內容侵犯了您的版權或隱私,請立即通知三個皮匠報告文庫(點擊聯系客服),我們立即給予刪除!

溫馨提示:如果因為網速或其他原因下載失敗請重新下載,重復下載不扣分。
客服
商務合作
小程序
服務號
折疊
午夜网日韩中文字幕,日韩Av中文字幕久久,亚洲中文字幕在线一区二区,最新中文字幕在线视频网站