IDC&亞馬遜云科技：2024生成式AI白皮書-五大關鍵要素解鎖生成式AI全新機遇（58頁）.pdf

《IDC&amp亞馬遜云科技：2024生成式AI白皮書-五大關鍵要素解鎖生成式AI全新機遇（58頁）.pdf》由會員分享，可在線閱讀，更多相關《IDC&amp亞馬遜云科技：2024生成式AI白皮書-五大關鍵要素解鎖生成式AI全新機遇（58頁）.pdf（58頁珍藏版）》請在三個皮匠報告上搜索。

1、五大關鍵要素解鎖生成式AI全新機遇從基礎模型到落地的生成式 AI 應用，需要經過模型訓練、模型定制、模型部署、模型推理等環節。各個環節上的行業參與者均面臨著不同程度的基礎設施、數據集成、應用場景選擇、安全與隱私以及負責任 AI 方面的挑戰：大模型提供商在訓練基礎模型的過程中，數據準備工作復雜而耗時，訓練基礎設施的管理與優化有較高的門檻，且算力成本高昂。對于生成式 AI 應用開發者而言，需要為應用場景選擇最為適配的模型，也需要集成來自不同存儲庫、不同格式的數據，還需要保障用戶數據隱私、模型安全以及生成內容的安全。對于生成式 AI 應用使用方而言，識別應用場景、利用自有數據與大模型進行交互的過程中

2、如何保證數據安全，如何確保模型生成內容所問即所答，都是其挑戰所在。整體來看，能夠幫助生成式AI新生態里的產業參與者加速生成式 AI 應用落地的解決方案，必須具備五大要素：高性價比的基礎設施、豐富而靈活的模型選擇、使用私有數據實現差異化定制、開箱即用的生成式 AI 驅動的應用和負責任的 AI。關于部署方式，現階段用戶更傾向于從云端開始部署：一方面大模型尚處于早期，模型能力不斷突破，云服務能夠助力用戶快速使用到最新的模型能力；另一方面，使用云服務也可以助力用戶降低基礎設施搭建與運維的時間成本，因此云服務商成為各類玩家構建和部署生成式 AI 應用的首選合作伙伴。執行概要開啟云上生成式 AI 之旅：有

3、必要盡快將生成式 AI 融入企業級戰略，確定是自建模型還是使用模型定制功能來發揮企業的差異化優勢。在參考外部諸如提高生產力、增強用戶體驗以及優化業務流程成功實踐的同時，篩選確定自身應用場景。端到端構建生成式AI 應用，則從為應用場景選擇模型開始，參考當前的成功實踐，選擇適當的模型定制路線進行模型的適配與調整，將經過評估驗證的模型集成到企業應用系統，并設立評估指標，對應用進行持續迭代。亞馬遜云科技助力釋放生成式 AI 潛力：亞馬遜云科技致力于不斷降低機器學習使用門檻，面向生成式 AI，公司提供豐富的算力選擇與高效的加速訓練與推理；在海外區域推出 Amazon Bedrock 助力輕松構建并規?；?/p>

4、生成式 AI 應用，以及企業級生成式 AI 助手 Amazon Q；高度重視為用戶提供負責任的 AI 策略支持。此外，公司也在持續建設端到端的數據基座，以支持生成式 AI 的數據集成需求。至今，超過萬家客戶利用亞馬遜云科技 Amazon Bedrock 進行生成式 AI 創新。生成式 AI 應用：熱度高、落地慢.近六成企業開始擁抱生成式 AI.生成式 AI 落地不及預期構建生成式 AI 應用的現實挑戰.生成式 AI 三類主要參與者.數據準備耗時，訓練成本高昂.數據集成復雜，模型適配難，安全要求高.應用場景篩選難，數據隱私安全顧慮，缺乏成功部署實踐云服務助力構建生成式 AI 應用.落地生成式 A

5、I 應用的五大關鍵要素.具備成本效益和領先 AI 應用的云服務加速構建生成式 AI010203CONTENTS從云端開始構建生成式 AI.制定融入生成式 AI 的人工智能戰略.規劃生成式 AI 應用場景.端到端構建生成式 AI 應用亞馬遜云科技助力企業解鎖生成式 AI 潛力.高性價比且豐富的基礎設施加速訓練與推理.豐富的模型可選，可基于私有數據差異化定制.生成式 AI 驅動的應用程序.亞馬遜云科技注重負責任的 AI.端到端數據基座打通壁壘，讓所有應用可治理、可管控0504隨著生成式 AI 應用快速進入市場，以及越來越多大模型的不斷面世，年已經成為生成式 AI 的元年：不同區域、各行各業、不同領

6、域的人們開始嘗試在工作和生活中使用生成式 AI，以探索各種可能性。于企業而言，生成式 AI 也已經成為從董事會到基層員工都在探討熱議的話題，一些領先的企業甚至已經利用生成式 AI 技術實現了業績增長。生成式 AI 應用：熱度高、落地慢第一章在年第四季度的生成式 AI 用戶調研中，IDC 發現，已經有近六成的企業開始擁抱生成式 AI，超過三成企業開始制定潛在應用場景，僅有%的企業還沒有任何舉措。%的企業表示已經投資生成式 AI，并且有相應的預算計劃。這些預算可能來自年已有的規劃，也有些是針對生成式 AI 新增的預算。%的企業表示已經做了一些初步的測試與概念驗證，但還沒有明確的投資計劃。%的企業表

7、示正在制定潛在應用場景，但還沒有進入試點階段。僅有%的企業表示目前還沒有任何舉措。.近六成企業開始擁抱生成式 AI圖 貴組織目前評估或者使用生成式AI的進度如何？來源:IDC,N=我們對生成式AI進行初步測試，但沒有固定的支出計劃我們正在制定一份潛在用例列表，但尚未開始試點我們已經投資了生成式 AI 且有明確預算我們還沒有做任何舉措.%.%.%.%.%.%.%.%.%.%.%.%.%.生成式 AI 落地不及預期在已經開始嘗試生成式 AI 的企業中，應用場景遍及企業各個業務流程，包括客戶服務類應用、支持運營決策類應用、提高員工生產力的應用、輔助產品設計的應用、支持營銷的應用等。其中，高管最為關注

8、且最希望從中獲取價值的前三大應用為：智能客服類應用、支持財務和運營決策的應用以及專注于提升員工生產力的應用。在實際探索中，預計能優先落地的場景主要是生成式 AI 支持數字化營銷領域的應用，支持財務、運營決策類的應用，以及智能客服類應用。綜合來看，模型生成結果的準確性、人才技能稀缺、部署的成本等，都影響了生成式 AI 的規?；涞?。深入探索企業生成式 AI 的實踐，發掘落地前、中、后的全鏈路問題，讓企業能夠理性選擇技術方案、大膽嘗試應用場景，才能真正實現以生成式 AI 帶來差異化競爭優勢。在落地時間方面，五成以上的企業認為各個領域的應用落地時間都需要在個月以上，這遠遠長于企業期望的個月的時間。在

9、應用范圍方面，即使已經上線的應用，范圍也都比較局限，以單點應用為主，如基于大模型升級的智能客服；當前，單個項目的應用可能也就局限于小部分客戶群體或者不足百路的坐席中?？萍夹袠I正處于開創性時刻，生成式 AI 使預測變得更加容易，甚至可能更加普惠、價格更加親民。企業將把生成式 AI 應用到更多全新的領域，帶來眾多商業模式和競爭戰略的改變。IDC 預計，生成式 AI 將在未來年內為全球 GDP 增加近萬億美元。然而，高關注度、高預期并沒有帶來相應的落地進展。厘清生成式 AI 應用落地的路徑，尋找能夠加速應用落地的解決方案，是行業參與者的當務之急。圖 企業高管最關注的生成式 AI 應用以及預計落地時間

10、來源:IDC全球生成式AI調研，N=專注在以客戶為中心的應用專注于財務/運營決策支持應用專注于員工應用（技能/培訓）專注于數字營銷工具專注于應用開發工具專注于 PLM 以及產品設計應用專注于 RFP/合同流程應用%集成生成式 AI 的熱門領域熱門領域生成式 AI 應用預計落地時間專注在面向客戶的應用已經開始整合小于個月平均時間（月）到個月到個月個月以上專注于財務/運營應用專注在數字營銷應用.%.%.%相比上一代 AI，生成式 AI 應用的開發需要重新在各種大模型之間進行選型適配，對于用于模型訓練的數據的安全性要求更高，在模型定制環節的工作有更加多樣性的選擇，也因此形成了全新的生成式 AI 應用

11、產業生態。而生態上的所有參與者，今天也面臨著諸如數據、算力、成本、模型適配、安全隱私等挑戰。構建生成式 AI 應用的現實挑戰第二章.生成式AI三類主要參與者從基礎模型到集成到企業系統中的生成式 AI 應用，簡單說就是對基礎模型進行定制、調整，再進行推理的過程。其中，基礎模型的訓練，對于數據、算力以及技能、人才的要求都很高，因此只有少部分企業專注于模型的訓練，即模型提供商。更多的企業選擇依托基礎模型，使用自有數據進行調優、采用提示詞工程（Prompt Engineering）的方法，以提升模型生成內容的準確性；或者使用檢索增強生成（下文簡稱：RAG）的方法以充分利用企業自有知識使模型更好地理解上

12、下文的語境，給出更相關的答案這兩類群體為生成式AI應用開發者。行業應用解決方案商則是將生成式AI應用集成到現有的系統中，開發出 AI 賦能的行業應用；大部分行業用戶也更傾向于采用融入生成式 AI 能力的行業應用，來實現智能化升級。圖 大模型驅動的生成式AI價值鏈生成式AI應用使用方生成式AI應用開發者基礎模型提供商基于大模型的生成式AI應用對基礎模型使用自有或行業數據集進行微調從到構建基礎模型提示詞工程（Prompt Engineering）檢索增強生成（RAG）通用生成式AI應用生成式AI驅動的數字人智能客服AI輔助代碼設計知識管理.制造行業生成式AI應用產品設計供應鏈管理質量控制自動化預測

13、性維護.互聯網行業生成式AI應用生成式AI輔助NPC設計智能推薦自適應教育AI輔助藝術設計.生命科學/醫療生成式AI應用新藥研發臨床決策助手AI輔助診斷.出海場景生成式AI應用機器翻譯智能推薦AI生成內容對話式AI.更多生成式AI應用.來源：IDC，大模型提供商基礎模型訓練大模型提供商從零開始構建基礎模型，參數量達到百萬、千萬甚至億級別，典型廠商如 Anthropic、Al Labs、Meta、cohere、OpenAI、Stability.ai、智譜華章、百川智能等。當前階段，通常只有科技巨頭、頭部創企才有能力自主進行大模型訓練，這些大模型也是生成式AI應用創新的重要源頭。從模型的供給側來看

14、，隨著大模型提供商的逐漸發展和壯大，參數量的不斷增加，這些模型應用到生產環境中的準確性也相應的越來越高，過去不可能達到的預測準確度也開始成為可能。生成式 AI 應用開發者從基礎模型得到最終應用，需要將特定領域數據引入基礎模型進行再次訓練/調優，才能獲得理想的效果。如前所述，當下有三種方式可以實現模型的定制：調優，提示詞工程，檢索增強生成（RAG）。生成式AI應用開發者可以基于市場上的商業化或者開源模型，采用專有數據對模型進行調整，來構建特定場景下的生成式 AI 應用。各行業的解決方案商可以采用基礎模型基于領域數據訓練領域大模型，行業企業則可以使用模型定制功能開發企業專屬應用，市場上也涌現出越來

15、越多的AI原生企業采用大模型開發出各種創新的應用。圖 生成式AI應用開發者來源:IDC,生成式 AI 應用開發者提示詞工程（Prompt Engineering)檢索知識增強（RAG)微調（Fine-tuning)通過設計和調整輸入的提示詞（Prompt）,來引導這些模型生成更準確、更有針對性的輸出文本在模型運行時動態地從外部知識庫中檢索信息，并將其與模型當前處理的內容結合起來，以增強模型的知識理解和回答能力對預訓練的大模型在特定的數據集上進一步訓練，優化其在特定任務上的性能生成式 AI 應用使用方將大模型驅動的生成式 AI 應用程序，部署到企業現有的系統中。采用構建好的生成式 AI 應用，可

16、以將其應用在內部知識問答、自動郵件生成、代碼補齊等場景中，也可以集成在諸如新藥研發、預測性維護、廣告推薦、智能營銷等行業垂直應用中。.大模型提供商的挑戰：數據準備耗時，訓練成本高昂現階段，作為生成式 AI 應用創新的源頭，模型提供商在模型訓練環節面臨著一系列關鍵挑戰，比如數據準備耗時、計算存儲網絡需要提升性能、訓練成本高昂、生成內容需要減少幻覺且需要符合監管等。數據準備耗時耗力：相比中小模型，用于大模型訓練的數據有三個特征數據量大，對數據質量的要求更高，對數據安全的要求更高。在數據準備環節，模型提供商在海量數據清洗、關鍵數據脫敏等環節需要消耗大量時間精力。為確保建立負責任的 AI，也需要對用于

17、模型訓練的數據進行大量的審核工作。因此，縮短數據清洗時間，提高數據準備工作效率，是當前的迫切需求?；A架構管理與優化門檻高：大模型參數量往往達到千億、萬億級別，用于模型訓練的數據會達到千百萬個數據點。訓練過程中，無論大小文件的存儲、海量小文件的讀取，還是算力集群的穩定性、數據的高速寫入寫出，都要求團隊具備專業的基礎架構相關技能。用于訓練的基礎設施成本高昂：大模型的單次訓練通常會用到千卡甚至萬卡級別，因此計算所需要的算力相比以往中小模型時代大幅提升。如何在保證計算性能、穩定性的前提下，降低整體成本，是大模型提供商的迫切需求。確保模型效果不斷提升：能夠確保大模型走向市場的前提在于模型生成內容的準確

18、性，以及怎樣確保模型少一些幻覺，實現“所答即所問”，這也是模型提供商重點投入的方向。此外，未來 年，如何能夠確保大模型效果持續提升，也是大模型提供商的當務之急。.生成式 AI 應用開發者的挑戰：數據集成復雜，模型適配難，安全要求高生成式 AI 應用開發者是打通最后一公里、實現技術規?；瘡椭频闹匾h節，然而當前生成式 AI 的應用開發，也面臨著諸多挑戰。模型選擇與評估耗時且無參考依據：一方面，今天的大模型應用仍然處于早期，企業中的應用場景紛繁復雜，開發人員需要花時間去嘗試，以便為應用場景選擇效果最優的模型；另一方面，在同一個應用中可能會用到多個模型，而不同模型的 API 也存在較大差異。如何能在

19、模型選擇與評估環節提高效率，是生成式AI應用開發的首要挑戰。模型適配與調整門檻較高：從基礎模型到能上線的生成式 AI 應用，離不開對于模型的調優，或者其他模型定制功能來發揮大模型的差異化優勢。而大部分企業在這方面并沒有任何儲備。對于采用 RAG 的用戶，在將來自企業內外部數據做成外掛知識庫的過程中，需要選擇專門的數據庫來存儲知識，這一數據庫既可能是全新的向量數據庫，也可能是具備向量引擎能力的傳統數據庫。對于微調模型的用戶，模型調優環節需要對模型結構有基礎的了解，調優也會帶來一定的算力要求。即使只是采用提示詞工程的方式來使用大模型，也需要有專業的提示詞工程師。上述這三種方式，當前市場上的成功實踐

20、均比較少，企業內部也沒有相關的積累，入門的門檻較高。推理部署成本高昂：未來，將有越來越多的生成式 AI 實踐開始走向推理階段，也將有越來越多的用戶開始使用生成式 AI。如何提升推理性能，同時大幅降低推理成本，是整個行業的迫切需求。缺乏數據/知識集成的經驗：在生成式 AI 時代，無論是模型定制環節還是模型推理環節，都會涉及到大量的數據交互工作。這些領域的專有數據將造就一家企業的不同。例如，對于一家數據儲備完善、擁有高質量數據集的企業，若能基于自有數據對模型進行微調，或者以插件的形式結合自有數據來生成內容，則大模型生成的結果將得到顯著提高。而今天，大部分企業還是存在不同程度的數據煙囪現象，數據分散

21、、數據歸集難、數據管理復雜是用戶普遍會遇到的問題。建立端到端的自動化數據集成管道，減少跨數據存儲庫的數據集成工作，能夠加快應用的上線。工程化落地復雜：在落地過程中，大模型本身只能解決%的問題，從大模型到落地的應用，基礎設施的搭建與優化，模型的部署與運維，數據工程等，這些周邊的工程能力要解決剩下的%。這其中每一個環節都需要優化，很多企業恰恰缺乏這方面的經驗和能力。安全要求高：生成式 AI 應用開發者，既需要保證用戶用于模型定制的數據不被基礎模型所吸收，自身優勢不被友商所利用；又需要確保模型輸出內容的合規，避免答非所問等幻覺問題。這意味著，生成式 AI 應用的開發和使用將對安全提出更高的要求。圖

22、生成式AI應用開發環節的挑戰來源:IDC,端到端數據與知識的集成為用例選擇模型保證模型生成內容安全合規生成式 AI 應用開發人才技能缺失確保模型所問即所答構建 AI 應用的整體成本.生成式 AI 應用使用方的挑戰：應用場景篩選難，數據隱私安全顧慮，缺乏成功部署實踐難以確定應用場景：企業對生成式 AI 的期待很高，然而從哪些應用場景著手，如何篩選、判定應用場景，以及如何尋求一些可參考的成功案例，是企業著手生成式 AI 項目面臨的首批挑戰。對于安全、隱私的擔憂：成熟地運用生成式 AI 工具可以顯著提升員工工作效率，提升創造力，然而用戶也會擔憂將自有數據、文件上傳到大模型，是否會泄露私有數據與知識。

23、這也是很多具備海量數據的企業的首要擔憂，一定程度上也影響了生成式 AI 的落地進程。缺乏成功的部署實踐：訓練好的模型需要在保留數據集的基礎上進行性能、準確性等方面的測試。部署上線推理過程中，也需要注意可能的數據漂移。而在應用不斷迭代的過程中，當前也缺乏成熟的模型效果監測機制。成本高企：生成式 AI 應用上線后，一方面用戶使用頻率增加，與模型的每一次交互，都會伴隨推理成本的增加；另一方面，并發量、吞吐量、時延要求的不斷提高，對算力的要求也會不斷提高。只有不斷降低使用成本，才有可能真正促進AI的普惠。人才/技能不足：今天，幾乎所有參與生成式 AI 產業的企業，都面臨著嚴重的人才短缺問題。大模型相關

24、人才稀缺且成本高昂，導致企業相關技能的不足；具備模型調優等定制能力的人才尤為短缺。模型選擇與適配難；如何充分發揮自有數據優勢；面向AI的基礎設施的優化；如何確保負責任的 AI；以及推進企業應用程序的AI規?；?。要克服這些挑戰，既需要產業上下游的生態協作與優勢互補，也需要依托能夠應對這些挑戰的技術棧，在此基礎上，才能加速生成式AI應用的落地。要加速生成式 AI 應用的構建與落地，從應用場景識別到模型選擇，模型適配與定制，模型部署，各個環節都需要助力，以下五大關鍵挑戰是當前企業擁抱生成式 AI 時面臨的現實問題：企業落地生成式 AI 應用的現實挑戰整體來看圖 企業落地生成式 AI 應用的現實挑戰模

25、型選擇與適配相關自有數據優勢相關AI 應用程序規?；嘘P確保負責任 AI 有關AI 基礎設施相關在眾多大模型中選擇試錯成本高模型選擇評估與迭代生成式AI技術基本認知低應用場景難以定位無處著手確定應用場景準備數據耗時長清洗數據耗時長 數據準備復雜的跨系統的集成多數據源、多步驟應用集成缺乏提示詞工程師和調優人才數據安全與隱私問題跨系統集成數據/知識難模型定制生成式結果的不確定性：答非所問、幻覺部署AI應用需要從Iaas/Paas層開始搭建模型部署異構基礎設施管理與優化技術門檻高模型訓練運行推理的算力成本高昂邊緣側、端側推理優化模型推理盡管現階段使用大模型的挑戰、擔憂居多，展望其潛在的商業價值，用戶

26、的期待仍大過今天的擔憂。截至 年第四季度，已經有越來越多的企業開始從觀望轉向試點階段。當然，大部分應用場景目前仍處于探索創新、試點階段。企業希望尋求廣泛的外部合作以快速獲取生成式 AI 相關能力；同時，從技術的角度，也希望尋找可輕松入門的生成式 AI 開發技術棧。云服務助力構建生成式 AI 應用第三章高性價比的基礎設施：無論是面向大模型的訓練還是調優推理，低成本、高性能、高度優化的云基礎設施，是試點以及真正部署生成式 AI 應用的首要條件。如下圖所示，能夠提供包含整體AI技術棧而無需用戶做硬軟件的適配，面向 AI工作負載管理并優化計算、存儲與網絡設施，為 AI 應用開發提供從部署到上線的全面支

27、持，是生成式 AI 解決方案必須具備的能力。此外，與云服務成本管理系統無縫集成，以幫助用戶實時監測生成式 AI 基礎設施的用量以及成本，提供靈活的定價模式以更好地管理生成式 AI 應用的整體成本，也是基礎設施層需要具備的重要能力。.落地生成式 AI 應用的五大關鍵要素從基礎模型到成功構建生成式 AI 應用，每一個環節的行業參與者都需要應對基礎架構、端到端數據、保護數據隱私等挑戰。助力生成式AI應用的落地，必須具備如下因素：來源:IDC,負責任的 AI 策略原生生成式 AI 應用程序、以 AI 為中心應用、包含AI的應用（水平跨行業應用/行業專屬應用）模型調優基礎架構云平臺/本地部署/混合部署計

28、算、存儲、網絡和中間件用于訓練和推理的芯片GPU、TPU、FPGA等安全數據安全云安全AI基礎設施軟件管理并優化計算、存儲、網絡通用模型：文本、圖像、音頻、視頻、代碼、多模態模型 行業專屬模型提示詞工程檢索增強生成（RAG）差異化定制、生成式AI驅動模型選擇多樣性與靈活性云、安全、低成本高性能發揮數據差異化優勢簡單易用公平 可解釋性 隱私與安全性 穩健性 治理 透明度生成式 AI 驅動的應用差異化定制基礎模型基礎模型、行業模型基礎設施(開源/商業化，通用模型/行業模型)數據基座全面集成可治理圖 構建生成式AI應用的關鍵能力豐富的基礎模型：現階段市場上還在涌現新的大模型，針對原有的大模型也不斷有

29、新的版本發布。然而，單一的大模型無法做到滿足用戶在不同業務場景的全部需求，因此，構建生成式 AI 應用需要供應商做到能夠提供豐富、靈活的模型選擇，并為用戶提供模型評估、驗證、適配的工具，以幫助用戶減少試錯時間，加快入門速度。差異化定制生成式 AI 應用：要構建適配企業自身業務場景和個性化需求的生成式 AI 應用，必須要具備成熟完善的模型定制功能，現階段即提供微調、提示詞工程以及知識庫增強的功能。此外，開發人員都需要連接來自數據庫、數倉、數據湖的數據，需要從企業現有的應用中抽取數據，最終也需將模型集成到應用系統中。因此，預訓練的行業應用場景模型與 API，預置的數據連接與數據管理功能，對開發人員

30、的培訓和協助、定制化開發工具，都是企業構建和部署生成式 AI 的需求。來源:IDC中國，生成式AI市場調研，N=,圖 您的組織在未來 個月內在生成式 AI 基礎架構提供商中尋找哪些重要特征？.%.%.%.%.%.%.%.%.%包含整體AI技術棧為AI開發環境提供廣泛的支持提供面向AI工作負載優化的基礎架構跨多個數據存儲庫輕松集成數據與云服務成本管理系統緊密集成基于用量靈活計價最為重要 第二重要開箱即用的生成式 AI 驅動的應用：基于生成式 AI，用戶既可以構建原生的AI應用，也會涉及到將原有的應用系統進行逐步、持續的 AI 升級。采用生成式 AI 驅動的應用程序，更可以幫助用戶提高開發效率，加

31、速應用上線。一方面，用戶需要將生成式 AI 應用由單點擴展到推進企業所有應用程序的 AI 化。另一方面，構建生成式 AI 應用程序的過程，也需要自動化的、生成式 AI 驅動的工具來加速。負責任的 AI 策略：在數據安全、云服務安全以外，開發與部署生成式AI應用尤其要強調建立負責任的 AI 策略，這就要求確保輸入到模型的數據合規，輸出的內容符合“所問即所答”，且符合監管要求。一方面，在生成式AI領域，數據與知識對于塑造企業差異化競爭優勢至關重要。企業尤其不希望自己的優勢被外部所利用，故構建與部署生成式 AI 應用過程中保證數據與知識“不出私域”十分重要。另一方面，對于生成的內容，如何減少負面/有

32、害內容，確保合規，也是應用上線的前提。另外，當今社會的監管合規要求日益嚴格，如何保證生成式AI應用符合當地的監管政策，也是生成式 AI 工具需要具備的能力。來源:IDC中國，生成式AI市場調研,N=,圖 根據您當前或近期使用軟件平臺和工具提供商開發生成式人工智能能力的計劃，您的組織在未來個月內對于軟件供應商有哪些需求？.%.%.%.%.%.%.%.%.%.%.%.%.%.%.%強大的數據安全性豐富且直觀的 AI 模型選擇靈活的計費方式支持多模態模型預構建的行業用例模型與 API開發人員培訓和協助定制化/開發工具預構建的數據連接與管理功能以上都不適用在五大要素之外，更需要注意的一點是企業也需要全

33、面、集成、可治理的端到端數據底座：構建生成式 AI 應用的完整流程上涉及的數據來源更廣泛不僅是訓練環節要讀取數據，推理環節也要讀取來自內外部不同系統的知識。當下，企業的 IT 系統可能有成百上千個，海量數據存儲在不同架構的存儲庫中。支持生成式 AI應用開發的解決方案必須要能夠端到端集成數據，以支持模型的調優與推理。.具備成本效益和領先 AI 應用的云服務加速構建生成式 AI當前，生成式 AI 領域日益繁榮，既有全新的大模型初創企業、創新的生成式 AI應用廠商，也有傳統的解決方案商、云服務商。而在企業啟動生成式 AI 應用時，根據 IDC 調研，無論在全球還是中國，云提供商都是企業用戶在選擇生成

34、式 AI 戰略合作伙伴時的首選。一方面，云服務既能夠幫助用戶降低基礎設施搭建門檻、節省基礎設施維護時間，又能夠實現 PaaS 層產品的快速更新；另一方面，在生成式 AI 這一前沿領域，尤其會面臨模型與應用快速迭代的情形。在云端構建生成式 AI 應用，可以讓用戶專注于使用新的能力快速構建應用，也因此成為構建生成式 AI 應用的首選合作伙伴。對企業而言，如何搭建面向生成式 AI 的架構，從何處開始著手，甚至如何獲得對生成式 AI 的基礎認知，也都需要外部咨詢合作伙伴提供建議。此外，生成式 AI 工具提供商、企業級應用軟件提供商、初創企業等，也是建設生成式 AI 重點考慮的合作伙伴。IDC 預測，生

35、成式 AI 將重塑傳統應用程序，到年，企業將利用生成式 AI 工具和云服務提供商平臺啟動并執行%的代碼轉換和開發任務。IDC FutureScape：全球開發者和 DevOps 年預測亞太區（不含日本）啟示圖 企業對于生成式 AI 合作伙伴的選擇偏好Q:在未來個月，您更可能選擇哪類廠商作為最重要的生成式 AI 戰略合作伙伴？來源:IDC,，N=,China N=公有云提供商IT 咨詢伙伴數字基礎設施提供商生成式 AI 工具提供商企業級應用軟件提供商生成式 AI 創業公司業務咨詢伙伴半導體廠商全球中國%生成式 AI 的真正價值和投資回報率取決于企業本身如何推動生成式 AI 的落地，也取決于生成式

36、 AI 技術的應用如何為企業帶來業務層面的改變。企業應該盡快評估準備情況，制定人工智能戰略與落地路線圖，為生成式 AI 的應用奠定必要的基礎，從而在中長期內通過差異化和重點戰略來建立競爭優勢。從云端開始構建生成式 AI第四章.制定融入生成式 AI 的人工智能戰略.將生成式 AI 融入企業戰略評估生成式 AI 的準備情況，需要關注智能化架構的基礎、人才技能的儲備和數據基礎，制定融入生成式 AI 的人工智能戰略和路線圖，并在人才、技能、流程方面進行保障式的資源適配。在生成式 AI 的時代，尤其要建立負責任的 AI 應用機制。大模型通常缺乏透明度（與簡單的統計模型不同）來解釋它們為什么會產生結果，而

37、這種缺乏信任是在實踐中使用生成式 AI 的真正風險。企業在啟動生成式 AI 之前，應該首先建立負責任的AI 策略。這要求企業理清組織數據在 AI 模型中的使用和存儲方式，確保數據受到保護；要求企業對于輸入模型的數據以及模型輸出的內容實時進行合規審查。同時，在選擇外部服務商的產品時，亦應考量其是否提供了相應的功能。圖 企業落地生成式AI的戰略思考框架來源:IDC,執行-產業化生成式 AI 戰略與業務戰略保持一致生成式 AI 愿景生成式 AI 應用場景生成式 AI 加速因子以產品/服務為中心的 AI商業模式構思并確定優先順序價值鏈布局以流程為中心的 AI結構治理技術+才能文化+合作AI基礎設施數據

38、云廠商、解決方案商、初創公司、咨詢服務商其他合作伙伴AI 生態系統技術人員組織.根據自身情況確定生成式 AI 構建策略如今，市場上已經提供了豐富的開源模型選擇，也有一些相對成熟的API類應用程序。對于有一定開發實力的企業來說，可以考慮基于大模型進行微調，將微調后的模型嵌入到生產環境。直接與模型進行交互開箱即用、成本領先：不對模型做任何開發或訓練，將調整好的大模型 API 或者 SDK 直接嵌入應用程序，與該應用程序直接交互。這種“開箱即用”的方式無需任何級別的編程或數據工程即可實現必要的功能，同時還可將基礎設施管理及其相關運營支出“外包”給應用程序提供商。模型定制以實現差異化優勢：通過微調、知

39、識增強生成或者提示詞工程的方式對模型進行調整，以更好地適配自己的應用場景。該情形下，需要企業有一定的技術能力，對模型調整方法有一定的認知，才能充分發揮出差異化優勢。自主訓練模型：相比于基于基礎模型進行調整的方式，企業自主進行模型的預訓練，需要搭建基礎設施，準備用于模型訓練的數據，還需對用于訓練的數據進行合規性審核。無論是硬件、軟件棧，還是人力投入方面，投入程度均將明顯高于前兩類。圖 根據自身情況確定生成式AI構建策略來源:IDC,構建生成式AI應用的路徑無需任何編程、數據工程操作，任何員工可以直接上手使用需一定的數據工程與編程技能需要數據工程以及專業的算法開發技能啟動成本低，尤其從云上開始使用

40、該項能力，啟動成本更低涉及到模型調優，會產生一定的算力成本。使用提示詞工程、RAG方式，不會帶來成本顯著上升模型訓練到部署各個環節都會帶來顯著的成本上升無法利用到企業專有數據，模型為企業帶來的差異化競爭優勢低可以利用企業專有數據，能夠充分發揮企業的差異化優勢可以利用企業專有數據來發揮差異化競爭優勢企業沒有對生成式 AI 以及大模型的基礎認知的情形對應用場景進行早期探索的情形企業正式開始測試生成式AI用例的最佳啟動方式主要適用于模型提供商采用開箱即用的解決方案模型定制自主訓練模型人才、技能要求整體成本競爭優勢適用情景整體來看，采用開箱即用的解決方案可以讓企業以較低的成本快速使用模型能力；自主訓練

41、模型需要內部有非常專業的大模型領域的人才以及技能，且整體投資成本高昂；而采用模型定制/調整的方法，可以在成本可控范圍內充分發揮企業專有數據的優勢，因此是現階段快速啟動生成式 AI 應用的較優選擇。.規劃生成式 AI 應用場景.評估可能的生成式 AI 應用場景評估生成式 AI 的應用場景，需要充分認識到其潛在回報和可能需要的資源、時間投入，以便更好地規劃和落地其在各個領域的具體應用。如下圖所示，在具體的場景選擇上，優先從有一定數據基礎、生成式 AI 能帶來一定的投資回報、以及能夠獲得業務部門支持的場景開始，也可以考慮從價值高、實施復雜性低的場景入手，同時避免一些可能帶來高風險的應用場景。從價值的

42、角度，企業應該重點考慮具備經濟價值的場景，如 ROI 可衡量的場景；同時也應該從戰略統一的角度來選擇更具戰略意義的場景。從實施復雜性的角度，綜合考慮企業自身的數據基礎、評估是否有參考的算法模型、企業相關的流程支持以及自身具備一定技能的場景?？紤]從低風險的應用場景開始，首先要解決具體的現有業務問題，避免華而不實的應用場景，以簡單方法讓員工更有效地利用生成式 AI 提高生產力、拓寬員工創新和決策的空間。來源:IDC,圖 生成式AI應用場景評估框架優先考慮能夠快速看到投資回報的場景。例：生成式AI驅動的數字員工可以代替人類員工服務更多的客戶；生成式AI驅動的個性化推薦，助力獲客等?？紤]與企業戰略目標

43、一致，能助力發揮出企業競爭優勢的場景。尋找企業有數據積累的場景；同時也應考慮有迫切需求但沒有數據積累的場景，流程上應該如何促進業務數字化/數據化。選擇有成熟算法支持的場景。優選內部可輕松獲取該領域技能的場景。如內部不具備該技能，則需要考慮外部合作伙伴是否具備該技能。高風險的場景可能包括：合規風險高，實施過于復雜（涉及部門眾多、流程繁瑣）經濟價值戰略一致數據算法專業技能使用風險/實施風險說明維度復雜性風險價值來源:IDC中國，生成式AI市場調研，N=,圖 在將生成式人工智能集成到現有應用或業務流程中時，貴公司高層最關注的應用領域是什么？面向客戶的應用（聊天機器人、在線問答頁面等）產品生命周期管理

44、和產品設計財務和運營應用應用開發工具數字化營銷工具招標書/合同流程應用內部人才培養（技能/才能/培訓）%.參考外部實踐選擇應用場景目前，不少行業已經在開展生成式AI應用的探索。IDC 調研顯示，%的企業未來一年內將增加用于生成式AI的投資，其中.%的企業表示相比于去年將增加%以上。對話式營銷成為主流:到年，普遍存在的情緒和意圖人工智能將推動%的A企業以實時、雙向對話的方式進行所有營銷旅程，從而將購買轉化率提高%。IDC FutureScape：全球首席市場營銷官年預測亞太區（不含日本）啟示五月 六月來源:IDC，圖 企業生成式AI應用場景及其投入的變化情況設計應用市場營銷應用代碼生成應用對話式

45、應用知識管理應用.%.%.%.%.%.%.%.%.%.%與當前的投入持平 增加-%的投入增加%以上的投入.%.%.%Q：您預計您的組織最有希望投資哪些生成式 AI 應用場景?Q：在未來的 個月里，您所在組織在生成式 AI 應用上的投資將會有多大的變化?落地的典型應用場景主要圍繞增強客戶體驗、提升員工生產力與創造力以及優化業務流程等，典型應用場景如下圖所示。增強客戶體驗主要用于客戶服務環節。典型的場景包括聊天機器人、聯絡中心呼叫分析、智能導購、數字人導購等。使用生成式 AI，可以更好地判斷客戶的情感、預測客戶的需求，為客戶提供更精準的服務。提升員工生產力與創造力生成式AI可以為企業內全體員工提供

46、對話式搜索能力，以對話的方式快速獲取企業當前運營情況的洞察；對于 IT 人員，生成式 AI 可以賦能自動生成代碼、代碼補全、不同開發語言的轉換等業務；在具體的產品設計環節，生成式 AI 還可以輔助進行產品的設計，例如工業產品參數設計、服裝圖案設計等。優化業務流程生成式 AI 可以應用在文檔處理場景中，用于自動提取、分析文檔內容，以及生成內容摘要，也可以基于已有內容自動補全、生成新的內容。圖 生成式AI典型應用場景分類與示例聊天機器人虛擬助手聯絡中心呼叫分析智能導購&個性化推薦智慧數字人.對話式搜索代碼生成文字、圖片、視頻生成產品設計從數據到洞察.智能文檔處理內容審核數據增強安全流程優化.增強客

47、戶體驗提升員工生產力和創造力優化業務流程來源:IDC,案例背景西門子股份公司（以下簡稱“西門子”）是一家專注于工業、基礎設施、交通和醫療領域的科技公司。在知識的查詢和回復這一日常場景中，由于西門子內部的數據橫跨多個不同領域、涉及多個不同業務單元，長期以來，員工在進行內部資源的檢索和調用時遇到諸如結構散亂、檢索速度慢、交互不便等問題，知識的查詢、回復生成速度慢、搜索關鍵詞的命中率低，造成員工的使用體驗不佳。解決方案亞馬遜云科技提供的智能知識庫暨智能會話機器人的解決方案指南；解決方案指南中包括預訓練的大語言模型、Amazon OpenSearch Service 的向量數據服務，以及相關系統集成等

48、；采用了檢索增強生成（RAG）方式來增強模型；通過應用大數據庫和生成式 AI，有助于提高“智能知識庫”的可用性。生成式 AI 對話機器人“小禹”上線首周+名員工體驗快速、精準的查詢與回復案 例增強客戶體驗業務價值西門子在個月內構建了基于自有模型的智能知識庫暨會話機器人小禹；首周有+員工使用，解答了+問題；小禹避免了重復開發，提升了員工的信息獲取效率，優化體驗；基于云的彈性資源和托管服務進一步降低了成本?！霸趤嗰R遜云科技的幫助下，我們僅僅用了三個月時間就上線了生成式 AI 對話機器人 小禹。通過定制增強亞馬遜云科技所提供的以向量數據庫服務和大語言模型為基礎的知識庫原型，在短期內實現了快速、精準的

49、查詢和回復?！蔽鏖T子，IT經理，李朝明首周服務的用戶數首周回答的問題個月靈活構建基于自有模型的AI 對話機器人案例背景中科創達是一家智能操作系統、AI 技術與產品的提供商，公司的操作系統產品和技術已經全面賦能智能手機、智能汽車、智能硬件等多個智能產品和場景。中科創達緊跟前沿技術趨勢，啟動全新的“Smart to Intelligent”，旨在自主研發大模型以賦能各行各業的客戶轉型，但由于算力不足、模型部署耗時耗力、模型訓練速度慢、集群管理受阻、缺乏模型訓練的實戰經驗等諸多挑戰，自主大模型的研發遇到困難。解決方案中科創達使用 Amazon SageMaker 更專注于大模型訓練，無需管理計算資源

50、；Amazon SageMaker 提供技術支持，確保訓練過程穩定，避免訓練中斷。其故障重試和自動更新實例機制，提高了訓練的穩定性；利用 Amazon SageMaker、Amazon Lambda、Amazon API Gateway創建無服務器解決方案，進行模型推理；將 Amazon Lambda 函數與 API 關聯起來，外部應用程序快速調用大模型；專注大模型訓練加速模型調試開發效率提升 倍提升員工生產力與創造力案 例通過 Amazon FSx for Lustre 對機器學習、分析和高性能計算進行工作負載優化，加速訓練作業；中科創達使用 Amazon CloudWatch 來監控 Am

51、azon SageMaker，優化大模型訓練和任務管理，加快模型調試，縮短問題解決時間。業務價值中科創達基于亞馬遜云科技基礎設施成功訓練全自主大模型，提升生產效率倍；利用各類完全托管云服務，按需擴展或縮減 IT 設施，節省%的建設成本；發布了 Rubik Brain（創達魔方企業大腦）等多款生成式 AI 應用；中科創達的 AI 應用服務于智能汽車、智能硬件等行業，推動企業數智化轉型。首個中科創達全自主訓練的大模型 倍開發團隊生產效率提升%IT 基礎設施建設成本節省隨著大語言模型的出現，中科創達也進入了顛覆性創新的時代，基于亞馬遜云科技高性能的算力以及 Amazon SageMaker 等產品與

52、服務，我們研發出了更具競爭優勢的生成式人工智能產品與解決方案，賦能更多行業客戶的數智化轉型，同時亞馬遜云科技也為中科創達自身技術的創新注入了強勁動力，加速了企業“Smart to Intelligent”的戰略升級。中科創達，生態合作中心總經理，鄭韋案例背景上海沐瞳科技有限公司成立于 年，是中國游戲公司中最早一批走向國際的企業之一，用戶群體主要分布在海外，尤其是東南亞地區。作為領先的游戲出海公司，沐瞳科技一直在積極探索大模型結合旗下游戲特征、賦能游戲業務的可能性，希望借助生成式 AI，改善游戲體驗，賦能業務決策。其中 MOBA 類的游戲 Mobile Legends:Bang Bang（以下簡

53、稱 MLBB）是沐瞳科技重點使用生成式AI進行優化的產品。解決方案通過使用亞馬遜云科技的生成式 AI 技術方案，改善辱罵識別和輿情分析中存在的判斷周期長、準確率低、顆粒度低等各類問題；通過 Amazon Bedrock 的完全托管生成式 AI 服務和 Claude 模型，提高文本處理任務的效率和準確性；Claude 模型也用于 Prompt Engineering（提示工程）優化，幫助用戶有效編寫和調整模型的提示語，提升模型性能和輸出效果；沐瞳科技將 Amazon Bedrock 與 Amazon OpenSearch Service 集成，在輿情分析和風險控制應用方面，提升數據處理和分析效率

54、；辱罵識別準確率提升至%以上生成式AI為游戲玩家體驗和業務流程優化帶來雙重收獲優化業務流程案 例基于 Amazon Bedrock 調用 Claude 進行文本摘要、深度分析，為MLBB 提供新游戲角色構建的事實依據。業務價值沐瞳科技通過 Amazon Bedrock 使用 Claude 模型，提升了辱罵識別的響應速度和準確率，準確率達到%以上；Claude 模型在輿情分析方面具有K Token 輸入能力，相比其他主流大模型精準度更高，輸出更精準；通過應用 Amazon Bedrock，沐瞳科技優化了數據處理流程，提高了響應速度、準確率和輿情分析效果；提升了玩家體驗和業務戰略決策的可靠性，保障

55、了沐瞳注重玩家體驗、因地制宜進行游戲運營戰略的實現。辱罵識別場景相較之前的響應速度提升辱罵識別場景利用Claude 次過濾后準確率提高輿情分析場景中使用Claude分析效果大幅提升-秒縮短至.秒從%+提升到%以上分析效率提升沐瞳擁抱變化，追求極致的用戶體驗。我們驚訝于大語言模型的潛力，由好奇開始，到逐漸理解，并在 Amazon Bedrock 持續構建創新且務實的 AI 應用，在提升玩家游戲體驗和提升內部能效上齊頭并進。希望沐瞳能在 AI 與游戲結合的領域進入領先位置，也希望亞馬遜云科技能成為我們堅實的伙伴。沐瞳科技，智能服務負責人，張文文.參考外部實踐啟動生成式AI行動計劃考慮到當前的數據基

56、礎、可參考的成功案例以及潛在的投資回報，在未來年內，大部分企業可以從通用的應用場景開始試點，同步建設生成式 AI 應用開發平臺，逐漸深入到開發行業領域專有生成式AI應用。個月內行動計劃著手通用、易落地的業務場景在未來年內，可以先從通用的應用場景開始試點，例如：輔助銷售、營銷類的生成式 AI 應用，在該場景下不需要海量專有數據。在平臺建設層面，可以先從云端開始投資生成式 AI 的模型構建編排與部署平臺，并注重建立端到端的數據管道。針對行業垂直的場景，可以先從 POC 開始。個月行動計劃關注行業專有、高潛力的業務場景在未來 個月內，關注且開始探索行業領域模型以及相關應用場景。值得重點投資的場景包括

57、知識管理、輔助產品設計、AI 數字員工等。對生成式AI的應用開展系統級的管理，包括基礎架構、數據平臺以及應用層，并探索PaaS級別的生成式 AI 服務。對于比較成功的早期生成式AI應用場景，開始擴展其應用規模，對于尚未形成清晰的落地方法與路徑的、行業專有且高潛力的業務場景進行試點和投資。個月行動計劃投資長遠、顛覆性的技術與場景未來 個月，由于大模型及生成式 AI 相關的技術和產品發展日新月異，企業應以更加長遠的目標對當前尚未產生重大改變，但隨著技術的突破可能產生顛覆式創新的業務場景進行資金、資源、人才保障的前置式投資。同時，繼續加大在垂直領域應用場景的探索，對場景全盤盤點，專注于可能顛覆業務模

58、式的生成式 AI 應用場景，例如新藥研發、創新的產品設計、全新的數字服務模式等。案例：Arelik 規劃個生成式AI應用場景Arelik 是一家全球家電耐用品公司，其使命是像一家技術公司一樣生產電器。因此，該公司一直希望嘗試新技術。在人工智能領域，Arelik 早前就設立了人工智能競賽、工作團隊以及相關項目。年月，ChatGPT 推出之后，Arelik 立即加大了在生成式 AI 領域的舉措。公司將人工智能戰略集中在三大戰略領域：在組織內部提高認識；建設內部能力，包括卓越中心、人工智能冠軍獎項以及研討會；開發新的項目和平臺，開展具體的試點項目。公司由數據科學部門牽頭，梳理企業內從研發設計、生產制

59、造到市場營銷、銷售，以及覆蓋包括財務、行政、人力資源等在內的職能部門的生成式AI應用場景，規劃了個應用場景，目前已開始探索其中的個應用場景。來源:IDC,圖 生成式AI行動計劃投資長遠、顛覆性的技術與場景關注行業專有、高潛力的業務場景著手通用、易落地的業務場景從通用的、不需要海量專有數據的應用場景開始試點行業垂直的場景先從POC開始平臺建設可以先從云端開始投資生成式AI的模型構建編排與部署平臺，并注重建立端到端的數據管道對于比較成功的早期生成式AI應用場景，開始擴展應用規模關注且開始探索行業領域模型以及相關應用場景對生成式AI的應用開展系統級的管理技術的突破帶來顛覆式創新的業務場景，需要適時進

60、行資金、資源、人才保障的前置式投資盤點垂直領域全場景應用場景探索專注于可能顛覆業務模式的生成式AI應用場景個月內-個月內-個月內案例：某資產管理公司開發生成式 AI 財富助手該資產管理公司在應用大模型之前，理財師團隊規模約人，每年財富銷售規模過千億，平均每位理財師服務客戶數 人。理財師平均為每個客戶每次編寫持倉分析報告、資產配置建議書、營銷文案耗時 分鐘，能完成的復雜金融產品銷售比例約%。應用大模型之后，理財師團隊規模保持不變，每年財富銷售規模增幅%，平均每位理財師服務客戶數 人。理財師平均為每個客戶每次編寫持倉分析報告、資產配置建議書、營銷文案的耗時降低至分鐘，為理財師拓展和服務客戶節省出大

61、量的時間。與此同時，由于大模型撰寫的文案內容更具針對性和多樣性，復雜金融產品銷售的比例也提升至%。ROI：在理財師人員不增加的情況下，資產管理規模增量約億，按照收取%的管理費計算，新增管理費.億。來源:IDC中國，生成式AI市場調研，N=,圖 基于貴組織的經驗，以下哪些是生成式 AI 的最佳實踐？建立公司范圍內的評估和跟蹤開源生成式人工智能代碼、數據和培訓模型使用的指導方法實施數據共享和運營實踐，以確保內部開發的任何大型語言模型的數據完整性創建內部生成式人工智能卓越中心（CoE）以加速采用并建立公司范圍的標準為特定的人才創建生成式AI技能發展和培訓計劃建立生成式人工智能評估標準并將其應用納入所

62、有新的或更新的SaaS 需求書（RFP）中設立正式的人工智能治理/道德/風險委員會%.模型選擇根據企業制定的應用場景路線圖，優選可以最先落地的場景，定義生成式 AI 的應用場景。根據場景與需求選擇并評估基礎模型，使用 AI 開發平臺中提供的模型評估功能快速選擇模型，參數量不一定越大越好，百億參數量的模型也許更適合當前的生產環境。.端到端構建生成式 AI 應用對于有計劃自主訓練模型的企業，數據的收集與準備、模型的訓練與調優，可以參考上一代 AI 中機器學習、深度學習模型訓練與部署的流程。而對于使用基礎模型進行開發的企業，本報告提出以下建議。為應用場景選擇模型持續迭代定義使用場景與用例選擇現有基礎

63、模型或預訓練自己的模型知識增強（Retrieval-Aug-mented Genera-tion,RAG)微調(Fine-tuning)提示詞工程（Prompt Engineering)評估效果部署模型及運行推理構建由基礎模型驅動的應用程序模型適配和模型調整應用程序集成來源:IDC,圖 端到端構建生成式AI應用.模型適配與調整利用專有數據定制模型：這些數據可能來自企業內部系統，也可能來自外部渠道。定制模型主要包括三種方式：提示詞工程、檢索增強生成（RAG）以及微調。提示詞工程：采用預訓練模型的最簡單方法，無需對模型或其參數進行任何定制，尤其適用于提升生產力的應用場景，如智能知識搜索和寫作助手。

64、這種方法適用于不需要特定領域或企業上下文的應用場景，同時允許某些用戶級別的控制，以產生特定任務的輸出。提示詞工程技術的例子包括少量提示、思維鏈和常識提示。RAG：獲取數據源，將數據與提示詞結合，增強提示詞，最終返回響應。這種方法通過利用企業文件集，從通用模型中生成特定領域的輸出。例如，一家律師事務所的資料庫中可能有年的咨詢和案例文件，這些文件可以作為法律領域的專業知識加以捕獲和訪問。專有信息通常存儲在矢量數據庫中。在推理過程中，用戶查詢會通過嵌入模型運行，并轉換成一個向量，與包含領域知識的向量數據庫進行匹配；再將這種情境化查詢發送到通用LLM，以檢索更有針對性的回復。這種將 LLM 和檢索增強

65、功能相結合的方法，是建立專有模型而不產生模型微調成本的好方法。微調：使用標記數據集調整模型參數，在具體任務中進一步訓練參數，使其適合業務需求。評估模型：評估模型生成內容的準確性、模型的穩定性、性能是否滿足上線要求，確保模型在實際環境中能夠滿足預期的需求。.應用程序集成為了充分利用生成式 AI 的潛力，企業需要不斷更新其技術設施、對模型進行充分的驗證和迭代，使其更加適應和適合企業的業務需求，包括模型驗證、管理、模型治理等。構建生成式AI應用程序：為生成式 AI 應用準備好數據來源、數據傳輸管道，設置用戶使用權限。如果企業開發一個全新的 AI原生應用，可以從具備成本效益、免除基礎設施搭建運維工作、

66、具備行業領先 AI 應用實踐的云服務開始搭建。在與企業現有數據庫進行交互的過程中，可以選擇生成式 AI 驅動的 agent 類工具來加速應用的部署。模型部署：將大模型集成到應用系統中。模型部署環節應該做到：簡單-集成到新的應用程序不需要再更改代碼、快捷-一鍵部署、自動化-自動化部署到各種位置、可擴展-跨多個區的自動擴展的部署能力。模型治理：持續進行模型的運行監測，對模型準確度、效果，甚至業務的價值提供持續的監測評估與反饋。進行負責任的模型治理：開發自動通知的功能，執行基于觸發的治理，連接到人工智能資產，用于發布模型的負責任指標/透明度。展望未來，對于生成式 AI，有三點仍需特別關注一、高管們需

67、要革命性的思考，而不是漸進式的思考；二、數據是關鍵，構建強大的數據價值鏈是企業差異化競爭優勢的基石；三、為未來而建，不局限于當前的需求，戰略需要模塊化、高度可擴展。.持續迭代建立衡量應用是否成功的評估體系：針對生成式 AI 應用，嘗試定義一套明確的關鍵績效指標（KPI），如客戶滿意度、員工生產力、提供服務的成本、用戶信任度等。在試點期間監控這些關鍵績效指標，以決定哪些指標需要擴展。評估數據、關鍵績效指標及其他績效和風險因素，以決定擴大哪些試點或開始其他試點。評估生成式 AI 帶來的業務效益。從技能、流程和技術架構方面吸取經驗教訓，以便為新的應用場景提供參考。亞馬遜云科技致力于不斷降低機器學習使

68、用門檻，在人工智能和機器學習解決方案的三個層級都擁有至深至廣的產品組合。在生成式 AI 時代，亞馬遜云科技更是前所未有地加大投入，致力于讓更多客戶訪問豐富的基礎模型、為機器學習推理和訓練提供基礎設施、提高所有開發人員的編碼效率，幫助客戶更簡單、更容易地在業務中使用生成式 AI。除了生成式 AI 應用的開發，亞馬遜云科技也非常注重為用戶提供端到端、全面、集成、可治理的數據底座，并幫助用戶一起打造負責任的 AI 策略。亞馬遜云科技面向互聯網行業、制造行業、金融行業、汽車行業以及出海群體提供了豐富先進的生成式 AI 云服務選擇。全球已有超過 萬家來自各行各業、不同規模的客戶采用了亞馬遜云科技機器學習

69、服務，超過 萬家客戶利用 Amazon Bedrock 進行創新，如 Adidas 借助生成式 AI 使開發人員能夠快速、準確地回答深層次的技術問題；Carrier 使用 Amazon Bedrock 將歷史活動、預測分析、系統警報和數據趨勢相結 合，以 提 供 幫 助 客 戶 減 少 能 源 消 耗 和 減 少 碳 排 放 的 建 議；Nasdaq 利 用 Amazon Bedrock 幫助實現可疑交易調查工作流程的自動化，并加強其反金融犯罪和監控能力。亞馬遜云科技助力企業解鎖生成式 AI 潛力第五章面向客戶，亞馬遜云科技支持構建生成式 AI 應用的解決方案包括三層：用于基礎模型訓練和推理的

70、基礎設施、使用基礎模型進行構建的工具、利用基礎模型構建的應用程序。來源:亞馬遜云科技,圖 全球各行各業、不同規模的客戶借助亞馬遜云科技生成式 AI 持續創新來源:亞馬遜云科技,圖 亞馬遜云科技生成式 AI 三層架構利用基礎模型構建的應用程序使用基礎模型進行構建的工具用于基礎模型訓練和推理的基礎設施Amazon QAmazon BedrockGPUEFAUltraClustersTrainiumInferentiaSageMakerEC 容量塊NitroNeuronGuardrails|代理|自定義能力Amazon QuickSight中的 Amazon QAmazon Connect中的 Am

71、azon QAmazonCodeWhisperer.高性價比且豐富的基礎設施加速訓練與推理亞馬遜云科技為用戶提供豐富的算力選擇。在 GPU 方面，NVIDIA 多款先進算力均率先在亞馬遜云科技落地亞馬遜云科技將提供首款搭載 NVIDIA Grace Hopper 超級芯片的云 AI 超級計算機，以及首款采用 NVIDIA GH NVL 的NVIDIA DGX 云。此平臺將在 Amazon EC 實例上可用，由虛擬化系統 Amazon Nitro 及超大規模集群 Amazon EC UltraClusters 提供支持，讓用戶能輕松擴展至數千個 GH 超級芯片。同時，亞馬遜云科技也在持續投入先進

72、算力的研發以提升構建AI應用性價比，目前已發布支持千億級甚至萬億級參數規模模型訓練的 Trainum，以及面向推理的Inferentia，為模型訓練和推理提供更高算力、更快的加速比、更好的性價比。圖 亞馬遜云科技提供豐富的算力選擇來源:亞馬遜云科技,提供NVIDIA 先進算力亞馬遜云科技自研算力CGNVIDIA TeslaM“Fermi”GPUsGNVIDIA GRIDGK“Kepler”GPUsPNVIDIA KGPUsGNVIDIATesla MGPUsPNVIDIA VTensor CoreGPUsGNVIDIA TTensor CoreGPUsPNVIDIA ATensor CoreG

73、PUsGNVIDIA AGTensor CoreGPUsGgNVIDIA TGTensor CoreGPUsPNVIDIA HTensor CoreGPUsAmazon TrainiumAmazon InferentiaAmazon SageMaker訓練與微調基礎模型的一站式平臺。MLops 編排：在統一的可視化界面中編碼、構建、訓練、部署和監控，提高生產力；模型實驗管理：更高質量的模型訓練，部署，通過配置自動調試訓練錯誤、監控模型；直接獲取算力資源：做到成本可控；可視化特征處理：連接 Amazon EMR、支持 Interactive Glue Session，Amazon S 等語料數據

74、源；大規模協作：多 domain，分享 Notebook、GitHub 集成。Amazon SageMaker 上提供了數百個預訓練模型的訪問權限，用戶可以使用專門構建的工具來微調、實驗、再訓練和部署基礎模型，構建自己的基礎模型。Amazon SageMaker 產品面向分布式訓練也做了專門優化，能夠為客戶提供更優的性價比。.豐富的模型可選，可基于私有數據差異化定制Amazon Bedrock 使用基礎模型構建 AI 應用：使一系列模型的構建和移動就像 API調用一樣簡單，讓所有開發人員都可以獲得模型定制的新技術，并保護客戶的安全和數據隱私。來源:亞馬遜云科技,圖 Amazon Bedrock

75、：簡化選擇、定制化模型、應用集成結合業務應用場景選擇合適的基礎模型跨公司系統和數據源執行多步驟任務選擇模型選擇模型適配和模型調整應用程序集成定制集成知識增強（Retrieval-Augmented Generation,RAG)微調(Fine-tuning)預訓練（Continued Pre-training)豐富的模型選擇企業面向場景構建每一個 AI 應用都要嘗試多個模型，在 Amazon Bedrock 上可以支持用戶輕松訪問各種主流模型多次嘗試和切換模型，最終選出最匹配需求的模型。Amazon Bedrock 是一項完全托管的服務，通過單個 API 提供來自 AI Labs、Anthro

76、pic、Cohere、Meta、Stability AI 和 Amazon 等領先人工智能公司的高性能基礎模型（FM），以及通過安全性、隱私性和負責任的 AI 構建生成式人工智能應用程序所需的一系列廣泛功能。Claude：通過負責任的 AI 進行訓練的 FM，可進行深思熟慮的對話、內容創作、復雜推理、創意寫作和編碼。Stable Diffusion：圖像生成模型可生成獨特、逼真且高質量的視覺對象、藝術品、徽標和設計。Llama：經過微調的模型，非常適合對話用例和自然語言任務，例如問答和閱讀理解。Command 和 Embed：文本生成和表示模型，用于生成文本、摘要、搜索、聚類、分類和利用 RA

77、G。Jurassic：專為企業構建的指令遵循 FM，可執行一系列任務，包括文本生成、問答、摘要等。除了業界領先的基礎模型外，Amazon Bedrock 還提供了自研基礎模型 Amazon Titan 供客戶選擇。Amazon Titan 包括一系列 FM，用于文本和圖像生成、摘要、分類、開放式問答、信息提取以及文本或圖像搜索等。差異化定制高效評估、比較和選擇最適合其應用場景和業務需求的模型：支持用戶自動或者人工評估、比較并選擇模型。通過選擇預定義的評估標準并上傳自己的測試數據集或從內置的公開數據集中進行選擇，可以實現自動評估。如需更加復雜的主觀標準，用戶可以通過定義特定的指標來設置，由 Am

78、azon Bedrock 運行評估并生成報告，用戶可以基于其結果做出最佳權衡。通過RAG、微調以及提示詞工程實現模型定制功能：RAG：支持企業從多個數據源獲取數據，使用專有數據補充模型，以便獲得更準確的響應。Amazon Bedrock 知識庫功能完全托管，會自動編排 RAG，通過模型獲取相關文本來增強提示詞，將提示詞發給模型，最終返回響應。微調：是另外一項重要的模型定制技術，經常被用來控制模型去理解特定的輸入格式（比如固定的問題問法），輸出以及理解回答問題的角色。然后，Bedrock 會復來源:亞馬遜云科技,圖 Amazon Bedrock 廣泛的模型選擇Al LabsAmazonAnthr

79、opiccohereMetaStability.aiJurassic-UltraJurassic-MidTitan Text EmbeddingsTitan Multimodal EmbeddingsTitan Text LiteTitan Text ExpressTitan Image GeneratorClaude Claude.Claude InstantCommand+EmbedCohere Command LightCohere Embed EnglishCohere Embed MultilingualLlama Llama BLlama BStable Diffusion XL.

80、Mistral AIMistral BMixtral xBcoming soon制一個客戶專屬的基礎模型，并結合客戶準備的 S 上的數據，進行微調，并生成一個新的定制模型。在 Amazon Bedrock 上，Cohere Command Lite,Meta Llama,Amazon Titan Text Lite&Express 已 經 可 以 使 用 微 調 功 能，Anthropic Claude 等即將推出微調功能。對 Amazon Titan Text Lite 與 Express 持續預訓練：在 Amazon Bedrock 中，另一種自定義模型的方法是持續預訓練。這是一種使用大量

81、未標記數據，如內部報告、財務計劃或研究成果的原始文本來提高大模型對特定領域的知識和推理能力的技術，這種方式是適合想要擁有“領域大模型”，或者說將領域知識以及技能嵌入大模型能力的場景。在 Amazon Bedrock 上使用模型定制功能，用戶數據在傳輸過程和靜態時都經過加密。因此，所有數據都能保證安全私密。應用程序集成生成式 AI 應用通常需要集成公司內部系統、API 以及外部系統的數據。連接模型與數據源，開發人員需要配置和管理必要的基礎設施，并制定數據安全和隱私策略。這些步驟耗時且具有一定的門檻，使用 Agents for Amazon Bedrock 可以計劃并執行大多數業務任務，可以從專有

82、數據源檢索所需信息并提供準確且相關的響應。.生成式 AI 驅動的應用程序未來企業的應用程序都將基于 AI 驅動，構建 AI 應用程序本身，亦需要生成式 AI 驅動。亞馬遜云科技在云服務全棧產品中提供生成式 AI 工具的助力，目前在海外區域已有 Amazon Q 以及 Amazon CodeWhisperer 支持用戶應用開發流程的自動化與智能化，未來將有更多服務引入生成式 AI 工具。企業的業務專家：通過將 Amazon Q 連接到公司數據、信息和系統，可以根據您的業務定制 Amazon Q，并使用 多個內置連接器簡化操作。商業用戶，例如營銷人員、項目和計劃經理以及銷售代表等，可以進行定制的對

83、話、解決問題、生成內容、采取行動等等。Amazon Q 知道他們可以訪問哪些系統，因此他們可以提出詳細、細致的問題，并獲得其中僅包含他們有權查看的信息的定制結果。Amazon Q-企業級生成式AI助手Amazon Q 是專為您的業務量身定制的、生成式人工智能工作助手，可為員工提供信息和建議，幫助他們簡化任務、加速決策和解決問題，并幫助激發工作中的創造力和企業創新。Amazon Q 為滿足企業級客戶嚴格的要求專門設計，可以根據企業既有的人員、角色和權限對每個用戶交互進行個性化定制。此外，客戶的內容絕不會用于訓練 Amazon Q 的底層模型。Amazon Q 由亞馬遜云科技年來積累的知識和經驗訓

84、練而成，改變了開發者和IT人員在亞馬遜云科技上構建、部署和運維應用程序和工作負載的方式?？蛻艨梢酝ㄟ^亞馬遜云科技管理控制臺、文檔頁面、IDE、Slack 或其他第三方對話應用程序的聊天界面訪問 Amazon Q。圖 亞馬遜云科技企業級生成式AI助手Amazon Q來源:亞馬遜云科技,Amazon Q 是Amazon Q您的亞馬遜云科技專家Amazon Q您的商務專家Amazon Quicksight 中的 Amazon Q您的商業智能專家Amazon Connect 中的 Amazon Q您的聯絡中心專家為充分發揮生成式 AI 的優勢，客戶需要針對其應用場景或行業專門構建的解決方案。因此，亞馬

85、遜云科技將 Amazon Q 引入多種服務和應用程序，包括：Amazon QuickSight 中的 Amazon Q：Amazon QuickSight 是專為云構建的統一 BI 服務，提供交互式儀表板、分頁報告、嵌入式分析以及自然語言查詢功能。借助 QuickSight 中的 Amazon Q，客戶可以訪問由生成式 AI 驅動的功能，由此來構建儀表板，并更輕松地利用數據簡化決策、與業務利益相關者同步信息并獲取洞察。借助新的故事生成功能，用戶可以要求 Amazon Q“描述上個月業務發生的變化，用于向領導層匯報”。Amazon Q 能夠在幾秒鐘內根據 Amazon QuickSight 中的

86、可用數據創建一段數據驅動的、視覺效果良好的描述，用戶可以進一步自定義描述并與整個企業共享。此外，通過儀表板和報告上的新的概要總結功能，Amazon Q 可以快速創建摘要，突出顯示儀表板中需要注意的重要內容。業務用戶還可以使用新的、簡化的問答體驗，他們可以提出開放性問題并獲得相關答案，而不僅限于儀表板和報告中的視覺效果。Amazon Connect 中的 Amazon Q：Amazon Connect 是云聯絡中心，使各種規模的企業能夠以更低的成本提供卓越的客戶體驗。聯絡中心客服能夠通過一系列復雜的決策幫助客戶，在企業建立客戶信任和忠誠度方面發揮著關鍵作用，但招聘、培訓和指導員工成為優秀的客服，

87、確保他們能夠快速、準確地響應客戶需求是一項艱巨挑戰。Amazon Connect 中的 Amazon Q 根據客戶與客服之間的實時對話檢測客戶問題，并能夠自動回復、給出建議以及提供相關資料。通過讓客服人員能夠在沒有主管協助的情況下滿足客戶對各種問題的需求，Amazon Connect 中的 Amazon Q 提高了客戶滿意度，同時減少了客服人員培訓、解決問題的時間并降低了成本。例如，Amazon Q 可以檢測到客戶正在聯系租車公司更改預訂。然后，Amazon Q 可以快速響應，發送公司的預定變更政策，并指導客服如何一步步地更新預訂。Amazon Supply Chain 中的 Amazon Q

88、：Amazon Supply Chain 是一款基于云的應用程序，通過將亞馬遜近年的供應鏈經驗與亞馬遜云科技的彈性、安全性和業務連續性相結合，讓客戶深入了解自身的供應鏈。許多客戶正在尋找一種更直觀的方式來了解上下游庫存變化如何影響他們未來的運營。借助 Amazon Supply Chain 中的 Amazon Q，客戶將能夠提出有關供應鏈數據的一系列問題，如“是什么？”、“為什么？”和“如果會怎樣？”，將復雜場景的結果可視化，還可以追問問題以權衡不同決定之間的優劣。例如，客戶可能會問“是什么導致我的發貨延遲以及如何加快速度”。Amazon Q 會分析客戶的供應鏈，并標注大部分訂單目前都在東海岸

89、，風暴導致了延誤，客戶可以選擇運往紐約而不是邁阿密來加快交貨速度并降低成本Amazon CodeWhispererAmazon CodeWhisperer 可以根據用戶的注釋和現有代碼，在 IDE 中實時生成從代碼片段到全函數的代碼建議，也支持命令行中的 CLI 補全和自然語言到 bash 的轉換。此外，在 Amazon CodeWhisperer 中，也可以使用 Amazon Q 通過自然語言的方式來解釋代碼、轉換代碼以及獲取個性化的代碼建議。.亞馬遜云科技注重負責任的 AI生成式 AI 一定要是安全、負責任的。亞馬遜云科技強調幫助企業建立公正、可解釋、穩健、透明、可治理、確保隱私與安全的“

90、負責任的 AI”。在具體功能方面，亞馬遜云科技確保用戶用于自定義模型的數據將保留在客戶自己的 VPC 內，任何數據均不會用于訓練底層模型；在模型訓練與推理的各個環節，所有數據在傳輸和靜態時均經過加密，確保數據安全；支持 GDPR 以及 HIPAA 等標準。全新的 Guardrails for Amazon Bedrock 也將助力落實“負責任的 AI”策略：企業希望生成式 AI 應用生成的內容能夠確?！八鸺此鶈枴?，少一些“幻覺”。Guardrails for Amazon Bedrock 提供綜合客戶應用場景與根據“負責任的 AI”原則定制的功能，用戶可以使用自然語言定義其應用程序中需要被拒

91、絕的話題，也可以配置負面內容的閾值來過濾有害內容，還可以設定模型響應中的個人身份信息的變換方法，以保證安全、設置臟話過濾器，并提供自定義單詞列表阻止用戶和模型之間的交互。通過提供一致的用戶體驗并標準化生成型 AI 應用程序的安全和隱私控制，Guardrails for Amazon Bedrock 功能使客戶能夠安全地進行創新。.端到端數據基座打通壁壘，讓所有應用可治理、可管控端到端的數據服務能力是大模型成功應用的一個關鍵點生成式 AI 不僅需要具備低成本高性能的基礎設施、強大的模型與生成式 AI 工具，同時還需要構建一個穩固的數據基座，以實現不同環境、不同產品之間的無障礙連接，并確保所有應用

92、的可治理、可管控。亞馬遜云科技提供了全面、集成、可治理的數據基座：全面的數據服務：通過大模型構建挖掘數據價值，離不開數據存儲、查詢、分析等全面數據服務能力的支持。用戶可以利用 Amazon S 構建數據湖，無論是結構化數據或非結構化數據，均可被用來分析，或者用于機器學習，并選擇多種專用數據 庫（如 Amazon Aurora、Amazon DynamoDB）、數 據 倉 庫（如 Amazon Redshift）和大數據服務（如Amazon ERM）；用戶可以使用多種托管數據庫引擎，包括 MySQL、PostgreSQL 等開源數據庫引擎，還包括商業數據庫引擎 Oracle、SQL Server

93、；針對不同類型的數據處理需求，亞馬遜云科技最新發布了 Amazon RDS for Db、向量檢索、Amazon OpenSearch Serverless、Amazon DocumentDB 和 Amazon DynamoDB 的 全 新 向 量 搜 索 功 能 以 及 Amazon MemoryDB for Redis 的向量檢索功能預覽版，使得用戶能夠在成本、性能和規模上取得平衡。Zero-ETL 集成特性：要想讓大模型能夠 更聰明”地為業務所用，底層數據支撐上需要全面的集成能力，需要將企業里散落在不同產品、不同業務環節的數據，進行采集、傳輸、存儲、清洗、分析、展示等。在傳統業務模式下，

94、需要做很多 ETL 的工作，需要清洗、轉化和加載，非常耗時費力。年亞馬遜云科技提出了 Zero-ETL 愿景，實現了 Amazon Aurora MySQL 到 Amazon Redshift 的 ETL 打通。年，亞馬遜云科技進一步擴展了 Zero-ETL 能力，包括發布 Amazon Aurora-PostgreSQL、Amazon RDS for MySQL 和 Amazon DynamoDB 與 Amazon Redshift 的 Zero-ETL 集 成 預 覽 版，以 及 Amazon DynamoDB 與 Amazon OpenSearch Service、Amazon Open

95、Search 與 Amazon S 之間的 Zero-ETL 集成預覽版。這些新功能使客戶能夠無縫地分析來自不同來源的數據，而無需自行構建和維護數據管道?？芍卫恚捍竽Ｐ碗m然發展潛力巨大，但訪問和控制永遠是一對不可妥協的矛盾。數據作為大模型的基座，必須安全、可靠、可治理，這是所有客戶的“紅線”。若授予用戶過多的訪問權限，帶來整個生產力提升的同時，也有可能會帶來核心數據的泄露風險。若對于訪問權限過于限制，毫無疑問會限制員工的創造力。所以，在保障數據安全的情況下，如何做到允許正確的員工來訪問正確的數據，永遠都是每個客戶的共同訴求。為此，亞馬遜云科技發布了 Amazon DataZone，從約束流程和

96、操作方式開始，允許用戶建立統一的數據目錄，并建立嚴格的授權審批能力，讓正確的人訪問正確的數據。此外，還發布了Amazon DataZone AI recommenda-tions 和 Amazon Clean Rooms ML 預覽版，為企業提供更易理解的業務描述和使用建議，以及在不共享基礎數據的情況下與合作伙伴一起構建機器學習模型的產品。這些措施旨在平衡業務敏捷性和數據治理，描繪出負責任生成式AI的正確范式。關于 IDC國際數據公司（IDC）是在信息技術、電信行業和消費科技領域，全球領先的專業的市場調查、咨詢服務及會展活動提供商。IDC幫助IT專業人士、業務主管和投資機構制定以事實為基礎的技

97、術采購決策和業務發展戰略。IDC在全球擁有超過名分析師，他們針對多個國家的技術和行業發展機遇和趨勢，提供全球化、區域性和本地化的專業意見。在IDC超過年的發展歷史中，眾多企業客戶借助IDC的戰略分析實現了其關鍵業務目標。IDC是IDG旗下子公司，IDG是全球領先的媒體出版，會展服務及研究咨詢公司。IDC ChinaIDC 中國（北京）：中國北京市東城區北三環東路 號環球貿易中心 E 座 室郵編：+.Twitter:IDCidc-版權聲明凡是在廣告、新聞發布稿或促銷材料中使用 IDC 信息或提及 IDC 都需要預先獲得 IDC 的書面許可。如需獲取許可，請致信。翻譯或本地化本文檔需要 IDC 額外的許可。獲取更多信息請訪問 ，獲取更多有關 IDC GMS 信息，請訪問 https:/ IDC。未經許可，不得復制。保留所有權利。