王昕-GCOS全球云原生及開源峰會PPT模板_16比9-publish.pdf

1、王昕 高級技術戰略專家 GCOS 2023 全球云原生及開源峰會王昕有20年從事軟件系統設計、開發和產品管理的經驗，10年云計算相關技術產品的研發經驗。他曾就職IBM、VMware和阿里云等主要云計算相關企業，目前在微軟中國從事技術戰略和技術生態孵化工作，推廣基于OpenAI等大語言模型技術的新應用架構。王昕王昕高級技術戰略專家高級技術戰略專家個人簡介個人簡介替換您的個人照片替換您的個人照片 GCOS 2023 全球云原生及開源峰會1324基 礎 技 術迭 代 更 新企 業 應 用要 點 總 結03040102介紹LLM歷史和OpenAI基礎技術 GCOS 2023 全球云原生及開源峰會GPT

2、GPT模型經歷多類技術路線演化，逐步成熟與完善模型經歷多類技術路線演化，逐步成熟與完善 基于模板基于模板和規則的和規則的前深度學前深度學習階段習階段 ChatGPTChatGPT所能實現的人類意圖，來自于機器學習、神經網絡以及所能實現的人類意圖，來自于機器學習、神經網絡以及TransformerTransformer模型的多種技術模型積累模型的多種技術模型積累 1950年開始MachineMachineLearningLearning1980年開始1990年開始至2012年獲得突破2017年模仿人腦模仿人腦進行大量進行大量數據的標數據的標記和訓練記和訓練 CNNCNNRNNRNNGANGANT

3、ransformerTransformer重點關注人腦重點關注人腦學習過程學習過程2018年2019年2020年2021-2022年GPT-1GPT-2GPT-3Instruct-GPT針對人類反饋信息學習的針對人類反饋信息學習的大規模預訓練語言模型大規模預訓練語言模型 （RLHFRLHF）T5BARTM2m-100BigbirdBERTRoBERTaXLMALBRERTELECTRA全網語料庫全網語料庫更高的計算能力更高的計算能力更高的適更高的適應性應性更通用的預訓練更通用的預訓練小模型小模型基于兩大語料庫基于兩大語料庫更適合文本理解更適合文本理解監督學習監督學習微軟微軟Azure Open

4、AIAzure OpenAI使用基于使用基于text-davinci-text-davinci-002002指令微調的指令微調的GPT3GPT3模型模型新版新版Enterprise ChatGPTEnterprise ChatGPT將于將于3 3月上市月上市GPT-3.5（ChatGPT）GCOS 2023 全球云原生及開源峰會生成式模型生成式模型GPT-4/3CodexDALLE 2/3ChatGPT陸地上跑得最快的動物是什么？獵豹，其速度可達每小時60英里（97公里）。是什么讓它們這么快？獵豹是為速度而生的，有幾種適應能力，使它們成為速度最快的陸地動物：苗條的身體、長腿、靈活的脊椎、大鼻孔

5、和不會縮回的爪子。提示：為一家冰淇淋店寫一個標語?；貞?我們的每一勺都能帶來微笑!提示：Table customers,columns=CustomerId,FirstName,LastName,Company,Address,City,State,Country,PostalCode為德克薩斯州的所有名為 Jane 的客戶創建一個 SQL 查詢=回應:SELECT*FROM customersWHERE State=TX ANDFirstName=Jane提示：一只白色的暹羅貓 回應:GCOS 2023 全球云原生及開源峰會應用大模型的三項核心技術應用大模型的三項核心技術提示Promptin

6、g嵌入Embedding微調/訓練/定制Fine-Tuning針對LLM模型的CompletionAPI通過好的提問引導答案通過舉例促成上下文學習模型：gpt-35-turbo,GPT-4針對Embedding模型的Embedding API知識向量是文本的索引相當于知識的筆記本模型：text-embedding-ada-002將知識、格式、習慣、風格訓練進入模型針對可以微調的模型的Fine-Tuning API提示是LLM時代的代碼模型：gpt-35-turbo-instruct GCOS 2023 全球云原生及開源峰會挑戰及應對：幻覺、知識局限挑戰及應對：幻覺、知識局限什么是幻覺？事實不正

7、確，不相關，毫無意義的信息，虛假事實，創造不存在的事件或實體起因是什么？強化學習和預學習校驗融合度以多樣的回應為目標的訓練應對策略上下文對于提高準確性和解決幻覺也非常重要使用低溫度、思維鏈提示、自我一致性/投票、結果過濾的正確概率、任務分解和代理知識局限：外部數據庫、retrieval model GCOS 2023 全球云原生及開源峰會企業問答：如何將私域數據與企業問答：如何將私域數據與GPT GPT 模型相結合模型相結合Domain DataSmall Set of Labeled Dataminimum of several thousand examplesMaximum of 2.5

8、M tokens or 80-100mb sizeFine-Tuned GPT-3 ModelPerform any domain specific NLP tasksModel parameters adjusted(Weights and Bias)Gradient Updatehigh-dimensional vector space(Embeddings)GPT-3訓練訓練（閉卷考試）（閉卷考試）Domain DataLarge Set of unlabeled DataGPT-3text-embedding-*Semantic(vector)searchClusteringInput

9、 to ML models(*GPT3)high-dimensional vector space(Embeddings)Embeddings vector space stored in a database for downstream use Classification嵌入嵌入+向量數據庫（開卷考試）向量數據庫（開卷考試）03040102介紹OpenAI最新上線的能力 GCOS 2023 全球云原生及開源峰會OpenAIOpenAI最新的產品最新的產品/技術更新技術更新UpdatesOpenAI ServicePreviewGPT-4 TurboPreviewGPT-4 Turbo w

10、ith VisionPreviewDALLE 3PreviewFine-tuning GCOS 2023 全球云原生及開源峰會DALL-E 2 vs.DALL-E 3DALL-E 2 vs.DALL-E 3特性特性 DALL-E 2DALL-E 3分辨率分辨率最高512x512DALL-E 3 可以生成 10241024 像素的更高分辨率圖像，可以提供更多細節和清晰度。圖像細節圖像細節多人細節失真DALL-E 3 在圖像和人體細節中生成文本方面展示了重大改進。這可以提高圖像的質量和多樣性。集成和可用性集成和可用性不能跟ChatGPT集成DALL-E 3 與 ChatGPT 集成，ChatGPT

11、 是一種對話式 AI 系統，可以幫助用戶制作和完善 DALL-E 3 的提示。安全性安全性沒有加入識別標簽DALL-E 3 還具有來源分類器，該工具可以幫助識別圖像是否由 DALL-E 3 生成。訓練數據訓練數據數據集較小DALL-E 3 使用更大、更平衡的數據集。模型技術模型技術變分自動編碼器（VAE）擴散模型。這意味著 DALL-E 3 比 DALL-E 2 具有更大的靈活性和表現力，可以更好地處理復雜的場景和紋理。GCOS 2023 全球云原生及開源峰會DALL-E 2 vs.DALL-E 3DALL-E 2 vs.DALL-E 3Prompt:oil painting of Beiji

12、ng NiaochaoDALL-E 3:1024x1024DALL-E 3:1024x1024DALL-E 2:1024x1024DALL-E 2:512x512DALL-E 2:256x256 GCOS 2023 全球云原生及開源峰會DALL-E 2 vs.DALL-E 3DALL-E 2 vs.DALL-E 3Prompt:一位商務女士和一位商務男士在辦公桌前洽談，真實畫風DALL-E 3:1024x1024DALL-E 3:1024x1024DALL-E 2:1024x1024DALL-E 2:512x512DALL-E 2:256x256 GCOS 2023 全球云原生及開源峰會概念概

13、念/模型模型GPT-3.5 Turbo 16k 1106 versionGPT-3.5 Turbo 16k 1106 version特性特性gpt-3.5-turbogpt-3.5-turbo-16kgpt-3.5-turbo-1106-preview上下文上下文4k16k16kPrompt價格價格$0.0015$0.003$0.001Completion價格價格$0.002$0.004$0.002數據更新數據更新Sep 2021Sep 2021Sep 2021JSON mode（JSON模式）模式）不支持不支持支持。支持。將 response_format 設置為 “type”：“json_

14、object”以啟用 JSON 模式。啟用 JSON 模式后，模型被限制為僅生成解析為有效 JSON 對象的字符串。Reproducible outputs（可重現（可重現輸出）輸出）不支持不支持支持。支持。訪問seed參數和system_fingerprint響應字段對確定性控制。Parallel function calling（并行函數（并行函數調用）調用）不支持不支持支持。支持。并行函數調用是模型同時執行多個函數調用的能力，并行解析這些函數調用的效果和結果。GCOS 2023 全球云原生及開源峰會概念概念/模型模型GPT-4 Turbo 128k 1106 versionGPT-4 T

15、urbo 128k 1106 version特性特性gpt-4gpt-4-32kgpt-4-1106-preview上下文上下文8k16k128kPrompt價格價格$0.03$0.06$0.01Completion價格價格$0.06$0.12$0.03數據更新數據更新Sep 2021Sep 2021April 2023JSON mode（JSON模式）模式）不支持$0.003支持。支持。將 response_format 設置為 “type”：“json_object”以啟用 JSON 模式。啟用 JSON 模式后，模型被限制為僅生成解析為有效 JSON 對象的字符串。Reproducibl

16、e outputs（可重現（可重現輸出）輸出）不支持不支持支持。支持。訪問seed參數和system_fingerprint響應字段對確定性控制。Parallel function calling（并行函數（并行函數調用）調用）不支持不支持支持。支持。并行函數調用是模型同時執行多個函數調用的能力，并行解析這些函數調用的效果和結果。GCOS 2023 全球云原生及開源峰會概念概念/模型模型GPT-4 Vision in ChatGPTGPT-4 Vision in ChatGPT理解圖片中的關鍵信息理解圖片中的關鍵信息理解圖片的含義理解圖片的含義 GCOS 2023 全球云原生及開源峰會概念概念

17、/模型模型GPT-4 Vision APIGPT-4 Vision APIStep 2：根據文字提示和圖片生成內容（回答問根據文字提示和圖片生成內容（回答問題）題）Step 1:上傳圖片上傳圖片 GCOS 2023 全球云原生及開源峰會概念概念/模型模型GTPsGTPs使用簡單的聊天方式，訓練自己的對話使用簡單的聊天方式，訓練自己的對話bot適合于非程序員創造自己的適合于非程序員創造自己的bot GCOS 2023 全球云原生及開源峰會概念概念/模型模型Assistant APIAssistant API通過通過API調用的方式，構建自己的對話調用的方式，構建自己的對話bot適合于程序員創造自

18、己的適合于程序員創造自己的bot040102介紹使用OpenAI構建的典型企業場景03 GCOS 2023 全球云原生及開源峰會人工智能先驅赫伯特人工智能先驅赫伯特西蒙所期待的西蒙所期待的“人的智能人的智能”機器學習傳統傳統AI/ML手術刀刀手術刀刀“訓練模型很難”困難流程考試出現問題要重新復習一年考試出現問題要重新復習一年簡化流程隨學隨考，快速迭代隨學隨考，快速迭代認知認知刀片刀片預訓練預訓練基礎模型基礎模型上下文上下文刀片刀片特定的特定的世界知識世界知識赫伯特西蒙的智能剪刀 GCOS 2023 全球云原生及開源峰會OpenAI OpenAI 典型行業和常用場景典型行業和常用場景內容生成歸納

19、總結語義檢索呼叫中心、客服中心等客戶對話日志的總結新品推廣的市場反饋總結售后評價/投訴分析過程游戲平臺代碼重構基于垂直領域的文檔總結跨平臺多方會議紀要生成電商網站電商網站基于自然語言的搜索優化基于自然語言的搜索優化醫學文獻內容匯總及重點摘要提取醫療器械注冊相關法律法規條款匯總及提取內部智能客服（行政|IT）基于垂直領域的文檔搜索外部售后技術/產品支持生成海量文案&創意素材有溫度/類人的銷售跟進話術生成高端商品門店銷售人員培訓及話術輿情回復生成toC智能終端有溫度機器人代碼生成行業行業SQL查詢語句生成應用接口代碼樣例生成代碼轉換如Synapse-Databrick生物實驗報告/病毒報告初稿撰寫

20、論文潤色 醫藥代表培訓及考核醫學字典智能化無限故事的NPC交互體驗游戲/互聯網出海營銷內容生成基于DALL-E的優秀素材生成多渠道玩家反饋總結(如針對劇情，市場活動，競品)游戲客服機器人零售/電商制造業/AutoLife ScienceDN/GamingSQL查詢語句生成應用接口代碼樣例生成 GCOS 2023 全球云原生及開源峰會LLMLLM應用案例應用案例內容生成，你學我教：機器人語言教師內容生成，你學我教：機器人語言教師CoolE Bot 采用 Azure OpenAI 服務中的自然語言模型，結合微軟語音識別及語音合成技術，能理解真人口語的對話內容，并針對多元情境及不同階段之學習者，產出

21、自然且符合其英語程度水平的響應;CoolE Bot 目前擁有三項主題及六款聊天機器人供不同程度的學習者使用。GCOS 2023 全球云原生及開源峰會OpenAI OpenAI 典型行業和常用場景典型行業和常用場景內容生成歸納總結語義檢索呼叫中心、客服中心等客戶對話日志的總結新品推廣的市場反饋總結售后評價/投訴分析過程游戲平臺代碼重構基于垂直領域的文檔總結跨平臺多方會議紀要生成電商網站電商網站基于自然語言的搜索優化基于自然語言的搜索優化醫學文獻內容匯總及重點摘要提取醫療器械注冊相關法律法規條款匯總及提取內部智能客服（行政|IT）基于垂直領域的文檔搜索外部售后技術/產品支持生成海量文案&創意素材有

22、溫度/類人的銷售跟進話術生成高端商品門店銷售人員培訓及話術輿情回復生成toC智能終端有溫度機器人代碼生成行業行業SQL查詢語句生成應用接口代碼樣例生成代碼轉換如Synapse-Databrick生物實驗報告/病毒報告初稿撰寫論文潤色 醫藥代表培訓及考核醫學字典智能化無限故事的NPC交互體驗游戲/互聯網出海營銷內容生成基于DALL-E的優秀素材生成多渠道玩家反饋總結(如針對劇情，市場活動，競品)游戲客服機器人零售/電商制造業/AutoLife ScienceDN/GamingSQL查詢語句生成應用接口代碼樣例生成 GCOS 2023 全球云原生及開源峰會LLMLLM應用案例應用案例文本總結，商品

23、評論總結文本總結，商品評論總結在短短幾個月幾個月的時間里完成了1111年年的車輛數據摘要CarMax 使用 OpenAI Service 匯總客戶對車輛和門店的評價，創建營銷內容，提供車輛內飾對比信息。使用 OpenAI 節省了他們的市場外勤人員支出，使他們能夠領先競爭對手向客戶提供新信息。GCOS 2023 全球云原生及開源峰會OpenAI OpenAI 典型行業和常用場景典型行業和常用場景內容生成歸納總結語義檢索呼叫中心、客服中心等客戶對話日志的總結新品推廣的市場反饋總結售后評價/投訴分析過程游戲平臺代碼重構基于垂直領域的文檔總結跨平臺多方會議紀要生成電商網站電商網站基于自然語言的搜索優化

24、基于自然語言的搜索優化醫學文獻內容匯總及重點摘要提取醫療器械注冊相關法律法規條款匯總及提取內部智能客服（行政|IT）基于垂直領域的文檔搜索外部售后技術/產品支持生成海量文案&創意素材有溫度/類人的銷售跟進話術生成高端商品門店銷售人員培訓及話術輿情回復生成toC智能終端有溫度機器人代碼生成行業行業SQL查詢語句生成應用接口代碼樣例生成代碼轉換如Synapse-Databrick生物實驗報告/病毒報告初稿撰寫論文潤色 醫藥代表培訓及考核醫學字典智能化無限故事的NPC交互體驗游戲/互聯網出海營銷內容生成基于DALL-E的優秀素材生成多渠道玩家反饋總結(如針對劇情，市場活動，競品)游戲客服機器人零售/

25、電商制造業/AutoLife ScienceDN/GamingSQL查詢語句生成應用接口代碼樣例生成 GCOS 2023 全球云原生及開源峰會LLMLLM應用案例應用案例代碼生成，你問我查：通過聊天發現數據趨勢代碼生成，你問我查：通過聊天發現數據趨勢我們對OpenAI的GPT-4的探索已經顯示出通過SlicerDicer提高自助服務報告的功能和可訪問性的潛力，使醫療保健組織更容易確定運營改進，包括降低成本的方法，以及在本地和更廣泛的背景下找到問題的答案。用自然聊天的方式發現疾病的發展趨勢和病人的情況 GCOS 2023 全球云原生及開源峰會OpenAI OpenAI 典型行業和常用場景典型行業

26、和常用場景內容生成歸納總結語義檢索呼叫中心、客服中心等客戶對話日志的總結新品推廣的市場反饋總結售后評價/投訴分析過程游戲平臺代碼重構基于垂直領域的文檔總結跨平臺多方會議紀要生成電商網站電商網站基于自然語言的搜索優化基于自然語言的搜索優化醫學文獻內容匯總及重點摘要提取醫療器械注冊相關法律法規條款匯總及提取內部智能客服（行政|IT）基于垂直領域的文檔搜索外部售后技術/產品支持生成海量文案&創意素材有溫度/類人的銷售跟進話術生成高端商品門店銷售人員培訓及話術輿情回復生成toC智能終端有溫度機器人代碼生成行業行業SQL查詢語句生成應用接口代碼樣例生成代碼轉換如Synapse-Databrick生物實驗

27、報告/病毒報告初稿撰寫論文潤色 醫藥代表培訓及考核醫學字典智能化無限故事的NPC交互體驗游戲/互聯網出海營銷內容生成基于DALL-E的優秀素材生成多渠道玩家反饋總結(如針對劇情，市場活動，競品)游戲客服機器人零售/電商制造業/AutoLife ScienceDN/GamingSQL查詢語句生成應用接口代碼樣例生成 GCOS 2023 全球云原生及開源峰會LLMLLM應用案例應用案例語義檢索：通過聊天推薦商品語義檢索：通過聊天推薦商品DeskTableChairCouch客戶商品 數據庫嵌入模型嵌入模型嵌入空間商品 嵌入相似性查詢Saffron Ella$2,300Signature serie

28、sSlate Ray$2,300Signature series GCOS 2023 全球云原生及開源峰會在不同行業的應用嘗試在不同行業的應用嘗試 遠程醫療的虛擬助手 醫療寫作和文檔化 患者分診 醫學教育 心理健康支持 臨床試驗招募 研發階段靶點發現及產品成藥性 醫學文獻內容檢索、重點摘要提取、相關法規整理 醫藥代表培訓及知識庫建立 分診導診助理、診療助理、術后護理及復健輔助 個人金融理財顧問 貸款信息摘要及初始批復 識別并檢測欺詐活動風險 客服中心分析及內容洞察 保險理賠處理及分析 投資者報告/研究報告總結 生產計劃、供應鏈計劃狀態查詢 產線預測性維保輔助 產品質量分析與溯源 自動駕駛全場景

29、模擬訓練及虛擬汽車助手 線上購車品牌、配置對比分析零售/電商 輿情、投訴、突發事件監測及分析 品牌營銷內容撰寫及投放 自動化庫存管理 自動生成或完成SKU類別選擇、數量和價格分配 客戶購物趨勢分析及洞察企業運營 日常辦公文檔材料撰寫整理 營銷：對話機器人，市場分析，銷售策略咨詢等 法務：法律文件起草，案例分析，法律條文梳理 人力資源：預招聘，簡歷篩選、員工培訓教育 協助評估學生學習狀況，為職業規劃提供建議 針對學生情況及興趣定制化學習內容，因材施教 論文初稿搭建及論文審核 幫助低收入國家/家庭獲得平等的教育資源醫療金融/保險制造業/汽車生命科學0102總結今天交流的要點0304 GCOS 20

30、23 全球云原生及開源峰會要點總結要點總結基礎技術機器學習和深度學習注意力機制和Transformer應用大模型的核心技術提示、嵌入、微調閉卷考試和開卷考試迭代更新DALL-E 3 vs DALL-E2GPT-3.5 Turbo-1106 GPT-4 Turbo 1106 response_format/SeedGPT-4 VisionGPTs/Assistant API企業應用內容生成總結歸納代碼合成語義檢索基礎技術迭代更新企業應用 GCOS 2023 全球云原生及開源峰會G C O S 2 0 2 3ThanksThanks主辦單位：Linux Foundation|Next Arch Foundation 云原生時代社區協辦單位：DevOps時代社區 高效運維社區