計算機行業：一致性模型、Auto~GPT、Meta動畫制作等動態跟蹤-230415（38頁）.pdf

《計算機行業：一致性模型、Auto~GPT、Meta動畫制作等動態跟蹤-230415（38頁）.pdf》由會員分享，可在線閱讀，更多相關《計算機行業：一致性模型、Auto~GPT、Meta動畫制作等動態跟蹤-230415（38頁）.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、一致性模型、一致性模型、AutoAuto-GPTGPT、MetaMeta動畫制作等動態跟蹤動畫制作等動態跟蹤證券研究報告證券研究報告 行業動態報告行業動態報告發布日期：2023年4月15日本報告由中信建投證券股份有限公司在中華人民共和國（僅為本報告目的，不包括香港、澳門、臺灣）提供。在遵守適用的法律法規情況下，本報告亦可能由中信建投（國際）證券有限公司在香港提供。同時請參閱最后一頁的重要聲明。分析師：于芳博分析師：于芳博SAC編號：S1440522030001分析師：金戈分析師：金戈SAC編號：S1440517110001SFC編號：BPD352分析師：分析師：閻貴成閻貴成SAC編號：S144

2、0518040002SFC編號：BNS315 核心觀點：近期核心觀點：近期AI領域熱度持續升高領域熱度持續升高，各個各個AI巨頭持續推出各種重磅模型巨頭持續推出各種重磅模型，其中包括微軟旗下其中包括微軟旗下DeepSpeed持續深耕模型訓練優化策劃持續深耕模型訓練優化策劃，推出推出DeepSpeed-Chat，加速加速RLHF訓練過程訓練過程，進一步強化大模型的生態優勢；以基于進一步強化大模型的生態優勢；以基于GPT-4的的Auto-GPT為代表為代表，引發引發AI代理熱潮代理熱潮，向向AGI更近一更近一步；步；OpenAI推出一致性模型推出一致性模型，預期在圖像生成領域將比肩甚至超越擴散模型

3、；預期在圖像生成領域將比肩甚至超越擴散模型；Meta又迎來開源又迎來開源，發布動畫制作算法與數據集；發布動畫制作算法與數據集；Google：采：采用用Self-Debugging的方法的方法，提升生成代碼的準確度；提升生成代碼的準確度；Amazon也加入到也加入到AI大戰中大戰中我們認為我們認為AI熱潮持續席卷全球熱潮持續席卷全球，建議關注該領域變化建議關注該領域變化。Deepspeed組織推出一款大模型系統組織推出一款大模型系統DeepSpeed-Chat，高效實現大模型的基于人類反饋強化學習高效實現大模型的基于人類反饋強化學習（RLHF）微調訓練微調訓練。減少了大模型的減少了大模型的RLH

4、F訓練的時間與金錢成本訓練的時間與金錢成本，削減了自然語言大模型的微調門檻削減了自然語言大模型的微調門檻，降低了大模型在垂直領域的應用難度降低了大模型在垂直領域的應用難度，進一步提高了中小廠商對其大模進一步提高了中小廠商對其大模型的友好度型的友好度、依賴度依賴度，實現大模型生態上的自我反哺實現大模型生態上的自我反哺。以以Auto-GPT為代表的為代表的AI-代理正引起注意代理正引起注意，Auto-GPT通過接入互聯網通過接入互聯網、包含內存管理包含內存管理、使用使用GPT-4接口等接口等，擁有非常好的內容生成擁有非常好的內容生成、邏輯思邏輯思考能力考能力，甚至還能自己進行代碼優化甚至還能自己進

5、行代碼優化，Auto-GPT、AgentGPT和和BabyAGI一并成為一并成為AI代理風口下的主力軍代理風口下的主力軍，探索探索AI邊界邊界，AGI（通用人工智通用人工智能能）即將成為現實即將成為現實。OpenAI近期提出了近期提出了“一致性模型一致性模型”支持一步式圖像生成支持一步式圖像生成，相比擴散模型相比擴散模型，無需多輪迭代便可快速生成圖像無需多輪迭代便可快速生成圖像，具備穩定且高效的特點具備穩定且高效的特點，成為新成為新晉的優秀圖像生成模型晉的優秀圖像生成模型，預期在圖像生成領域將比肩甚至超越擴散模型預期在圖像生成領域將比肩甚至超越擴散模型。Meta開源其動畫制作算法開源其動畫制作

6、算法，其中包含其中包含人物檢測人物檢測、掩碼分割掩碼分割、姿態估計姿態估計/操控以及制作動畫等過程操控以及制作動畫等過程，除此之外除此之外，Meta還開源了一個還開源了一個包含近包含近180,000 張帶注釋的草稿畫數據集張帶注釋的草稿畫數據集。Google提出一種方法提出一種方法，采用采用Self-Debugging方法方法，通過少量示范來教會大型語言模型進行橡皮鴨調試通過少量示范來教會大型語言模型進行橡皮鴨調試，提升了生成代碼的準確性提升了生成代碼的準確性。Amazon推出推出Titan模型模型，包括生成式大語言模型與文本嵌入大語言模型包括生成式大語言模型與文本嵌入大語言模型，Amazon

7、同時推出同時推出Bedrock生成式生成式AI平臺平臺，Bedrock允許用戶通過允許用戶通過API 訪問來自亞馬遜內部及多個創業公司的各類模型訪問來自亞馬遜內部及多個創業公司的各類模型，包括包括Titan基礎模型基礎模型、AI21 Labs、Anthropic、Stability AI等等，同時能接入同時能接入AWS云服務云服務平臺平臺，降低開發者的開發成本降低開發者的開發成本。核心觀點 PWiWhUPWhVjWpMsRnP7NaO7NnPnNnPpMfQoOqMkPqRqOaQtRtQuOqNvNNZmNsR目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpe

8、ed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMeta：開源動畫制作程序：開源動畫制作程序六、六、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：Microsoft，中信建投DeepSpeed針對深度

9、學習模型訓練進行優化DeepSpeed是微軟的分布式訓練框架是微軟的分布式訓練框架，針對深度學習模型訓練進行優化針對深度學習模型訓練進行優化。目前LLM（大語言模型）處于快速發展階段，可以從多個階段出發對LLM的訓練過程進行優化：1、選用高性能的AI計算芯片；2、通過分布式引擎降低單體算力需求；3、選用合適的算法框架提升算法編程效率；4、使用合適的訓練框架進行優化訓練；5、通過模型開源社區實現大模型的開源、調用。DeepSpeed主要工作圍繞模型訓練優化展開主要工作圍繞模型訓練優化展開，DeepSpeed主要從三個維度出發優化深度學習模型主要從三個維度出發優化深度學習模型。在訓練過程中提升模型

10、的訓練效率、降低訓練難度；在推理過程中，采用各類并行技術和通信優化等技術提升推理效率；同時提供靈活的壓縮技術，壓縮模型的尺寸同時降低壓縮成本。圖圖表：大模型訓練過程中的不同層級的優化表：大模型訓練過程中的不同層級的優化圖圖表：表：DeepSpeedDeepSpeed模型訓練的優化策略模型訓練的優化策略底層硬件底層硬件優化訓練優化訓練開源社區開源社區算法框架算法框架分布架構分布架構 資料來源：github，OpenAI，中信建投DeepSpeed-chat實現高效的基于人類反饋強化學習訓練DeepSpeed-chat是是deepspeed組織推出的針對大規模語言模型實現高效的基于人類反饋強化學習

11、（組織推出的針對大規模語言模型實現高效的基于人類反饋強化學習（RLHF）訓練的系統，可以對訓練的系統，可以對大模型實現一鍵式的大模型實現一鍵式的RLHF 訓練。訓練。其中優化訓練方法與Instruct GPT基本保持一致并略作優化，主要通過三個步驟實現 RLHF 訓練：步驟步驟1：監督微調（SFT）使用精選的人類回答來微調預訓練的語言模型以應對各種查詢；步驟步驟2：獎勵模型微調 使用一個包含人類對同一查詢的多個答案打分的數據集來訓練一個獨立的（通常比 SFT 小的）獎勵模型（RW）；步驟步驟3：RLHF 訓練 利用 Proximal Policy Optimization（PPO）算法，根據

12、RW 模型的獎勵反饋進一步微調 SFT 模型。圖圖表：表：DeepSpeedDeepSpeed-chatchat實現高效的實現高效的RLHFRLHF訓練訓練圖圖表：表：InstructGPTInstructGPT中基于人類反饋的強化學習機制中基于人類反饋的強化學習機制 資料來源：github，中信建投DeepSpeed Hybrid Engine優化RLHF訓練過程在RLHF 的前兩步訓練過程中，通過ZeRO的內存管理優化和并行策略的靈活組合實現訓練提速。在RLHF的第三步訓練過程中，模型的迭代首先需要通過模型推理得到問題答復，由獎勵模型判斷之后反饋監督微調模型，實現模型參數的更新。模型的推理

13、與訓練在第三個RLHF訓練階段相互混合，降低了模型的訓練速度。DeepSpeed-chat通過將模型的訓模型的訓練和推理功能整合為一個混合引擎練和推理功能整合為一個混合引擎（Hybrid Engine），從而實現RLHF第三步的高速訓練?；旌弦嬷嗅槍δＰ偷耐评砗陀柧毞謩e實現了優化，同時實現了模型訓練和推理過程的無縫切換。圖圖表：表：DeepSpeedDeepSpeed hybridhybrid engineengine大幅提升大幅提升RLHFRLHF訓練速度訓練速度圖圖表：表：RLHFRLHF訓練的吞吐量和拓展性顯著提升訓練的吞吐量和拓展性顯著提升吞吐量吞吐量拓展性拓展性 資料來源：gith

14、ub，中信建投DeepSpeed-chat提升RLHF訓練的吞吐量和拓展性DeepSpeed-chat大幅提升大幅提升RLHF訓練的吞吐速度訓練的吞吐速度。通過 DeepSpeed 的高性能推理內核，DeepSpeed Hybrid Engine 在RHLF第三階段耗時降低為 HuggingFace的1/9，Colossal-AI 的1/15，得益于Hybrid Engine訓練和推理過程的高效整合，DeepSpeed-chat推理過程中的等待時延顯著降低，大幅提升整個RLHF訓練的吞吐速度。DeepSpeed-chat具備優秀的模型可拓展性具備優秀的模型可拓展性。Colossal-AI可以在

15、單個GPU上運行最大1.3B的模型，在單個A100 40G節點上運行6.7B的模型，而DeepSpeed-HE可以在相同的硬件上分別運行6.5B和50B的模型，實現高達7.5倍的提升。同時，DeepSeed-RLHF在多達64個GPU的集群上實現了良好的整體擴展。圖圖表：表：DeepSpeedDeepSpeed-chatchat大幅降低第三階段大幅降低第三階段RHLFRHLF時延時延圖圖表：表：RHLFRHLF的可擴展性測試的可擴展性測試推理過程時推理過程時延顯著降低延顯著降低 資料來源：ColossalChat，中信建投DeepSpeed-chat預計將顯著提升LLM的人機對話表現DeepS

16、peed-chat助力助力LLM使用使用RLHF進行預訓練進行預訓練，使用該工具預訓練后的模型性能表現預計較為出色使用該工具預訓練后的模型性能表現預計較為出色。以ColossalChat為例，ColossalChat基于LLaMA模型，并使用基于人工反饋的強化學習后訓練出來的模型，包括完整的RLHF過程來復刻類似ChatGPT優化訓練過程。ColossalChat的雙語數據集包括10萬個中英文問答對，該數據集是從社交媒體平臺上的真實問題場景中收集和清理的。在經過RLHF微調訓練后，ColossalChat只需要不到100億個參數就可以達到與ChatGPT和GPT-3.5相當的效果。根據Colo

17、ssalChat成功的案例，我們預測，在DeepSpeed-chat加持下，其他LLM在使用RLHF后也將展現出良好的人機對話表現。圖圖表：表：ColossalChatColossalChat 數據集收集流程數據集收集流程圖圖表：表：ColossalChatColossalChat模型表現模型表現 資料來源：github，中信建投DeepSpeed-chat對產業的影響幾何DeepSpeed-chat降低大模型的降低大模型的RLHF訓練的時間和金錢成本訓練的時間和金錢成本。DeepSpeed-HE比現有系統快15倍以上，降低了RLHF訓練的時間和金錢成本。例如，DeepSpeed-HE在Azu

18、re云上只需9小時即可訓練一個OPT-13B模型，只需18小時即可訓練一個OPT-30B模型。這兩種訓練分別花費不到300美元和600美元。DeepSpeed-chat降低了自然語言大模型的微調門檻降低了自然語言大模型的微調門檻，實現大模型生態上的自我反哺實現大模型生態上的自我反哺。目前DeepSpeed-chat只支持OpenAI和Meta旗下的部分模型做快速的RLHF訓練，未來還將支持Meta的LLaMa模型，并未在廣義的LLM模型上實現RLHF訓練。我們認為，DeepSpeed-chat開源旨在降低大模型的微調門檻，讓大模型更容易實現在垂直領域的微調，進一步提高中小廠商對其大模型的友好度

19、、依賴度，從而實現生態上的自我反哺。圖圖表：不同模型在表：不同模型在DeepSpeedDeepSpeed-chatchat上的上的RLHFRLHF訓練成本訓練成本圖圖表：當前表：當前DeepSpeedDeepSpeed-chatchat支持的大語言模型支持的大語言模型Model familyoptbloomgpt_ neoxgptjgpt_ neogpt2codegensize range0.1B-66B0.3B-176B1.3B-20B1.4B-6B0.1B-2.7B0.3B-1.5B0.35b-16B 資料來源：github，中信建投DeepSpeed提供全方位的大規模自然語言模型優化技術

20、DeepSpeed團體還提供了一系列工具和技術，來提升大型深度學習模型在訓練階段以及推理階段的效率，包括算法、技術及數據三團體還提供了一系列工具和技術，來提升大型深度學習模型在訓練階段以及推理階段的效率，包括算法、技術及數據三方面。方面。在算法層面，DeepSpeed-MII模型、VL-MoE大模型等在提高大模型的訓練速度的同時，降低了推理成本。在技術層面，采用張量并行、分布用戶策略將大模型的訓練過程分布在多個GPU和機器上，從而可以訓練更大的模型，提升模型訓練能力。在數據層面，推出的DeepSpeed Data Efficiency可更好地利用數據，提搞訓練效率。圖圖表：表：DeepSpee

21、dDeepSpeed主要工作主要工作 目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpeed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMeta：開源動畫制作程序：開源動畫制作程序六、六、

22、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：Github，中信建投AutoGPT是基于GPT-4的自主人工智能體Auto-GPT是一個開源是一個開源的的Python應用程序，應用程序，以以GPT-4為為驅動驅動，允許人工智能，允許人工智能“自主自主”行動，無需用戶提示每個動作。行動，無需用戶提示每個動作。用戶用戶可以為可以為Auto-GPT制定一個總體目標，并逐步采取制定一個總體目標，并逐步采取自主自主行動來實現該目標。行動來實現該目標。該程序可接入該程序可接入互聯網并完全獨立地在互聯網并完全獨立地在電腦電腦上執行操作上執行操作，無需無需在每一步都在每一步都進行人工進行人

23、工提示。提示。該模型具有多個全新特征，包括接入互聯網進行信息搜集、長期和短期內存管理、基于該模型具有多個全新特征，包括接入互聯網進行信息搜集、長期和短期內存管理、基于GPT-4生成文本、可訪問流行的網站和平生成文本、可訪問流行的網站和平臺，以及使用臺，以及使用GPT-3.5進行文件儲存和匯總等。進行文件儲存和匯總等。圖圖表：表：AutoGPTAutoGPT樣例樣例圖圖表：表：AutoGPTAutoGPT新特點新特點 資料來源：AutoGPT，中信建投AutoGPT工作原理圖圖表：表：AutoGPTAutoGPT工作流程工作流程圖表：圖表：AutoGPTAutoGPT應用實例應用實例命令Auto

24、GPT列舉市面上最好的5雙防水鞋AutoGPT是以是以GPT4為基礎的“自主”人工智能，使用為基礎的“自主”人工智能，使用 GPT-4 來生成、確定優先級和執行任務，使用插件進行互聯網瀏覽和其他來生成、確定優先級和執行任務，使用插件進行互聯網瀏覽和其他訪問。同時訪問。同時AutoGPT可使用外部內存來跟蹤它正在做的事情并提供上下文，并評估其情況，針對評估結果生成新任務或自我糾正，可使用外部內存來跟蹤它正在做的事情并提供上下文，并評估其情況，針對評估結果生成新任務或自我糾正，并將新任務添加到隊列中，然后確定優先級。經過多輪信息搜集及評估，即可在無人干預的條件下完成任務。借助長短期內存管并將新任務

25、添加到隊列中，然后確定優先級。經過多輪信息搜集及評估，即可在無人干預的條件下完成任務。借助長短期內存管理，理，AutoGPT還可以實現持續更新功能。還可以實現持續更新功能。資料來源：AutoGPT，中信建投AutoGPT在內容生成方面表現優秀AutoGPT借助借助GTP-4及互聯網接口及互聯網接口，擁有優秀的內容生成能力擁有優秀的內容生成能力。在給定目標下在給定目標下，AutoGPT基于基于GPT-4制定問題解決方案制定問題解決方案，后對互后對互聯網上搜集的信息內容進行真實性評估聯網上搜集的信息內容進行真實性評估，在一系列篩選在一系列篩選、評估評估、更新迭代后更新迭代后，即可匯總完成任務即可匯

26、總完成任務。在文本內容生成質量方面在文本內容生成質量方面，AutoGPT生成的文本結構清晰生成的文本結構清晰、信息全面信息全面、邏輯通順邏輯通順。圖圖表：表：AutoGPT AutoGPT 內容生成內容生成提出目標評估、更新列舉解決方案內容生成 資料來源：Github,Twitter，中信建投AutoGPT應用及用戶增長趨勢AutoGPT作為一個擁有長短期記憶的人工智能體作為一個擁有長短期記憶的人工智能體，有多個應用場景有多個應用場景，包括內容生成包括內容生成、網站創建及維護網站創建及維護、市場研究和分析市場研究和分析、營銷以營銷以及聊天機器人開發等需要持續更新的任務及聊天機器人開發等需要持續

27、更新的任務。隨著隨著AutoGPT的不斷更新和升級的不斷更新和升級，其將在市場營銷其將在市場營銷、金融金融、醫療健康醫療健康、電子商務等領電子商務等領域有著更廣泛的應用域有著更廣泛的應用。AutoGPT自自2023年年3月月30日發布以來日發布以來，已經受到各方的廣泛關注已經受到各方的廣泛關注。截至截至2023年年4月月14日日，AutoGPT Github庫已被復制庫已被復制6500余次余次，被收藏被收藏48,800余次余次。圖圖表：表：AutoGPTAutoGPT開展電子商務開展電子商務圖圖表：表：AutoGPT Github Repo AutoGPT Github Repo 頁面頁面 資

28、料來源：Agent GPT,BabyAGI，中信建投AgentGPT和BabyAGIAgentGPT是在是在AutoGPT基礎上創建的可在瀏覽器中組裝基礎上創建的可在瀏覽器中組裝、配置和部署自主配置和部署自主AI智能體項目智能體項目。AgentGPT在用戶輸入在用戶輸入AI名稱和任務名稱和任務后后，能夠自主思考要完成的任務能夠自主思考要完成的任務、執行任務并從結果中學習執行任務并從結果中學習，試圖達成目標試圖達成目標。截至截至2023年年4月月14日日，AgentGPT Github庫已經被庫已經被8300余人收藏余人收藏。BabayAGI是基于是基于GPT-4的強化學習人工智能體項目的強化學

29、習人工智能體項目。該模型從嬰兒認知發展中吸取靈感該模型從嬰兒認知發展中吸取靈感，以促進強化學習以促進強化學習、語言和認知發展等語言和認知發展等各個領域的提升各個領域的提升。BabyAGI集成集成GPT-4、矢量搜索平臺矢量搜索平臺Pinecone以及以及LangChain框架框架，可在模擬環境中訓練和評估各種人工智能可在模擬環境中訓練和評估各種人工智能代理代理，執行復雜任務執行復雜任務。以以AutoGPT、AgentGPT和和BabyAGI為代表的模型正引發一輪為代表的模型正引發一輪AI代理熱潮代理熱潮，不斷探索不斷探索AI能力邊界能力邊界。圖圖表：表：Agent GPTAgent GPT界面

30、界面圖圖表：表：BabyAGIBabyAGI工作界面工作界面 目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpeed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMeta：開源動畫制作程序：

31、開源動畫制作程序六、六、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：ResearchGate，Diffusion Models:A Comprehensive Survey of Methods and Applications，中信建投圖像生成領域常見抗式生成網絡和擴散模型在圖像生成領域在圖像生成領域，過去常見的模型有對抗式生成網絡過去常見的模型有對抗式生成網絡（GAN）和擴散模型和擴散模型（diffusion models）。對抗式生成對抗式生成（GAN）網絡包括兩部分網絡包括兩部分，一個生成器和一個判別器一個生成器和一個判別器。生成器負責生成類似輸入數據的新內容，判

32、別器是將生成的輸出與真實數據區分開來，這兩個部分在GAN網絡反饋循環中相互博弈不斷迭代，導致生成輸出的真實性逐漸增加。擴散模型擴散模型（Diffusion Model）提升了圖像生成的多樣性提升了圖像生成的多樣性。擴散模型的概念最早在2015年提出，2020年提出利用擴散模型的子類別DDPM（去噪擴散概率模型）進行圖像生成。其靈感來自非平衡熱力學，模型定義了一個擴散步驟的馬爾可夫鏈，在正向擴散過程中，將隨機噪聲添加到數據中，然后學習反向擴散過程，從噪聲中構建所需的數據樣本。圖圖表：對抗式生成網絡模型表：對抗式生成網絡模型GANGAN示意圖示意圖圖圖表：擴散模型實現圖像生成表：擴散模型實現圖像生

33、成 資料來源：Consistency Models，中信建投OpenAI的“一致性模型”成為新晉的圖像生成模型對抗式生成網絡和擴散模型各有優缺點，對抗式生成網絡依賴生成器與對抗器相互博弈，具有一步生成的優勢，但是模型穩定性相對較差；擴散模型圖像生成過程需要反復迭代，生成圖像的創意性較強但是生成速度相對較慢。OpenAI近期提出了近期提出了Consistency Models模型具備無需對抗且可以快速生成的特點模型具備無需對抗且可以快速生成的特點，成為新晉的優秀圖像生成模型成為新晉的優秀圖像生成模型。ConsistencyModels建立在連續時間擴散模型中概率流的常微分方程（ODE）之上。給定

34、一個將數據平滑地轉換為噪聲的PF ODE，一致性模型可以在任何時間步將任意點映射成軌跡的初始點從而實現生成式建模。Consistency Models支持單步生成，無需像擴散模型那樣反復迭代，極大加速了圖片的生成過程。圖圖表：一致性模型圖示表：一致性模型圖示圖圖表：表：ODEODE將任意點映射到軌跡的初始點將任意點映射到軌跡的初始點 Consistency Models在圖像生成任務重表現優異Consistency Models在低像素還原任務在低像素還原任務、掩蓋圖像還原任務掩蓋圖像還原任務、色彩還原任務中均表現優異色彩還原任務中均表現優異。圖圖表：大模型訓練過程中的不同層級的優化表：大模型

35、訓練過程中的不同層級的優化資料來源：Consistency Models，中信建投備注：左列為模糊圖像，右列為真實圖像，中間為Consistency Models生成圖像備注：左列為掩蓋圖像，右列為真實圖像，中間為Consistency Models生成圖像 目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpeed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生

36、成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMeta：開源動畫制作程序：開源動畫制作程序六、六、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：Teaching Large Language Models to Self-Debug，中信建投Google通過Self-Debugging實現代碼的生成迭代當前自然語言模型已經具備了一定的代碼生成能力當前自然語言模型已經具備了一定的代碼生成能力，但是代碼的正確率仍有待提升但是代碼的正確率仍有待提升。近期，G

37、oogle發布了一篇“Teaching LargeLanguage Models to Self-Debug”文章，提出了一種Self-Debugging 的方法，通過少量示范來教會大型語言模型進行橡皮鴨調試，提升了生成代碼的正確性。在調試過程中，模型首先根據目標任務生成新的代碼，執行相應的代碼，同時生成相應的代碼解釋，代碼的執行結果和代碼解釋共同構成反饋信息，反饋信息返回模型實現模型迭代。圖圖表：大模型進行表：大模型進行selfself-debugdebug的迭代流程的迭代流程 Self-Debugging顯著提升代碼的準確度Self-Debugging顯著提升了代碼的正確度。在具體的代碼翻

38、譯測試中，目標任務將C+代碼翻譯為python代碼，Codex已經達到了當前最好的基準。引入Self-Debugging迭代，通常經歷三輪完整的調試周期后，Self-Debugging便可以將代碼的準確度提升到較高水準，代碼準確度同時隨著訓練樣本數據量提升而提升。在不同難度任務中，Self-Debugging均實現了準確度的提升，尤其是在高難度的任務中，代碼準確度實現了9%的準確度提升。圖圖表：表：Self-Debugging帶來代碼帶來代碼準確準確度的提升度的提升圖圖表：不同難度任務下表：不同難度任務下準確準確度的提升度的提升資料來源：Teaching Large Language Mode

39、ls to Self-Debug，中信建投 目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpeed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMeta：開源動畫制作程序：開源動畫制作程序六

40、、六、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：A Method for Animating Childrens Drawings of the Human Figure，中信建投Meta開源animated drawings4月月13日，日，Meta開源動畫制作代碼和包含近開源動畫制作代碼和包含近 180,000 張帶注釋的張帶注釋的草稿畫草稿畫數據集。數據集。動畫繪制程序包括：人物檢測、掩碼分割、姿態估計動畫繪制程序包括：人物檢測、掩碼分割、姿態估計/操控以及制作動畫。操控以及制作動畫。對于人物檢測與姿態估計對于人物檢測與姿態估計，作者使用現有作者使用現有CV模型模

41、型（MaskR-CNN）檢測圖像檢測圖像中的人物和關節中的人物和關節，并將這些模型進行微調后用于兒童繪畫；對于圖像分割并將這些模型進行微調后用于兒童繪畫；對于圖像分割，作作者提出了直接的基于圖像處理的方法者提出了直接的基于圖像處理的方法，相比直接從微調人物檢測模型獲得分割相比直接從微調人物檢測模型獲得分割掩碼更加有用準確；在制作動畫步驟中掩碼更加有用準確；在制作動畫步驟中，作者利用兒童繪圖中常見的扭曲視角作者利用兒童繪圖中常見的扭曲視角（twisted perspective）將動作捕捉數據重新定位到人物身上將動作捕捉數據重新定位到人物身上。作者從用戶端收集了作者從用戶端收集了178,166張

42、符合要求的兒童手繪圖并進行了開源。張符合要求的兒童手繪圖并進行了開源。圖圖表：表：animated drawingsanimated drawings算法流程算法流程圖圖表：表：MetaMeta發布動畫制作程序演示發布動畫制作程序演示 資料來源：A Method for Animating Childrens Drawings of the Human Figure，中信建投圖像檢測第一步，對圖像中的物體進行檢測。作者所使用的是第一步，對圖像中的物體進行檢測。作者所使用的是Mask R-CNN模型，該模型主干是模型，該模型主干是ResNet-50+FPN。第二步，使用第二步，使用MS-COCO

43、數據集進行預訓練，但因為數據集進行預訓練，但因為MS-COCO數據集是真實世界的圖像，并非是兒童繪畫，因此，作者對模型數據集是真實世界的圖像，并非是兒童繪畫，因此，作者對模型進行了微調，包括權重設計、損失函數、梯度下降優化、使用進行了微調，包括權重設計、損失函數、梯度下降優化、使用OpenMMLab檢測箱進行訓練等等。圖像檢測步驟需要檢測箱進行訓練等等。圖像檢測步驟需要8個個Tesla V100-SXM2 GPU的服務器進行預訓練。的服務器進行預訓練。圖圖表：直接使用表：直接使用Mask R-CNN檢測會出錯，微調后，準確率提高檢測會出錯，微調后，準確率提高第一行左圖：直接使用MaskR-CN

44、N；第一行右圖，進行微調后的模型檢測出來的物體成功檢測情況失敗檢測情況 資料來源：Microsoft，中信建投圖像分割兒童繪圖中，圖像分割是一個非常困難的操作（與真實圖像有兒童繪圖中，圖像分割是一個非常困難的操作（與真實圖像有較大差距），雖然目標檢測過程中會預測一個分割掩碼，但質較大差距），雖然目標檢測過程中會預測一個分割掩碼，但質量并不好。量并不好。作者使用了經典的基于圖像處理的提取掩碼的方法：作者使用了經典的基于圖像處理的提取掩碼的方法：1、將圖像大小調整為、將圖像大小調整為400像素寬，并保持縱橫比不變；像素寬，并保持縱橫比不變；2、將圖像轉成黑白的，并執行自適應閾值處理，閾值是相鄰、將

45、圖像轉成黑白的，并執行自適應閾值處理，閾值是相鄰8個像素值的高斯加權減去一個常數；個像素值的高斯加權減去一個常數；3、為圖像的邊緣進行填充，確保任何封閉的前景像素組都是實、為圖像的邊緣進行填充，確保任何封閉的前景像素組都是實行的且不包含漏洞。行的且不包含漏洞。圖圖表：基于圖像處理的掩碼提取方法表：基于圖像處理的掩碼提取方法圖圖表：基于圖像處理和表：基于圖像處理和Mask RMask R-CNNCNN提取掩碼效果比較提取掩碼效果比較 資料來源：A Method for Animating Childrens Drawings of the Human Figure，中信建投姿態估計第三布，進行姿

46、態估計，為了讓繪圖上的人物執行復雜動作，需要了解人物的比例和姿勢第三布，進行姿態估計，為了讓繪圖上的人物執行復雜動作，需要了解人物的比例和姿勢。作者假設。作者假設MS-COCO這個數據集的每這個數據集的每張圖像使用張圖像使用17個關鍵點，然后作者使用姿勢估計模型來預測這些關鍵點的位置。個關鍵點，然后作者使用姿勢估計模型來預測這些關鍵點的位置。使用了在使用了在ImageNet預訓練的預訓練的ResNet50作為骨干，使用自上而下的基于熱圖的關鍵點頭進行姿勢估計（人體姿態估計的一種方法），作為骨干，使用自上而下的基于熱圖的關鍵點頭進行姿勢估計（人體姿態估計的一種方法），然后經過一些參數的初始化，使

47、用然后經過一些參數的初始化，使用OpenMMLab姿態工具箱進行訓練，直到收斂。姿態工具箱進行訓練，直到收斂。圖圖表：姿態估計情況表：姿態估計情況 資料來源：A Method for Animating Childrens Drawings of the Human Figure，中信建投動畫生成最后一步是動畫生成，首先基于掩碼使用最后一步是動畫生成，首先基于掩碼使用Delaunay三角剖析算法生成網格；并使用預測的關節位置，為人物創建骨架，通過旋轉三角剖析算法生成網格；并使用預測的關節位置，為人物創建骨架，通過旋轉骨骼并使用新的關節位置使網格變形，可以將角色移動到各種姿勢上，動畫就被創作出來

48、。骨骼并使用新的關節位置使網格變形，可以將角色移動到各種姿勢上，動畫就被創作出來。后續作者還有一些創作上的優化，后續作者還有一些創作上的優化，在在基于一系列關節投影、骨骼旋轉、基于一系列關節投影、骨骼旋轉、3D映射等操作，動畫最終被生成。映射等操作，動畫最終被生成。圖圖表：給定預測的關節關鍵點，為人物生成骨骼裝置并產生重新定位姿勢表：給定預測的關節關鍵點，為人物生成骨骼裝置并產生重新定位姿勢 資料來源：A Method for Animating Childrens Drawings of the Human Figure，中信建投Meta創立用戶操作網頁進行數據集收集Meta建立了一個網頁，

49、讓用戶可以上傳兒童繪圖、切割圖像、檢測關節位置、創作動畫等建立了一個網頁，讓用戶可以上傳兒童繪圖、切割圖像、檢測關節位置、創作動畫等。用戶可以選擇是否將上傳的圖像共享給用戶可以選擇是否將上傳的圖像共享給Meta，Meta后續也會對這些圖像進行過濾，確保圖像是符合后續也會對這些圖像進行過濾，確保圖像是符合Meta要求的。要求的。網站上線后，共有網站上線后，共有320萬人訪問該網站，萬人訪問該網站，670萬張圖像被上傳。最終萬張圖像被上傳。最終Meta開源了開源了18萬張兒童手繪圖像。萬張兒童手繪圖像。圖圖表：表：MetaMeta開放一個網站，用戶可以使用開放一個網站，用戶可以使用MetaMeta

50、技術，同時可以將兒童手繪圖像共享給技術，同時可以將兒童手繪圖像共享給MetaMeta 目錄一、一、MicrosoftMicrosoft：DeepSpeedDeepSpeed chatchat實現實現RLHFRLHF訓練加速訓練加速二、二、OpenAI&TorantulinoOpenAI&Torantulino：AutoGPTAutoGPT引發引發AIAI代理熱潮代理熱潮三、三、OpenAIOpenAI：一致性模型加速圖像生成：一致性模型加速圖像生成四、四、GoogleGoogle：SelfSelf-DebuggingDebugging提升生成代碼的準確度提升生成代碼的準確度五、五、MetaMe

51、ta：開源動畫制作程序：開源動畫制作程序六、六、AmazonAmazon：AIGCAIGC新玩家新玩家 資料來源：亞馬遜，中信建投亞馬遜Bedrock生成式AI平臺Amazon Bedrock是亞馬遜推出的生成式是亞馬遜推出的生成式AI應用平臺應用平臺，此服務允許用戶通過此服務允許用戶通過API 訪問來自亞馬遜內部及多個創業公司的各類模型。訪問來自亞馬遜內部及多個創業公司的各類模型。Bedrock是客戶使用基礎模型構建和擴展生成式是客戶使用基礎模型構建和擴展生成式AI 應用程序的最簡單方法，為所有開發者降低使用門檻。應用程序的最簡單方法，為所有開發者降低使用門檻。Bedrock 有著廣泛的應用

52、場景，包括文本生成、聊天對話、搜索引擎、段落總結、圖像生成和定制化服務。有著廣泛的應用場景，包括文本生成、聊天對話、搜索引擎、段落總結、圖像生成和定制化服務。Bedrock有多個全新特征，包括使用基礎模型加速、多種大模型選擇、自有數據訓練基礎模型、利用有多個全新特征，包括使用基礎模型加速、多種大模型選擇、自有數據訓練基礎模型、利用AWS等工具構建安全可靠的等工具構建安全可靠的生成式生成式AI。圖圖表：表：BedrockBedrock的主要應用場景的主要應用場景圖圖表：表：BedrockBedrock的主要特征的主要特征文本生成文本生成聊天機器人聊天機器人搜索搜索文本總結文本總結圖像生成圖像生成

53、個性化訂制個性化訂制利用基礎模型加速利用基礎模型加速多種基礎模型選擇多種基礎模型選擇私有數據訓練私有數據訓練AWS工具拓展工具拓展 資料來源：亞馬遜，中信建投Bedrock定制化模型Bedrock為用戶提供了豐富的基礎模型選擇為用戶提供了豐富的基礎模型選擇。該平臺不僅可通過。該平臺不僅可通過API訪問亞馬遜訪問亞馬遜Titan基礎模型基礎模型，也可通過，也可通過API訪問來自訪問來自AI21 Labs、Anthropic、Stability AI等多個公司的模型。等多個公司的模型。利用利用Bedrock人工智能平臺，客戶可以極容易地定制模型。人工智能平臺，客戶可以極容易地定制模型。用戶無需標注

54、大量數據，僅向模型展示幾個標注好的數據，用戶無需標注大量數據，僅向模型展示幾個標注好的數據，bedrock 就就可以針對特定任務微調模型?？梢葬槍μ囟ㄈ蝿瘴⒄{模型。圖圖表：表：Bedrock AI Bedrock AI 模型選擇模型選擇圖圖表：高度表：高度定制化能力定制化能力僅輸入幾個最佳僅輸入幾個最佳案例，案例，BedrockBedrock即可自動為時尚即可自動為時尚新品生成專屬社新品生成專屬社交媒體推廣內容、交媒體推廣內容、展示廣告和產品展示廣告和產品網頁網頁 資料來源：亞馬遜，中信建投Bedrock可利用AWS工具進行豐富拓展Amazon Web Services（AWS）是是亞馬遜推出

55、的亞馬遜推出的全球最全面全球最全面、應用最廣泛的云平臺應用最廣泛的云平臺之一之一。該平臺通過該平臺通過全球數據中心提供超過全球數據中心提供超過200項項功能齊全的服務功能齊全的服務，幫助客戶幫助客戶降低成本降低成本、提高敏捷性并加速創新提高敏捷性并加速創新。其應用領域包括市場營銷其應用領域包括市場營銷、航空航天航空航天、農業農業、金融金融、制造業制造業、教教育育、能源等能源等。Bedrock開放外部拓展開放外部拓展，用戶可接入亞馬遜云服務推出的用戶可接入亞馬遜云服務推出的AWS工具和功能訪問從文本到圖像的一系列強大的基礎模型工具和功能訪問從文本到圖像的一系列強大的基礎模型，以及最新以及最新發布

56、的發布的Amazon Titan基礎模型基礎模型，來構建可靠且安全的生成式來構建可靠且安全的生成式AI 應用程序應用程序。圖圖表：表：Amazon Web Services(AWS)Amazon Web Services(AWS)業務構成業務構成圖圖表：表：AWS AWS 全球布局全球布局計算機計算機數據庫數據庫存儲存儲容器容器網頁及移動端程序網頁及移動端程序無服務器無服務器機器學習機器學習 資料來源：亞馬遜，中信建投Titan大語言基礎模型(FM)Titan模型是亞馬遜發布的高性能基礎模型模型是亞馬遜發布的高性能基礎模型（FM）。未來將推出兩個不同的。未來將推出兩個不同的Titan模型。第一

57、個是針對總結、文本生成（如原創博模型。第一個是針對總結、文本生成（如原創博客）、分類、開放式問答和信息提取等任務的生成式大語言模型。第二個是文本嵌入（客）、分類、開放式問答和信息提取等任務的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠將文本輸）大語言模型，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數字表達（即入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數字表達（即embeddings嵌入編碼）。嵌入編碼）。Titan模型已在大型數據集上進行了預訓練。私人訂制化訓練時，無需注釋大量數據。模型已在大型數據集上進行了預訓練。私人訂制化訓練時，無需注

58、釋大量數據。該模型的主要應用場景為：自動化自然語言任務，比如總結和文本生成；提高搜索精確度并提升個性化推薦；識別有害、不良內該模型的主要應用場景為：自動化自然語言任務，比如總結和文本生成；提高搜索精確度并提升個性化推薦；識別有害、不良內容以促進容以促進AI良性發展良性發展。圖圖表：表：Titan Titan 模型簡介模型簡介圖圖表：表：Titan Titan 模型優勢模型優勢良性發展的高性能基礎模型良性發展的高性能基礎模型自動化自然語言任務自動化自然語言任務提高搜索精確度并提升個性化推薦提高搜索精確度并提升個性化推薦識別有害內容（仇恨語言、暴力）識別有害內容（仇恨語言、暴力）風險提示人工智能模

59、型技術發展不及預期：人工智能模型技術發展不及預期：人工智能模型屬于先進AI算法，若后續算法更新迭代效果不及預期，則會影響人工智能模型演進及拓展，進而會影響其商業化落地等；算法隱私問題：算法隱私問題：人工智能在進行預訓練過程中，使用了大量數據，其中會涉及相關隱私問題；應用不及預期：應用不及預期：人工智能算法與相關應用落地之間還存在一定距離，需要注意應用落地不及預期風險。算力基礎設施支持不及預期：算力基礎設施支持不及預期：美國制裁中國高科技企業，對中國形成芯片、算力的封鎖，人工智能模型訓練過程中需要大量算力資源，需要關注中美關系帶來的中國算力的壓力；數據數量與數據質量不及預期：數據數量與數據質量不

60、及預期：人工智能模型需要大量的高質量數據進行訓練，若數據數量和質量存在短板，則會影響模型效果；倫理沖突風險：倫理沖突風險：人工智能模型將進一步推動人工智能邁向通用型人工智能，人工智能進一步智能化將產生人工智能欺騙、人工智能上癮、人與人工智能之間的關系等一系列倫理問題；感謝辛俠平、樊文輝對本報告的貢獻。分析師介紹分析師介紹閻貴成：閻貴成：中信建投證券通信&計算機行業首席分析師，北京大學學士、碩士，專注于云計算、物聯網、信息安全、信創與5G等領域研究。近8年中國移動工作經驗，6年多證券研究經驗。系2019-2021年新財富、水晶球通信行業最佳分析師第一名，2017-2018年新財富、水晶球通信行業

61、最佳分析師第一名團隊核心成員。金戈：金戈：中信建投證券研究發展部計算機行業聯席首席分析師，帝國理工學院工科碩士，擅長云計算、金融科技、人工智能等領域。于芳博于芳博：中信建投計算機行業分析師，北京大學空間物理學學士、碩士，2019年7月加入中信建投，主要覆蓋方向智能汽車、CPU/GPU/FPGA/ASIC、EDA和工業軟件等方向。評級說明評級說明投資評級標準評級說明報告中投資建議涉及的評級標準為報告發布日后6個月內的相對市場表現，也即報告發布日后的6個月內公司股價（或行業指數）相對同期相關證券市場代表性指數的漲跌幅作為基準。A股市場以滬深300指數作為基準；新三板市場以三板成指為基準；香港市場以

62、恒生指數作為基準；美國市場以標普 500 指數為基準。股票評級買入相對漲幅15以上增持相對漲幅5%15中性相對漲幅-5%5之間減持相對跌幅5%15賣出相對跌幅15以上行業評級強于大市相對漲幅10%以上中性相對漲幅-10-10%之間弱于大市相對跌幅10%以上 分析師聲明分析師聲明本報告署名分析師在此聲明：（i）以勤勉的職業態度、專業審慎的研究方法，使用合法合規的信息，獨立、客觀地出具本報告,結論不受任何第三方的授意或影響。（ii）本人不曾因，不因，也將不會因本報告中的具體推薦意見或觀點而直接或間接收到任何形式的補償。法律主體說明法律主體說明本報告由中信建投證券股份有限公司及/或其附屬機構（以下合

63、稱“中信建投”）制作，由中信建投證券股份有限公司在中華人民共和國（僅為本報告目的，不包括香港、澳門、臺灣）提供。中信建投證券股份有限公司具有中國證監會許可的投資咨詢業務資格，本報告署名分析師所持中國證券業協會授予的證券投資咨詢執業資格證書編號已披露在報告首頁。本報告由中信建投（國際）證券有限公司在香港提供。本報告作者所持香港證監會牌照的中央編號已披露在報告首頁。一般性聲明一般性聲明本報告由中信建投制作。發送本報告不構成任何合同或承諾的基礎，不因接收者收到本報告而視其為中信建投客戶。本報告的信息均來源于中信建投認為可靠的公開資料，但中信建投對這些信息的準確性及完整性不作任何保證。本報告所載觀點、

64、評估和預測僅反映本報告出具日該分析師的判斷，該等觀點、評估和預測可能在不發出通知的情況下有所變更，亦有可能因使用不同假設和標準或者采用不同分析方法而與中信建投其他部門、人員口頭或書面表達的意見不同或相反。本報告所引證券或其他金融工具的過往業績不代表其未來表現。報告中所含任何具有預測性質的內容皆基于相應的假設條件，而任何假設條件都可能隨時發生變化并影響實際投資收益。中信建投不承諾、不保證本報告所含具有預測性質的內容必然得以實現。本報告內容的全部或部分均不構成投資建議。本報告所包含的觀點、建議并未考慮報告接收人在財務狀況、投資目的、風險偏好等方面的具體情況，報告接收者應當獨立評估本報告所含信息，基

65、于自身投資目標、需求、市場機會、風險及其他因素自主做出決策并自行承擔投資風險。中信建投建議所有投資者應就任何潛在投資向其稅務、會計或法律顧問咨詢。不論報告接收者是否根據本報告做出投資決策，中信建投都不對該等投資決策提供任何形式的擔保，亦不以任何形式分享投資收益或者分擔投資損失。中信建投不對使用本報告所產生的任何直接或間接損失承擔責任。在法律法規及監管規定允許的范圍內，中信建投可能持有并交易本報告中所提公司的股份或其他財產權益，也可能在過去12個月、目前或者將來為本報告中所提公司提供或者爭取為其提供投資銀行、做市交易、財務顧問或其他金融服務。本報告內容真實、準確、完整地反映了署名分析師的觀點，分

66、析師的薪酬無論過去、現在或未來都不會直接或間接與其所撰寫報告中的具體觀點相聯系，分析師亦不會因撰寫本報告而獲取不當利益。本報告為中信建投所有。未經中信建投事先書面許可，任何機構和/或個人不得以任何形式轉發、翻版、復制、發布或引用本報告全部或部分內容，亦不得從未經中信建投書面授權的任何機構、個人或其運營的媒體平臺接收、翻版、復制或引用本報告全部或部分內容。版權所有，違者必究。中信建投證券研究發展部中信建投證券研究發展部中信建投（國際）中信建投（國際）北京東城區朝內大街2號凱恒中心B座12層電話：(8610)8513-0588聯系人：李祉瑤郵箱：上海浦東新區浦東南路528號南塔2103室電話：(8621)6882-1612聯系人：翁起帆郵箱：深圳福田區福中三路與鵬程一路交匯處廣電金融中心35樓電話：（86755）8252-1369聯系人：曹瑩郵箱：香港中環交易廣場2期18樓電話：（852）3465-5600聯系人：劉泓麟郵箱：charleneliucsci.hk38