1、 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 1 半導體半導體 證券證券研究報告研究報告 2023 年年 04 月月 02 日日 投資投資評級評級 行業行業評級評級 強于大市(維持評級)上次評級上次評級 強于大市 作者作者 潘暕潘暕 分析師 SAC 執業證書編號:S1110517070005 駱奕揚駱奕揚 分析師 SAC 執業證書編號:S1110521050001 資料來源:聚源數據 相關報告相關報告 1 半導體-行業研究周報:半導體庫存去化或近尾聲,待需求復蘇重啟增長 2023-03-28 2 半導體-行業專題研究:ChatGPT 推動 AI 芯應用,
2、算力提升終端多點開花 2023-03-23 3 半導體-行業研究周報:2 月國產設備 招 標 同 比+58.00%,重 點 關 注ChatGPT 及 Chiplet 領域機遇 2023-03-20 行業走勢圖行業走勢圖 ChatGPT 有望給半導體行業帶來較為顯著增量有望給半導體行業帶來較為顯著增量 ChatGPT:突破性的對話系統預訓練生成模型:突破性的對話系統預訓練生成模型。ChatGPT 是基于 transformer 架構的文本生成式 AI。ChatGPT 由 GPT 系列分化而來,從 GPT-1 到 ChatGPT,算法上均采用的是 transformer 架構,模型結構改進程度偏弱
3、,主要為數據與算力的擴展。(1)AIGC 視角下,ChatGPT 在 AI 中屬于可交互的文本 AIGC,其興起源于深度學習技術的快速突破和日益增長的數字內容供給需求;(2)transformer 視角下,transformer 幫助 AI 文本生成的核心技術 NLP 走出了發展困境。隨著基于transformer 的模型越來越大,它們開始可以輸出達到人類水平的結果甚至超人的結果。GPT 憑借著高算力與大數據成為了目前規模競爭下的勝者。云端:云端:半導體半導體+AI 生態逐漸清晰生態逐漸清晰 更大的算力意味著更多的計算機設備,搭建這些設備也需要更多的核心器件。企業對類 ChatGPT 技術的追
4、求,在服務器產業鏈的發展上預計將起到積極的促進作用。(1)AI 算力芯片:AI 算力芯片是類 ChatGPT 模型的基石,支撐類 ChatGPT 模型需要大量的算力芯片,其中對 GPU、FPGA、ASIC 需求較大;(2)HBM/Chiplet:AI 芯片性能及成本的平衡也帶動周邊生態,HBM/Chiplet 等產業鏈受益。在 HBM 領域,AI 對話程序在執行計算期間需要大容量、高速的存儲支持,預計 AI 芯片發展也將會進一步擴大高性能存儲芯片需求;在 Chiplet 領域,Chiplet 是布局先進制程、加速算力升級的關鍵技術。類類 ChatGPT 對芯片的需求將量大且具有高持續性對芯片的
5、需求將量大且具有高持續性 按照我們的預設,當前的 ChatGPT 模型至少在服務器上花費了 3.47 億美元,其中 CPU、GPU、DRAM 分別為 0.29、2.66、0.23 億美元。未來隨著ChatGPT 的市占率及應用端的發展,我們預測它的日活量(DAU)與每人每天生成單詞 2023 年后均會呈現階梯式高速增長直至 2030 年后放緩,服務器成本也將隨之繼續擴張,預計 2030 年服務器成本高達 975.1 億美元。終端:終端:“ChatGPT+”加速數字經濟發展加速數字經濟發展 應用端相關行業通過 ChatGPT 找到了新的發力點,推出 ChatGPT 相關產品,加速數字化轉型。在人
6、工智能行業,ChatGPT 可以助力 AI 開發、優化模型優化及豐富應用場景等,其中與具體任務相結合的應用將會是中短期內可行性較高的熱點。服務上,ChatGPT 能夠幫助 APP/語音助手提供更好的聊天服務;產品上,ChatGPT 能夠增強智能產品的交互性。此外,ChatGPT 還能夠應用在搜索引擎、泛娛樂、自媒體等其他行業上。投資建議投資建議:我們認為以:我們認為以 GPT-4/ChatGPT 為代表的預訓練大模型或將催生為代表的預訓練大模型或將催生未來對未來對 AI 服務器的擴產需求,建議關注服務器的擴產需求,建議關注 服務器芯片:英偉達(天風海外組覆蓋)、AMD、Intel、寒武紀、海光
7、信息(天風計算機組覆蓋)、龍芯中科等;AI 服務器制造:工業富聯;圖像數據資源及應用:大華股份、??低暤?;先進制造及封裝:臺積電、中芯國際、長電科技、通富微電等;企業級存儲:瀾起科技、江波龍(天風計算機組聯合覆蓋)、兆易創新等。風險風險提示提示:ChatGPT 發展不及預期;國際局勢震蕩加重貿易成本;市場競爭加??;本文對芯片市場空間測算是基于一定前提假設,存在假設條件不成立、市場發展不及預期等因素導致市場空間測算結果偏差。-24%-19%-14%-9%-4%1%6%2022-042022-082022-12半導體滬深300 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息
8、披露和免責申明 2 內容目錄內容目錄 1.一圖看懂產業鏈一圖看懂產業鏈.4 1.1.服務器成本規模測算.4 2.ChatGPT:突破性的對話系統預訓練生成模型:突破性的對話系統預訓練生成模型.5 2.1.ChatGPT 的基本介紹.5 2.2.發展歷程:從 GPT-1 到 ChatGPT.6 2.3.地位:基于 NLP 的先進聊天機器人.8 2.3.1.AIGC 視角:.8 2.3.2.transformer 視角:.10 3.云端:云端:半導體半導體+AI 生態逐漸清晰生態逐漸清晰.13 3.1.AI 芯片:.13 3.2.HBM/Chiplet:.15 4.終端:終端:“ChatGPT+”
9、加速數字經濟發展加速數字經濟發展.15 4.1.人工智能行業.15 4.2.其他行業.17 5.投資建議:投資建議:.18 6.風險提示:風險提示:.18 圖表目錄圖表目錄 圖 1:AIGC 產業鏈.4 圖 2:ChatGPT 服務器成本(百萬美元)對 DAU、每人每天生成單詞的敏感性分析.5 圖 3:ChatGPT 的操作頁面:當用戶提出問題,ChatGPT 能夠迅速抓取信息互動.5 圖 4:ChatGPT 訓練過程,背后的底層技術的特點是能夠分析大量數據.6 圖 5:相同參數下 few-shot 性能更佳.7 圖 6:從 GPT-3 到當前階段 GPT-3.5 的進化歷程.8 圖 7:在內
10、部對抗性事實性評估中,GPT-4 的得分比最新的 GPT-3.5 高 40%.8 圖 8:生成式 AI 的應用格局.9 圖 9:AIGC 發展歷程.10 圖 10:自然語言、自然語言處理和編程語言的關系.11 圖 11:Transformer 出現后,NLP 類模型迎來較大地增長.11 FZdYkZiYeYjYtWuVrY7NbP8OnPpPoMnOfQmMqMiNrRtQ7NoPqNvPpNuMxNoNrQ 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 3 圖 12:基于 Transformer 的預訓練模型對比.13 圖 13:GPT-3 模型復雜度達
11、到 1750 億個參數,使其競爭對手相形見絀.13 圖 14:在線學習平臺 Quizlet 宣布將整合 ChatGPT API,提供在線 AI 教師“Q-Chat”.16 圖 15:智能音箱接入 ChatGPT 的架構.17 表 1:AI 的三大基石:算法、數據和算力.6 表 2:transformer 經典模型介紹.12 表 3:主要需求的 AI 芯片特點及市場格局.14 表 4:英偉達數據中心芯片售價情況.14 表 5:ChatGPT 在人工智能行業的應用場景.16 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 4 1.一圖看懂產業鏈一圖看懂產業鏈 圖
12、圖 1:AIGC 產業鏈產業鏈 資料來源:中國信息通信研究院和京東探索研究院,全球半導體觀察公眾號,紅杉Generative AI:A Creative New World,騰訊研究院,viso.ai,ATYUN 訂閱號公眾號,站長之家官網,天風證券研究所 1.1.服務器成本規模測算服務器成本規模測算 我們認為基于下述假設,我們認為基于下述假設,GPT 目前在目前在服務器服務器上花費的成本至少為上花費的成本至少為 3.47 億美元。億美元。首先,我們參考馬里蘭州 AI 方向的副教授 Tom Goldstein 及財經十一人公眾號的估計,假設 1個服務器由 2 個 CPU、8 個 GPU(A10
13、0,80G 內存)、DRAM 與其它組件組成,這個服務器可以使用 ChatGPT AI 模型每秒生成 15-20 個單詞,我們取 20 個單詞/秒,那么每臺服務器每天可以生成 172.8(=20606024/10000)萬個單詞。根據 Similar Web 數據,2023 年 1 月,ChatGPT 的網站平均每天有超過 1300 萬用戶使用,假設日活量(DAU)為 1000 萬,如果每個人對話過程中只使用 500 個單詞,那么每天 ChatGPT 至少需要生產50 億單詞(=1000500 萬,這里需要注意的是,1000 萬人使用時間實際上并不是均勻分布的,因此現實中 ChatGPT 每天
14、可生成單詞預計比 50 億單詞高)?;谝陨戏治?,ChatGPT 至少需要 2894 個服務器,即 5788 個 CPU、23152 個 GPU。參考行行查給出的服務器成本構成以及 Thinkmate 給出的 A100GPU 報價,CPU 單價取$5000,GPU 單價取$11500(考慮公司戰略合作及貿易成本,取價比 Thinkmate 報價略低),DRAM 取$8000,加上其他組件,一個服務器總價為$120000。綜合上述假設,服務器總成本為3.47 億美元,CPU、GPU、DRAM 分別為 0.29、2.66、0.23 億美元。未來隨著未來隨著 ChatGPT 的市占率及應用端的發展,
15、我們預測它的日活量的市占率及應用端的發展,我們預測它的日活量(DAU)與每人每天與每人每天生成單詞生成單詞 2023 年后年后均會均會呈現階梯式高速增長直至呈現階梯式高速增長直至 2030 年后放緩年后放緩,服務器成本也將隨之,服務器成本也將隨之繼續擴張。繼續擴張。其中,DAU 表現了 ChatGPT 普適性,當 ChatGPT 的普適性更高即 ChatGPT的用途更加廣泛(往往取決于算法)時,將會有更多的用戶使用它;每人每天生成單詞則能表現 ChatGPT 解決用戶問題的能力(取決于數據訓練),當 ChatGPT 能夠更好地解決用戶問題時,平均每個用戶需要生成的單詞會更多。因此,為了展現這兩
16、個指標對服務器成本的影響,我們對其進行敏感性分析發現,ChatGPT 對兩個指標的彈性指數均為 1,也就是說當 2030 年 ChatGPT 實現 9.36 億日活量(前文假設的 93.6 倍)、每人每天 1500個生成單詞(前文假設的 3 倍)時,服務器成本將變成前文的 281 倍(93.63)975.1 億美元。此外,若考慮到芯片的此外,若考慮到芯片的損耗及芯片升級損耗及芯片升級,預計預計 ChatGPT 對芯片的需求將長時間維持在較對芯片的需求將長時間維持在較高水平。高水平。云端終端AIGC模型算力數據算法文本OpenAI GPT-3DeepMind GopherFacebook OPT
17、Hugging Face BloomGoogle Bard代碼圖像OpenAI GPT-3TabnineOpenAI Dall-E 2Stable DiffusionCraiyon語音視頻3D其他OpenAIMicrosoft X-CLIPTBDTBD主板美國:英特爾、超微等中國大陸:聯想、中國長城等中國臺灣:華碩、技嘉、泰安(神達旗下)、微星科技、精英等CPU美國:lntel、AMD、IBM等中國:上海兆芯、海思、龍芯中科、天津飛騰、申威科技、海光信息、中國長城等GPU美國:英偉達、AMD、Intel、VelociHOST等中國:景嘉微、芯動科技、海光信息、龍芯中科、壁仞科技、摩爾線程、兆芯
18、、長沙韶光(航錦科技子公司)等內存HBM韓國:SK海力士、三星電子等美國:美光科技、金士頓等中國:金泰克、芝奇(臺灣)等Chiplet韓國:AMD、英特爾等中國:芯原股份、芯動科技、通富、長電、利揚、偉測、華天等內存接口芯片中外合資:瀾起科技美國:Rambus、IDT等硬盤美國:西部數據(含旗下閃迪)、希捷等中國:聯想、江波龍、金泰克等韓國:三星日本:東芝電源美國:Artesyn等中國大陸:中國長城、歐陸通、高斯寶中國臺灣:臺達、肯微、光寶科技、群光、康舒整機美國:戴爾、HPE、IBM、思科等中國大陸:華為、新華三、浪潮、聯想、中科曙光等品牌廠商中國臺灣:鴻海、英業達、緯創、廣達等ODM廠日本
19、:富士通基礎模型模型名稱提出時間應用場景深度變分自編碼(VAE)2014年圖像生成、語音合成生成對抗神經網絡(GAN)2014年圖像生成、語音合成擴散模型(Diffusion Model)2015年圖像生成Transformer2017年語言模型Vision Transformer(ViT)2020年視覺模型電商商品展示:智能商詳、商品3D模型生成主播打造:品牌虛擬主播交易場景:虛擬商城構建影視前期創作:劇本生產中期拍攝:數字復活已故演員、高難度動作合成、演員角色年齡的跨越、虛擬物理場景合成后期制作:替換“劣跡藝人”、多語言譯制片音畫同步、影視作品修復、影視預告片生成、影視內容2D轉3D娛樂全
20、民娛樂:人臉美妝、人臉融合、黑白圖像上色、圖像風格轉換、人像屬性變換(年齡、性別)偶像養成:虛擬歌姬、虛擬網紅傳媒采集:采訪助手編輯:寫稿機器人、智能視頻拆條、視頻錦集、視頻字幕生成播報:AI主播、智能播報其他教育:合成歷史人物視頻、虛擬教師、線上課堂音視頻處理工業:輔助工程設計、加速數字孿生系統構建醫療:醫學圖像處理、智能病例錄入、合成肢體投影、合成醫護陪伴金融:營銷視頻合成、智能金融客服、VR金融場景構建運營商中國移動、中國電信、中國聯通IDC寶信軟件、光環、奧飛、數據港服務器浪潮信息、中科曙光、同方股份、神州數碼、拓維信息、工業富聯、聯想集團、常山北明、中興通訊、紫光股份交換機光模塊CP
21、O銳捷網絡、工業富聯、中興通訊、紫光股份、天孚通信、中際旭創、新易盛、光迅科技光芯片源杰科技、仕佳光子、長光華芯、光迅科技周邊芯片杰華特、晶豐明源、裕太微、芯朋微、聚辰ASIC寒武紀、瀾起科技FPGA安路科技、復旦微電、紫光國微PBC滬電股份、勝宏科技、深南電路EDAIP華大九天、概倫電子、廣立微、芯原股份晶圓廠中芯國際、華虹半導體設備北方華創、拓荊科技、華海清科、芯源微、盛美、華峰、中微、精測公司金山辦公、用友、???、大華國內公司百度科大訊飛360商湯 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 5 圖圖 2:ChatGPT 服務器成本(百萬美元)對服
22、務器成本(百萬美元)對 DAU、每人每天生成單詞的敏感性分析、每人每天生成單詞的敏感性分析 資料來源:International Telecommunication Union(ITU)World Telecommunication/ICT Indicators Database,world bank,statista,天風證券研究所 注:橫坐標 DAU 的變化參考 world bank 給出的 1995-2002 年互聯網用戶占總人口數比例以及 statista2023-2030 年間未來人口預測,計算公式為:n 年的 DAU=(n-28)年的互聯網用戶/總人口)n 年預測總人口 2.Cha
23、tGPT:突破性突破性的對話系統預訓練生成模型的對話系統預訓練生成模型 2.1.ChatGPT 的基本介紹的基本介紹 ChatGPT 可以解釋為一種用于對話系統的預訓練生成式模型??梢越忉尀橐环N用于對話系統的預訓練生成式模型。ChatGPT 名稱中包含兩個元素:Chat 和 GPT。Chat 是指“聊天”,代表了它在對話系統等領域的應用。GPT 全稱是 Generative Pre-trained Transformer,其本質上是一種通過在大型文本語料庫上訓練而形成的具有自然語言生成能力的 NLP 模型。電子工程專輯公眾號指出,ChatGPT 和以往幫我們實現簡單服務的客服機器人不一樣,它可
24、以和用戶進行多輪對話,經過“預先訓練+微調”后,OpenAI 通過監督學習不斷訓練,得到合適的模型,再通過設計好的獎勵機制由人類培訓員不斷篩選,最終得到質量最好的回復。圖圖 3:ChatGPT 的操作頁面:當用戶提出問題,的操作頁面:當用戶提出問題,ChatGPT 能夠迅速抓取信息能夠迅速抓取信息互動互動 資料來源:OpenAI,THE DECODER,天風證券研究所 作為作為 AI 的的 ChatGPT,其核心仍為,其核心仍為算法、算法、數據數據與與算力。算力。聯想創投公眾號指出,ChatGPT 正在經歷巨大的變遷,這是重新定義生產力顛覆性變化的機會。超級算力和大模型代表的超級算法,正在成為
25、國家和企業的競爭力。在數據智能時代,特別需要 AI 的算法、算力、高質量的數據支撐。其中,在算力上,ChatGPT 首先需要云計算基礎設施作為算力底座;51040.681.4163.2246.9415.0585.9675.2936.12006913956411312267342957648138937813001300104208846169634005144864612206 14067 195024001392781128 22614533685811528 16275 18756 260035001743471410 28265667857314410 20344 23444 32503
26、6002084171692 3392680010288 17292 24413 28133 390047002434861974 3957793312002 20174 28481 32822 455058002785562256 4522906713717 23056 32550 37511 520069003136252538 5088 10200 15431 25938 36619 42200 585061000 3476942819 5653 11333 17146 28819 40688 46889 650071100 3827643101 6218 12467 18860 3170
27、1 44756 51578 715081200 4178333383 6783 13600 20575 34583 48825 56267 780081300 4519033665 7349 14733 22290 37465 52894 60956 845091400 4869723947 7914 15867 24004 40347 56963 65644 910101500 521 1042 4229 8479 17000 25719 43229 61031 70333 97510DAU(百萬)每人每天生成單詞ChatGPT的普適性ChatGPT的解決能力2022年2030年2022年2
28、030年 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 6 其次,云計算數據中心還需要包括服務器、芯片、光模塊等硬件的支持,而 AI 芯片則是算力最重要的硬件基石之一。表表 1:AI 的三大基石的三大基石:算法算法、數據數據和和算力算力 名稱 簡介 算法 算法層指各類機器學習算法。如果根據訓練方法來分類,機器學習算法也可以分成“無監督學習”、“監督學習”和“強化學習”等。按照解決問題的類型來分,機器學習算法包括計算機視覺算法(CV)、自然語言處理算法(NLP)、語音處理和識別算法(ASR)、智慧決策算法(DMS)等。數據 數據層指的是人工智能為不同的行業提
29、供解決方案時所采集和利用的數據。事實上,使用人工智能解決問題的步驟絕不僅僅包括搜集和整理數據。完整的流程和思路為:收集數據、數據準備、模型選擇、訓練、評估、參數調整、預測。算力 算力層包括具備計算能力硬件和大數據基礎設施。AI 發展歷程中,歷次算力層的發展都會顯著推動算法層的進步,并促使技術的普及應用。21 世紀互聯網大規模服務集群的出現、搜索和電商業務帶來的大數據積累、GPU 和異構/低功耗芯片興起帶來的運算力提升,促成了深度學習的誕生,促成了人工智能的這一波爆發。而 AI 芯片的出現進一步顯著提高了數據處理速度:在 CPU 的基礎上,出現了擅長并行計算的 GPU,以及擁有良好運行能效比、更
30、適合深度學習模型的現場可編程門陣列(FPGA)和應用專用集成電路(ASIC)。資料來源:CGGE 數字內容與技術服務平臺公眾號,天風證券研究所 圖圖 4:ChatGPT 訓練過程,訓練過程,背后的底層技術的特點是能夠分析大量數據背后的底層技術的特點是能夠分析大量數據 資料來源:OpenAI,News 官網,天風證券研究所 2.2.發展歷程:從發展歷程:從 GPT-1 到到 ChatGPT ChatGPT 是基于是基于 GPT 系列演化而來的。系列演化而來的。ChatGPT 由 OpenAI 公司開發,OpenAI 是一家總部位于美國的人工智能研究機構,旨在不受產生財務回報需求的約束,以最有可能
31、造福全人類的方式推進數字智能。OpenAI 開發了 GPT 模型的四代產品GPT-1、GPT-2、GPT-3 和 GPT-4,分別發布于 2018 年、2019 年、2020 年、2023 年。GPT 系列從系列從 1 到到 4,算法上均采用的是,算法上均采用的是 transformer 架構架構(詳見 2.3.2),模型結構改進程,模型結構改進程度偏弱,主要為數據與算力的擴展。度偏弱,主要為數據與算力的擴展。維普研究院公眾號指出,GPT-1 主要有三點貢獻:第一,它是最早一批提出在 NLP 任務上使用 pre-train+fine-tuning 范式的工作;第二,GPT 的實驗證明了模型的精
32、度和泛化能力會隨著解碼器層數增加而不斷提升,而且目前還有提升空間;第三,預訓練模型具有 zero-shot 的能力,并且能隨著預訓練的進行不斷增強。GPT-2 想通過 zero-shot,在遷移到其他任務上的時候不需要額外的標注數據,也不需要額外的模型訓練。GPT-2 的核心思想是當模型的容量非常大且數據量足夠豐富時,僅僅靠語言模型的學習便可以完成其他有監督學習的任務,不需要在下游任務微調。GPT-2 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 7 在較多任務上對比無監督算法取得了一定的提升,證明了 zero-shot 的能力,但在很多任務上與有監督微調
33、的方法相比還有一些差距。GPT-3 不再去追求極致的不需要任何樣本就可以表現很好的模型,而是考慮像人類的學習方式那樣,僅僅使用極少數樣本就可以掌握某一個任務,因此就引出了 GPT-3 標題 Language Models are Few-Shot Learners??梢詮?GPT-3 的分析結果得出一個重要的結論:當我們想要線性的提升一個任務的效果時,往往需要指數級的提升模型的規模和所需的數據量。圖圖 5:相同參數下相同參數下 few-shot 性能更佳性能更佳 資料來源:Language Models are Few-Shot Learners(Tom B.Brown,Benjamin Ma
34、nn 等),天風證券研究所 ChatGPT 可以看做是可以看做是 GPT-3.5 版本之一,版本之一,通過犧牲上下文學習的能力換取建模對話歷史通過犧牲上下文學習的能力換取建模對話歷史的能力的能力。How does GPT Obtain its Ability?Tracing Emergent Abilities of Language Models to their Sources(Yao Fu,Hao Peng 等)中指出,code-davinci-002 和 text-davinci-002 是第一版的 GPT3.5 模型,一個用于代碼,另一個用于文本。它們表現出了三種與初代 GPT-3
35、不同的重要能力:響應人類指令、泛化到沒有見過的任務、利用思維鏈進行復雜推理。文章推測這些新的能力來源于指令微調和代碼訓練,具體來說:能夠響應人類指令的能力是指令微調的直接產物;對沒有見過的指令做出反饋的泛化能力是在指令數量超過一定程度之后自動出現的;使用思維鏈進行復雜推理的能力很可能是代碼訓練的副產物。指令微調不會為模型注入新的能力,其作用是解鎖/激發這些能力,通過犧牲性能換取與人類的對齊。在 code-davinci-002 上進行指令微調后,模型可以生成更加符合人類期待的反饋指令微調將 GPT-3.5 分化到不同的技能樹,有些更擅長上下文學習,如 text-davinci-003,有些更擅
36、長對話,如 ChatGPT。行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 8 圖圖 6:從從 GPT-3 到到當前階段當前階段 GPT-3.5 的進化歷程的進化歷程 資料來源:How does GPT Obtain its Ability?Tracing Emergent Abilities of Language Models to their Sources(Yao Fu,Hao Peng 等),天風證券研究所 GPT-4 針對針對 GPT-3.5 在測試在測試中出現的問題進行了改進。中出現的問題進行了改進。OpenAI 發布 GPT-4 時聲明,其將
37、 GPT-3.5 作為 GPT-4 的第一次“測試運行”進行了訓練,發現并修復了一些錯誤,此外還提高了 GPT 的理論基礎。團隊花了 6 個月的時間迭代 GPT-4,使用 OpenAI 的對抗性測試程序和 ChatGPT 的經驗教訓,在事實性、可操縱性和拒絕超出合理范圍(refusing to go outside of guardrails)方面取得了有史以來最好的結果。在隨意的談話中,GPT-3.5 和 GPT-4 之間的區別可能很微妙。當任務的復雜性達到足夠的閾值時,差異就出現了GPT-4 比 GPT-3.5 更可靠、更有創意,并且能夠處理更細微的指令。圖圖 7:在內部對抗性事實性評估中
38、,在內部對抗性事實性評估中,GPT-4 的得分比最新的的得分比最新的 GPT-3.5 高高 40%資料來源:OpenAI,天風證券研究所 2.3.地位:基于地位:基于 NLP 的先進聊天機器人的先進聊天機器人 2.3.1.AIGC 視角:視角:ChatGPT 在在 AI 中屬于中屬于可交互的可交互的文本文本 AIGC。根據紅杉美國官網發表的文章Generative AI:A Creative New World,AI 可以被分成兩類,一類是分析型 AI(Analytical AI),也可稱為傳統 AI,它可以用來分析一組數據,并在其中找到許多用例(use case)的模式,由此可以用于欺詐或垃
39、圾郵件檢測、預測發貨時間或預測該給用戶推薦哪個短視頻,它們會在這些任務中變得越來越聰明;另一類則是生成式 AI(Generative AI,AIGC),這類機器不再局限于分析已經存在的東西,它會生成新的東西,例如寫詩、設計產品、制作游戲、編寫代碼等。而根據生成式 AI 的具體生成內容,它又可以分為文本(Text)、代碼生成(Code generation)、圖片(Images)、語音合成(Speech synthesis)、視頻和 3D 模型(Video and 3D)。監督指令調優LM+代碼訓練然后指令調優大規模語言模型維護代碼培訓指令調優 行業行業報告報告|行業專題研究行業專題研究 請務必
40、閱讀正文之后的信息披露和免責申明 9 我們認為,ChatGPT 在與用戶互動的過程中其實也就是在基于用戶不斷更新的對話內容調整認知,文本生成更加符合用戶預期的回答。圖圖 8:生成式生成式 AI 的應用格局的應用格局 資料來源:紅杉Generative AI:A Creative New World,PANews,天風證券研究所 根據根據中國信息通信研究院和京東探索研究院中國信息通信研究院和京東探索研究院,AIGC 的發展大致可以分為三個階段的發展大致可以分為三個階段早早期萌芽階段、沉淀積累階段以及快速發展階段期萌芽階段、沉淀積累階段以及快速發展階段:早期萌芽階段(1950s-1990s),受限
41、于當時的科技水平,AIGC 僅限于小范圍實驗。80 年代末至 90 年代中,由于高昂的系統成本無法帶來可觀的商業變現,各國政府紛紛減少了在人工智能領域的投入,AIGC 沒有取得重大突破;沉淀積累階段(1990s-2010s),AIGC 從實驗性向實用性逐漸轉變。2006 年,深度學習算法取得重大突破,同時期圖形處理器(GPU)、張量處理器(TPU)等算力設備性能不斷提升,互聯網使數據規??焖倥蛎洸楦黝惾斯ぶ悄芩惴ㄌ峁┝撕A坑柧殧祿?,使人工智能發展取得了顯著的進步。但是 AIGC 依然受限于算法瓶頸,無法較好地完成創作任務應用仍然有限,效果有待提升;快速發展階段(2010s-至今),自 201
42、4 年起,隨著以生成式對抗網絡(Generative Adversarial Network,GAN)為代表的深度學習算法的提出和迭代更新,AIGC 迎來了新時代,生成內容百花齊放,效果逐漸逼真直至人類難以分辨。行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 10 圖圖 9:AIGC 發展歷程發展歷程 資料來源:中國信息通信研究院和京東探索研究院,天風證券研究所 AIGC 的興起源于深度學習技術的快速突破和日益增長的數字內容供給需求。的興起源于深度學習技術的快速突破和日益增長的數字內容供給需求。中國信息通信研究院和京東探索研究院指出,一方面,技術進步驅動 A
43、IGC 可用性不斷增強:在人工智能發展初期,雖然對 AIGC 進行了一些初步嘗試,但受限各種因素,相關算法多基于預先定義的規則或者模板還遠遠算不上是智能創作內容的程度。近年來,基于深度學習算法的 AIGC 技術快速迭代,徹底打破了原先模板化、公式化、小范圍的局限,可以快速、靈活地生成不同模態的數據內容。另一方面,海量需求牽引 AIGC 應用落地:隨著數字經濟與實體經濟融合程度不斷加深以及 Meta、微軟、字節跳動等平臺型巨頭的數字化場景向元宇宙轉型,人類對數字內容總量和豐富程度的整體需求不斷提高。數字內容的生產取決干想象能力、制造能力和知識水平:傳統內容生產手段受限于人力有限的制造能力,逐漸無
44、法滿足消費者對于數字內容的消費需求,供給側產能瓶頸日益凸顯?;谝陨显?,AIGC 在各行業中得到越來越廣泛的應用,市場潛力逐漸顯現。2.3.2.transformer 視角:視角:自然語言處理技術自然語言處理技術(NLP)是是 AI 文本生成的核心技術之一。文本生成的核心技術之一。根據人民中科公眾號,自然語言處理是指利用人類交流所使用的自然語言與機器進行交互通訊的技術。通過人為的對自然語言的處理,使得計算機對其能夠可讀并理解。NLP 技術用于計算機中模擬人類的對話和文本理解。主要源于 AI 大模型化的 NLP 技術突破是將深度學習技術與傳統的NLP 方法結合在一起,從而更好地提高 NLP 技
45、術的準確性和效率。大模型化的 NLP 技術能夠更好地支持企業進行大規模的語料內容分析,并為企業更好地進行文本分析提供幫助。從技術角度講,ChatGPT 是基于大規模預訓練語言模型(GPT-3.5),借助其強大的語言理解和生成能力,通過在人工標注和反饋的大規模數據上進行學習,從而讓預訓練語言模型能夠更好地理解人類的問題并給出更好的回復。行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 11 圖圖 10:自然語言、自然語言處理和編程語言的關系自然語言、自然語言處理和編程語言的關系 資料來源:騰訊云開發者公眾號,天風證券研究所 Transformer 幫助幫助 NL
46、P 走出了走出了發展發展困境。困境。騰訊云開發者公眾號指出,Transformer 結構繼RNN、CNN(以及其一系列變體 LSTM、GRU、ResNet、DenseNet 等)之后,在Inductive Bias 方向上打開了一個新世界的大門。2017 年,Google 發表了一篇題為Attention is all you need的論文,自此完全使用 Attention 機制的 Transformer 模型開始主導 NLP 領域。不久后,利用 Transformer 模型結構的預訓練語言模型 GPT 和 BERT 大放異彩。時至今日,基于 GPT 和 BERT 的預訓練語言模型進行 Fi
47、ne-tuning 仍然是 NLP 中廣泛任務的首選范式。圖圖 11:Transformer 出現后,出現后,NLP 類模型迎來類模型迎來較大地較大地增長增長 資料來源:What Does ChatGPT Say:The DAO from Algorithmic Intelligence to Linguistic Intelligence (Fei-Yue Wang,Qinghai Miao 等),天風證券研究所 詳細來說,詳細來說,Transformer 是一種基于自注意力機制的深度神經網絡模型,可以高效并行地是一種基于自注意力機制的深度神經網絡模型,可以高效并行地處理序列數據。處理序列數
48、據。原始的 Transformer 模型包含兩個關鍵組件:編碼器和解碼器。編碼器用于將輸入序列映射到一組中間表示,解碼器則將中間表示轉換為目標序列。編碼器和解碼器都由多層的注意力模塊和前饋神經網絡模塊組成。在原始 Transformer 模型基礎上,相繼衍生出了三類預訓練語言模型:編碼預訓練語言模型、解碼預訓練語言模型和編解聊天機器人 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 12 碼預訓練語言模型,它們的代表模型如下表所示。表表 2:transformer 經典模型介紹經典模型介紹 預訓練語言模型 具體含義 經典模型 特點 編碼預訓練語言模型(Enc
49、oder-only Pre-trained Models)這類模型在預訓練過程中只利用原始 Transformer 模型中的編碼器。相應的預訓練任務通常選用掩碼語言建模任務(Masked Language Modeling),即掩碼?。ㄓ锰厥庾址?MASK替換)輸入句子中一定比例的單詞后,要求模型根據上下文信息去預測被遮掩的單詞。BERT BERT 模型是最經典的編碼預訓練語言模型,其通過 掩 碼 語 言 建 模 和 下 一 句 預 測 任 務,對 Transformer 模型的參數進行預訓練。ALBERT ALBERT 是一個輕量化的 BERT 模型,作者通過分解詞向量矩陣和共享 Trans
50、former 層參數來減少模型參數個數。BoBERTa 相較于 BERT 模型 RoBERTa 在預訓練階段,采用了更多的語料以及動態掩碼機制(不同輪次同一樣本掩碼不同的單詞),去掉了下一句預測任務,同時采用了更大的批大小。解碼預訓練語言模型(Decoder-only Pre-trained Models)GPT(Generative Pre-trained Transformer)是由 OpenAI 提出的只有解碼器的預訓練模型。相較于之前的模型,不再需要對于每個任務采取不同的模型架構,而是用一個取得了優異泛化能力的模型,去針對性地對下游任務進行微調。GPT-1 GPT-1 成功背后有兩個原
51、因:第一個是 2017 年 Transformer 的提出使得捕獲自然語言中長距離依賴關系成為可能;第二個是 GPT 模型在預訓練過程中用到了更大的數據量以及更多的模型參數,使得模型能夠從大規模語料庫中學習到以往模型無法學習的知識。而任務微調在通用預訓練和下游任務之間搭起了知識橋梁,使得用一個模型解決多種問題成為一條可行之路。GPT-2 GPT-2 并沒有模型架構上的改變,但是其將任務作為輸出預測的條件引入模型從而在 Zero-shot 的設置下實現多個任務的想法一直延續至今。GPT-3 使用了與 GPT-2 相同的模型和架構,特點:一方面是模型本身規模大,參數量眾多;另一方面是訓練 過程中使
52、用到的數據集規模大,達到了 45TB。GPT-4 使用 OpenAI 的對抗性測試程序和 ChatGPT 的經驗教訓迭代 GPT-4,在事實性、可操縱性和拒絕超出合理范圍(refusing to go outside of guardrails)方面取得了有史以來最好的結果?;诰幗獯a架構的預訓練語言模型(Encoder-decoder Pre-trained Models)采用序列到序列的架構來融合兩種結構,使用編碼器提取出輸入中有用的表示,來輔助并約束解碼器的生成。BART 具體結構為一個雙向的編碼器拼接一個單向的自回歸解碼器,采用的預訓練方式為輸入含有各種噪聲的文本,再由模型進行去噪重構
53、。在解碼器部分,BART 每一層對編碼器的最后一層的隱藏表示執行交叉注意力機制以聚合關鍵信息。BART 在維基百科 和 BookCorpus 數 據 集 上 訓 練,數 據 量 達160GB。T5 通過在輸入之前加入提示詞,實現了用單個模型解決機器翻譯、文本摘要、問答和分類等多個任務。針對遷移學習需要的巨量、高質量和多樣的預訓練數據,T5 在谷歌專門構造的 C4 數據集上進行訓練。Switch Transformers 將混合專家網絡(Mixture-of-Experts,MoE)的條件運算思想引入 Transformer 的全連接層,實現增加模型的尺寸而不增加推理時的運算量。資料來源:BME
54、 康復工程分會公眾號,哈爾濱工業大學自然語言處理研究所ChatGPT 調研報告,OpenAI 官網,天風證券研究所 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 13 圖圖 12:基于基于 Transformer 的預訓練模型對比的預訓練模型對比 資料來源:BME 康復工程分會公眾號,哈爾濱工業大學自然語言處理研究所ChatGPT 調研報告,天風證券研究所 GPT 是是目前目前規模競賽下的勝者規模競賽下的勝者。隨著基于 transformer 的模型越來越大,它們開始可以輸出達到人類水平的結果甚至超人的結果。從 2015 年到 2020 年,用于訓練這些模
55、型的計算量增加了 6 個數量級,其結果在書寫、語音、圖像識別、閱讀和語言理解方面超過了人類的表現水平,我們將通過大數據、大算力來提升性能的模型競爭階段稱之為規模競賽。我們認為,盡管之前 BERT 以優越的文本理解能力被更多人選擇,但在大規模數據、算力的加持下目前 OpenAI 的 GPT 表現更為突出。此外,ChatGPT 則通過對話初步改變了 transformer 模型過于龐大而不能被更多人廣泛使用這一特點。而對于之后的發展,我們預測,在規模競爭模式下,可能會形成 GPT 為主,BERT 為輔的文本生成競爭格局。圖圖 13:GPT-3 模型復雜度達到模型復雜度達到 1750 億個參數,使其
56、競爭對手相形見絀億個參數,使其競爭對手相形見絀 資料來源:DistilBERT,a distilled version of BERT:smaller,faster,cheaper and lighter(Victor SANH,Lysandre DEBUT 等),AI Multiple 官網,天風證券研究所 3.云端:半導體云端:半導體+AI 生態逐漸生態逐漸清晰清晰 更大的算力意味著更多的計算機設備,搭建這些設備也需要更多的核心器件。企業對類ChatGPT 技術的追求,在服務器產業鏈的發展上預計將起到積極的促進作用。3.1.AI 芯片:芯片:AI 算力芯片是類算力芯片是類 ChatGPT
57、模型的基石模型的基石,其中其中對對 GPU、FPGA、ASIC 需求較大需求較大。根據全球半導體觀察公眾號,基于 OpenAI 的第三代大模型 GPT-3 升級而來的 ChatGPT,其算力的最終來源也就是芯片,ChatGPT 的爆火代表著 AI 芯片技術的新一輪突破。公開資料顯示,AI 算力芯片泛指加速 AI 類應用,主要分為 GPU、FPGA、ASIC。目前,ChatGPT 背后的計算集群使用的是英偉達的 AI 芯片。OpenAI 曾表示,ChatGPT 是與英偉達和微軟合作完成的超級 AI。行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 14 表表 3
58、:主要需求的主要需求的 AI 芯片特點及市場格局芯片特點及市場格局 類型 特點 市場格局 GPU 由于 CPU 的算力很有限,且處理并行操作比較吃力,因此一般將 CPU搭配加速芯片使用。在 AI 時代的云端訓練芯片中,GPU 占據較大的份額,被視為 AI 時代的算力核心。英偉達在此番占據先發優勢,但市場上還有很多企業在迎頭趕上,如谷歌的張量處理器 TPU、百度的昆侖系列、華為海思的昇騰系列、阿里巴巴的含光 800 等。FPGA FPGA(Field Programmable Gate Array)又稱現場可編程門陣列,是指一種通過軟件手段更改、配置器件內部連接結構和邏輯單元,完成既定設計功能的
59、數字集成電路。FPGA 芯片在實時性(數據信號處理速度快)、靈活性等方面優勢明顯,還可以編程、并行計算,在深度學習領域占據不可替代地位。相比于 CPU/GPU/ASIC,FPGA 具有更高的速度和極低的計算能耗,常被用作專用芯片的小批量替代品。在 AI 模型構建時,FPGA 要實現深度學習功能,需要與 CPU 結合,共同應用于深度學習模型,同樣可以實現龐大的算力需求。全球 FPGA 芯片市場中,賽靈思和英特爾兩家企業占據了市場大部分的份額,由于FPGA 芯片擁有較高的技術和資金壁壘,我國企業在該領域上差距較大。近年來,我國領先企業也在 FPGA 芯片芯片上實現了部分技術突破。如去年 8 月,京
60、微齊力發布首顆國產 22nm 的 FPGA 芯片并成功量產。ASIC ASIC(Application Specific Integrated Circuit),即專用集成電路,其計算能力和計算效率可根據用戶特定需求進行定制,廣泛應用于人工智能設備、虛擬貨幣挖礦設備、耗材打印設備、軍事國防設備等智慧終端。ASIC 芯片可根據終端功能不同分為 TPU 芯片、DPU 芯片和 NPU 芯片等。其中,TPU(Tensor Processing Unit)為張量處理器,專用于機器學習。DPU(Data Processing Unit),可為數據中心等計算場景提供引擎。NPU(Neural-network
61、 Processing Unit)是神經網絡處理器,在電路層模擬人類神經元和突觸,并用深度學習指令集直接處理大規模電子神經元和突觸數據。相比于 GPU 和 FPGA,ASIC 缺乏靈活性,特別是在 AI、服務器這類領域,在各種算法不斷迭代的情況下,ASIC 芯片的特性反而成為了它的累贅。但地平線 CEO 余凱曾公開表示,一旦軟件算法固定下來,專用集成電路 ASIC 一定是未來的方向,按每瓦功耗計算能力看,ASIC 可比GPU 提升 30-50 倍,這也將是未來行業的競爭焦點。目前,國外谷歌、英特爾、英偉達等科技巨頭相繼發布了 TPU、DPU 等 ASIC 芯片,國內大廠也開始瞄準這一市場迅速發
62、力,比如寒武紀就推出了一系列 ASIC 加速芯片,華為也設計了昇騰 310 和昇騰910 系列 ASIC 芯片。資料來源:全球半導體觀察公眾號,天風證券研究所 支撐支撐類類 ChatGPT 模型模型需要大量的芯片需要大量的芯片。以 GPU 為例,根據財經介紹,ChatGPT 包含近 1800 億個參數。更早前的 2022 年 11 月,英偉達在官網公告中提到,微軟 Azure 上部署了數萬枚 A100/H100 高性能芯片。這是第一個采用英偉達高端 GPU 構建的大規模 AI算力集群。微軟的 Azure 云服務為 ChatGPT 提供了一臺由超過 1 萬枚英偉達 A100 GPU芯片的 AI
63、計算集群,為其提供超級 AI 算力支持。在國內,云計算技術人士公認的一個說法是,1 萬枚英偉達 A100 芯片是做好 AI 大模型的算力門檻。表表 4:英偉達數據中心芯片售價情況英偉達數據中心芯片售價情況 芯片型號 售價(美元)售價(元)中國供應情況 中低端 A10 3200 22080 A16 3500 24150 A30 4700 32430 A40 5300 36570 L40 7600 52440 高性能 V100 10000 69000 A800 12000 82800 缺貨 A100 15000 103500 美國政府禁止供應中國 H100 36500 251850 資料來源:Th
64、inkmate,財經,鳳凰網,天風證券研究所 未來的未來的 AI 芯片:通用與定制的平衡。芯片:通用與定制的平衡。根據中國電子報公眾號,在 AI 芯片的發展過程中,通用性和定制化像是兩個互相拉扯的作用力,衍生出一系列的芯片架構。其中,GPU 和ASIC 分別是通用性和定制化的代表架構,也有著各自的優勢和局限。GPU 架構提供了大量數據并行結構,因此能夠提供大量的 AI 并行計算,適用于 AI 訓練等。ASIC 等定制化AI 芯片針對特定的應用場景進行芯片優化,能夠取得更高的計算能效,但通用性相對較弱。隨著芯片技術的發展,通用性與定制化已不再壁壘森嚴。一方面,英偉達在 GPU 架 行業行業報告報
65、告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 15 構中引入了 Tensor Core(張量計算核心),一種專門針對深度學習應用而設計的專用ASIC 單元,使 GPU 更加適合深度學習。與此同時,定制化芯片也逐步增加了通用計算單元,并引入可編程或部分可編程的架構,增強芯片的場景覆蓋能力。我們認為,短期內具有大算力、通用性的 GPU 芯片或將成為大算力應用的首選。隨著 GPU 的功耗過高等弊端的顯現,類 GPU 架構的定制化大算力 AI 芯片(ASIC)也或將存在市場,滿足對于芯片計算能效的提升需求。未來 GPU 與 ASIC 的界限可能會在較大程度上模糊,兩者產生替代競
66、爭。3.2.HBM/Chiplet:AI 芯片性能及成本的平衡也帶動周邊生態,芯片性能及成本的平衡也帶動周邊生態,HBM/Chiplet 等產業鏈受益。等產業鏈受益。全球半導體觀察公眾號指出,AI 對話程序在執行計算期間需要大容量、高速的存儲支持,預計 AI 芯片發展也將會進一步擴大高性能存儲芯片(HBM)需求。三星電子表示,為GPU 和人工智能加速器提供數據的高性能高帶寬內存(HBM)的需求將會擴大。從長遠來看,隨著 AI 聊天機器人服務的擴展,對用于 CPU 的 128GB 或更大容量的高性能 HBM 和高容量服務器 DRAM 的需求預計會增加。近日,韓媒報道 2023 年開年后三星、SK
67、 海力士兩家存儲大廠 HBM 訂單快速增加,價格也水漲船高,據悉近期 HBM3 規格 DRAM價格上漲 5 倍。此外,Chiplet 技術也不可忽視,其是布局先進制程、加速算力升級的關鍵技術。Chiplet異構技術不僅可以突破 GPU 等算力芯片先進制程的封鎖,并且可以大幅提升大型芯片的良率、降低設計的復雜程度和設計成本、降低芯片制造成本。目前,Chiplet 已廣泛應用于服務器芯片。AMD 是 Chiplet 服務器芯片的引領者,其基于 Chiplet 的第一代AMDEPYC 處理器中,裝載 8 個“Zen”CPU 核,2 個 DDR4 內存通道和 32 個 PCIe 通道。2022 年 A
68、MD 正式發布第四代 EPYC 處理器,擁有高達 96 顆 5nm 的 Zen4 核心,并使用新一代的 Chiplet 工藝,結合 5nm 和 6nm 工藝來降低成本。英特爾第 14 代酷睿 Meteor Lake 首次采用 intel 4 工藝、引入 Chiplet 小芯片設計,預計將于 2023 年下半年推出,至少性能功耗比的目標要達到 13 代 Raptor Lake 的 1.5 倍水平。4.終終端:端:“ChatGPT+”加速數字經濟發展”加速數字經濟發展 應用端相關行業通過應用端相關行業通過 ChatGPT 找到了新的發力點,推出找到了新的發力點,推出 ChatGPT 相關產品,加速
69、數字相關產品,加速數字化轉型?;D型。數字經濟是人類通過大數據(數字化的知識與信息)的識別選擇過濾存儲使用,引導、實現資源的快速優化配置與再生、實現經濟高質量發展的經濟形態。廣義上數字經濟包含兩個層面,第一是數字產業化,第二是產業數字化。在技術層面上,數字經濟離不開大數據、云計算、區塊鏈、人工智能等新興技術的支持。在+AI 階段,企業從智能設備等消費領域獲得的標簽訓練數據。使用互聯網規模應用的消費者生成了足夠的訓練數據,可用于推薦引擎、語音和視覺應用。而在 AI+(包括ChatGPT+)時代,利用基礎模型,可以使用未標注的數據進行訓練,從而使企業有機會通過未標注的數據來獲取業務價值。比如,工業
70、 4.0 可以使用在正常操作期間生成的傳感器數據來優化設備維護,IT 供應商可以通過基礎模型降低 IT 運營成本。4.1.人工智能行業人工智能行業 ChatGPT 可以助力可以助力 AI 開發、開發、優化優化模型優化及模型優化及豐富豐富應用場景等。應用場景等。ChatGPT 解決了許多之前無法解決的問題,包括事實型問答、文本摘要事實一致性、篇章級機器翻譯的性別問題等。如果把 ChatGPT 當成是一個工具來幫助我們的開發、優化我們的模型、豐富我們的應用場景:1.代碼開發:利用 ChatGPT 輔助開發代碼,提高開發效率,包括代碼補全、自然語言指令生成代碼、代碼翻譯、bug 修復等;2.Chat
71、GPT 和具體任務相結合:可以利用 ChatGPT 這樣的底層模型,面向實際應用進行優化。OpenAI 創始人 Sam Altman 在訪談中也提到了這個領域。他認為會有一批新的創業公司采用已有的大模型,并對其進行調整。例如,創建醫學模型、或者把電腦當作朋友等等。這些公司將創造很多的長期價值,因為他們將有一個特殊版本;3.利用 ChatGPT 指令微調激發的零樣本能力:對于只有少數標注或者沒有標注數據的任務以及需要分布外泛化的任務,我們既可以直接應用 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 16 ChatGPT,也可以把 ChatGPT 當作冷啟動收
72、集相關語料的工具,豐富相關的應用場景。表表 5:ChatGPT 在人工智能行業的應用場景在人工智能行業的應用場景 應用場景 具體描述 代碼開發 利用 ChatGPT 輔助開發代碼,提高開發效率,包括代碼補全、自然語言指令生成代碼、代碼翻譯、bug 修復等。ChatGPT 和具體任務相結合 ChatGPT 的生成結果在許多任務上相比微調小模型都有很明顯的可取之處(比如文本摘要的事實一致性,篇章級機器翻譯的性別問題),在微調小模型的基礎上結合這些 ChatGPT 的長處,可能可以在避免訓練部署下顯著提升小模型的效果。利用 ChatGPT 指令微調激發的零樣本能力 對于只有少數標注或者沒有標注數據的
73、任務以及需要分布外泛化的任務,我們既可以直接應用 ChatGPT,也可以把 ChatGPT 當作冷啟動收集相關語料的工具,豐富相關的應用場景。資料來源:BME 康復工程分會公眾號,哈爾濱工業大學自然語言處理研究所ChatGPT 調研報告,天風證券研究所 ChatGPT 和具體任務相結合的模式和具體任務相結合的模式較大程度上會較大程度上會成為其他企業的搶占熱點。成為其他企業的搶占熱點。根據電廠公眾號,隨著 ChatGPT 的 API(能夠實現和其他軟件組件的交互)發布,網絡上開發者借助ChatGPT API 開發的各種工具層出不窮。例如,服務上,有能在原文的基礎上,一站式借助 ChatGPT A
74、PI,完成文本的翻譯+潤色+語法修改,甚至能直接將英文翻譯成文言文的插件;產品上,Zeeno 鍵盤融合了 ChatGPT 功能,只需要將各種想法快速輸入,Zeeno就能在幾秒內快速重新組織語言,使內容變得更加流暢易讀。雖然目前這種模式更多還是局限于個人或小團隊開發者,我們認為可以預見的是隨著 API 的開放,預計各種應用服務乃至大廠都會開始思考將 ChatGPT 整合進自家服務中的更多可能,并著手于此。服務上,服務上,ChatGPT 能夠能夠幫助幫助 APP/語音助手語音助手提供更好的聊天服務。提供更好的聊天服務。ChatGPT 能夠更好地理解人類語言,并生成更符合人類需求的回答。APP 上,
75、許多 APP 未來可能引入 ChatGPT,以提供更好的互動服務。例如,在線學習平臺 Quizlet 宣布將整合 ChatGPT API,供全球超過 6000 萬學生在線完成學習內容測試,并通過提供在線 AI 教師“Q-Chat”的方式,幫學生指出當前的學習材料中的重點以及難點,同時能根據內容自主提出問題,在聊天過程中幫學生掌握內容重點。語音助手上,一些人工智能專家表示,在未來,聊天機器人和語音助手的技術將會融合。這意味著人們能夠通過語音控制聊天機器人,要求虛擬助手幫助他們完成工作,而不僅僅是查看天氣等簡單任務。將 ChatGPT 接入語音助手,能夠在語音助手上實現類似 ChatGPT 理解復
76、雜信息的能力,ChatGPT 強大的自然語言理解和溝通能力,有利于改善語音助手的使用體驗。圖圖 14:在線學習平臺在線學習平臺 Quizlet 宣布將整合宣布將整合 ChatGPT API,提供在線提供在線 AI 教師“教師“Q-Chat”資料來源:電廠公眾號,天風證券研究所 產品上,產品上,ChatGPT 能夠增強能夠增強智能智能產品的交互性。產品的交互性。大部分時間,智能產品更多的是單向的 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 17 命令操作。ChatGPT 能夠幫助智能產品讀懂對話背后的潛臺詞,通過一項命令操作,去延伸出更多的思考,滿足潛在需
77、求。智能家居中,以智能音箱為例,用戶不僅僅要求其會說話、回答問題,更期望能夠與自己聊天,在發出下一個命令之前,讀懂需求,與其它智能家居產品形成聯動。ChatGPT有望推動這一交互的升級,相較于以往的聊天機器人,ChatGPT 沒有固有答案輸出,其理解能力和交互能力都遠高于之前的聊天機器人,從而彌補了智能家居交互上的缺陷。此外,2022 年 10 月 4 日 Matter1.0 協議發布,該協議打破了不同品牌智能家居產品的兼容問題,降低了用戶體驗的成本。我們認為 ChatGPT 疊加協議支撐,智能家居市場在2023 年有望迎來快速增長。圖圖 15:智能音箱接入智能音箱接入 ChatGPT 的架構
78、的架構 資料來源:,消費站,天風證券研究所 電子產品中,我們認為可將電子產品視為 AI 入口或出口,通過電子產品收集數據或輸出內容,而 ChatGPT 則可以在其中處理數據與改善文本輸出的角色。例如專注于辦公場景的 iFLYBUDS 系列辦公會議耳機,這一系列智能耳機在形態上與常見的藍牙耳機相似,但其將耳機與 AI 語音助理開創性結合,可以幫助用戶進行實時錄音及轉寫,全程記錄會議重點,若加入 ChatGPT 將有利于提高轉寫準確率,輸出更符合要求的文字。4.2.其他行業其他行業 根據哈爾濱工業大學自然語言處理研究所在ChatGPT 調研報告中的總結,其他具有市場價值的行業應用還可以細分為四大部
79、分:搜索引擎搜索引擎:自 ChatGPT 發布以來,各大科技巨頭都投入了極大的關注度,例如,谷歌擔心 ChatGPT 會打破搜索引擎的使用方式和市場格局而開始內測自己的類 ChatGPT 產品 Bard,百度三月份將面向公眾開放文心一言,微軟更是宣布 ChatGPT 為必應提供技術支持,推出新必應。ChatGPT 與搜索引擎的結合已經不可避免,基于搜索引擎為 ChatGPT 提供生成結果、展示以及利用檢索的新知識擴展 ChatGPT 的回答邊界是正在進行的結合方向。泛娛樂行業泛娛樂行業:ChatGPT 為文娛行業帶來更多的機遇。無論是基于 ChatGPT 創建更智能的游戲虛擬人和玩家交流提升體
80、驗,還是利用虛擬數字人進行虛擬主播直播互動,ChatGPT 都為數字人提供了更智能的“大腦”,使行業充滿想象空間。除此之外,數字人還可以拓寬到心理健康撫慰、閑聊家庭陪護等方面。自媒體行業自媒體行業:ChatGPT 使自媒體行業大大受益。美國的新聞聚合網站 BuzzFeed 宣布和 OpenAI 合作,未來將使用 ChatGPT 幫助創作的內容。無論是旅游、餐飲、住宿、情感,ChatGPT 的出現將使得內容創作變得更加容易,相關博主的內容產出效率將得到極大的提升,有更多的精力潤色相關內容,產生更多的高質量文章。ChatGPT 行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披
81、露和免責申明 18 其他專業領域其他專業領域:受 ChatGPT 訓練數據的限制,ChatGPT 無法對專業領域的專業知識進行細致的分析,生成的回答專業度不足且可信性難以保證,可以作為參考,不過很難實現替代。比如因為 ChatGPT 未獲取 IDC、Gartner 等機構的數據使用授權,其關于半導體產業的市場分析中很少涉及量化的數據信息。5.投資建議:投資建議:我們認為以 GPT-4/ChatGPT 為代表的預訓練大模型或將催生未來對 AI 服務器的擴產需求,建議關注 服務器芯片:英偉達(天風海外組覆蓋)、AMD、Intel、寒武紀、海光信息(天風計算機組覆蓋)、龍芯中科等;AI 服務器制造:
82、工業富聯;圖像數據資源及應用:大華股份、??低暤?;先進制造及封裝:臺積電、中芯國際、長電科技、通富微電等;企業級存儲:瀾起科技、江波龍(天風計算機組聯合覆蓋)、兆易創新等。6.風險提示:風險提示:1.ChatGPT 發展不及預期:若 ChatGPT 發展不如預期,可能導致對上游芯片需求不及預期的情況;2.國際局勢震蕩加重貿易成本:若其他國家進一步加劇對中國的貿易政策限制,會增加國內相關芯片公司出口的貿易成本,影響國內相關芯片行業發展;3.市場競爭加?。弘S著市場空間擴大,存在其他企業進入市場,加劇市場競爭,從而出現惡性競爭、壓價的可能性;4.本文對芯片市場空間測算是基于一定前提假設,存在假設條
83、件不成立、市場發展不及預期等因素導致市場空間測算結果偏差。行業行業報告報告|行業專題研究行業專題研究 請務必閱讀正文之后的信息披露和免責申明 19 分析師聲明分析師聲明 本報告署名分析師在此聲明:我們具有中國證券業協會授予的證券投資咨詢執業資格或相當的專業勝任能力,本報告所表述的所有觀點均準確地反映了我們對標的證券和發行人的個人看法。我們所得報酬的任何部分不曾與,不與,也將不會與本報告中的具體投資建議或觀點有直接或間接聯系。一般聲明一般聲明 除非另有規定,本報告中的所有材料版權均屬天風證券股份有限公司(已獲中國證監會許可的證券投資咨詢業務資格)及其附屬機構(以下統稱“天風證券”)。未經天風證券
84、事先書面授權,不得以任何方式修改、發送或者復制本報告及其所包含的材料、內容。所有本報告中使用的商標、服務標識及標記均為天風證券的商標、服務標識及標記。本報告是機密的,僅供我們的客戶使用,天風證券不因收件人收到本報告而視其為天風證券的客戶。本報告中的信息均來源于我們認為可靠的已公開資料,但天風證券對這些信息的準確性及完整性不作任何保證。本報告中的信息、意見等均僅供客戶參考,不構成所述證券買賣的出價或征價邀請或要約。該等信息、意見并未考慮到獲取本報告人員的具體投資目的、財務狀況以及特定需求,在任何時候均不構成對任何人的個人推薦??蛻魬攲Ρ緢蟾嬷械男畔⒑鸵庖娺M行獨立評估,并應同時考量各自的投資目的
85、、財務狀況和特定需求,必要時就法律、商業、財務、稅收等方面咨詢專家的意見。對依據或者使用本報告所造成的一切后果,天風證券及/或其關聯人員均不承擔任何法律責任。本報告所載的意見、評估及預測僅為本報告出具日的觀點和判斷。該等意見、評估及預測無需通知即可隨時更改。過往的表現亦不應作為日后表現的預示和擔保。在不同時期,天風證券可能會發出與本報告所載意見、評估及預測不一致的研究報告。天風證券的銷售人員、交易人員以及其他專業人士可能會依據不同假設和標準、采用不同的分析方法而口頭或書面發表與本報告意見及建議不一致的市場評論和/或交易觀點。天風證券沒有將此意見及建議向報告所有接收者進行更新的義務。天風證券的資
86、產管理部門、自營部門以及其他投資業務部門可能獨立做出與本報告中的意見或建議不一致的投資決策。特別聲明特別聲明 在法律許可的情況下,天風證券可能會持有本報告中提及公司所發行的證券并進行交易,也可能為這些公司提供或爭取提供投資銀行、財務顧問和金融產品等各種金融服務。因此,投資者應當考慮到天風證券及/或其相關人員可能存在影響本報告觀點客觀性的潛在利益沖突,投資者請勿將本報告視為投資或其他決定的唯一參考依據。投資評級聲明投資評級聲明 類別類別 說明說明 評級評級 體系體系 股票投資評級 自報告日后的 6 個月內,相對同期滬 深 300 指數的漲跌幅 行業投資評級 自報告日后的 6 個月內,相對同期滬
87、深 300 指數的漲跌幅 買入 預期股價相對收益 20%以上 增持 預期股價相對收益 10%-20%持有 預期股價相對收益-10%-10%賣出 預期股價相對收益-10%以下 強于大市 預期行業指數漲幅 5%以上 中性 預期行業指數漲幅-5%-5%弱于大市 預期行業指數漲幅-5%以下 天風天風證券研究證券研究 北京北京 ??诤??上海上海 深圳深圳 北京市西城區佟麟閣路 36 號 郵編:100031 郵箱: 海南省??谑忻捞m區國興大道 3 號互聯網金融大廈 A 棟 23 層 2301 房 郵編:570102 電話:(0898)-65365390 郵箱: 上海市虹口區北外灘國際 客運中心 6 號樓 4 層 郵編:200086 電話:(8621)-65055515 傳真:(8621)-61069806 郵箱: 深圳市福田區益田路 5033 號 平安金融中心 71 樓 郵編:518000 電話:(86755)-23915663 傳真:(86755)-82571995 郵箱: