未盡研究：通用AI，通用技術，通向何方（2023）（23頁）.pdf

《未盡研究：通用AI，通用技術，通向何方（2023）（23頁）.pdf》由會員分享，可在線閱讀，更多相關《未盡研究：通用AI，通用技術，通向何方（2023）（23頁）.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、 1/23 通用 AI，通用技術，通向何方 通用 AI，通用技術，通向何方 未盡研究 2023.05.07 摘要 ChatGPT 自從 2022 年底發布以來，迅速成為風靡全球的現象級產品，開啟了通用人工智能的時代。這個應用背后的技術，是用深度神經網絡技術訓練出來的自然語言大模型，它可以生成內容，也具備了邏輯和推理能力，與其他模型和應用協同完成任務。大模型還能打通語言、圖像、視頻、音頻，以及更多對物理環境的感知，產生“具身”的智能。大模型也可能進一步改變科學研究的范式。盡管大模型目前也存在著事實不準確、幻覺等缺陷，并且進一步引發了關于智能的本質的爭議，但大模型通過學習人類語言并且掌握其基本結構

2、，從中產生了智能，并且對人類的智能提供了一種參照。大模型在互聯網和數字技術的基礎之上，成為一種通用技術，正在迅速滲透到數字經濟的各個領域，在計算機上形成了自動化完成復雜任務的能力，在知識工作的領域能顯著提升勞動生產力，并且引領數字經濟向人工智能化發展。根據以往的電力和信息等通用技術顛覆舊技術的研究，大模型的迅速應用，可能在短期內沖擊就業市場，但隨著新技術帶來更多行業的生產力的提升，并且創造新的需求，新技術可能創造新的就業和增長。但這一切還取決于采取相應的政策。對于中國來說，發展大模型面臨著一些瓶頸，如算力落差、開源的語言數據不夠豐富、先進大模型人才短缺，等等。但中國可以通過多元分布式的布局，統

3、籌超算中心克服短期算力瓶頸，通過開源及要素市場建立起語料數據的供應。由于中國在特定領域、行業應用方面擁有豐富的應用場景，大模型技術在中國有廣闊前景，服務于中國的數字經濟與創新型經濟的大計。2/23 1 通用 AI 1 通用 AI 用人類所有的語言作為用來學習的數據，去復制人類的智能，去發現一種新的智能，這是一項偉大的實驗。費曼說過：凡是我不能創造的，我就無法理解。1.1 ChatGPT 時刻 1.1 ChatGPT 時刻 世界上第一個能像人一樣對話的機器人，不可能只是在語言實驗室里，而只能是出世不久即在真實的世界里與上億人對話的 ChatGPT。它的字面意思，就是預訓練生成式對話機器人。這個機

4、器人的大腦，就是自然語言大模型。這份報告里自始至終會用自然語言大模型（簡稱大模型）這個概念。這個由深度神經網絡訓練出來的 GPT-3.5 大模型，擁有 1750 億個參數，45 萬億個語言標志(token)。神經網絡可以從已知的單詞正在組成的句子中，預測下一個單詞這也是辛頓（Geoffrey Hinton）等人于 1986 年 5 月在自然雜志上發表的論文中，首次提出的語言模型。自然語言展示出智能，就是排序的游戲。我們置身于一個復雜的世界。無論多么復雜，宇宙萬物，從人類語言到蛋白質的結構，皆成序列。序列決定結構。結構決定功能。世界上所有的語種，皆是由遵從一定的語義和語法規則而組成的語言文字序列

5、。根據人類的提示，借助從人類語言中知識的學習，計算機通過概率統計，總是能通過推算出下一個單詞，以符合語法、語義、上下文信息等，最終生成對人類有意義的詞組、句子、段落、表達，并且與人類流暢地對話。圖 1：生成式人工智能輸出對話的原理示例 機器學習讓計算機從經驗中學習知識，而不是以人類給計算機規定的形式以獲取所需要的所有知識。計算機用較簡單的概念，一層一層地學習復雜概念，構建出多層次的深度神經網絡。圖 2：人工智能的表現改善迅速。人工智能測試與人類水平相比。Kiela et al.（2021）從 2012 年起，人類訓練的模型識別圖像和聲音，接近并超過了人類的水平；對自然語言的辨識和處理能力迅速提

6、升，一些單項語言能力迅速超越人類的能力。到 2016 年時，一個粗略的經驗法則是，只要在一個具體的類別給定 5000 個標注樣本，監督深度學習一般將達到可以接受的性能，當至少有 1000 萬個標注樣本的數據集用于訓練時，它將達到或超過人類的表現。人是萬物之靈。人類之靈，在于語言。人類所有的知識通過語言傳播，所有的智慧通過語言傳承。維特根斯坦說，思想的邊界，止于語言的邊界。是不是說，當機器學習了所有的語言，就能達到人類的智能，這是一個假設，一個需要有勇氣去證明的假設。3/23 圖 3：大模型縮放定律與涌現能力。左圖：當模型大小呈指數增長時，相應的模型性能呈線性增長。右圖：當模型尺寸達到一定規模時

7、，性能急劇增加，出現涌現現象。算力越來越強，算法越來越精妙，神經網絡能吞吐的數據量也越來越大。自注意力轉換器（Transformer)的出現，讓計算系統可以并行處理更大規模的語言數據量，直到可以從人類所有語料庫數據中推算出人類想要的結果。目前神經網絡的神經元（參數）的數量，已經遠遠超過了人腦，達到了數千億甚至數萬億個，所處理的自然語言數據量也達到了幾十萬億級別（接近人腦的連接數），在日益復雜的神經網絡中，出現了智能從一項任務向其他任務遷移，當模型的規模達到某個臨界值時，那些各自的能力，以及新的能力就會突然“涌現”，其中包括人們所期待的智能的泛化與通用。涌現是大模型的理論基礎，用來解釋為什么無需

8、人工干預，就能從原始的自然語言或者多模態數據中自動學習到的特征與模式，并且能用來進行預測和決策。一般認為，深度學習模型的分層結構和權重學習機制導致了涌現的發生。大模型的訓練中，每一層神經元（可視為變量組合）的輸出都是下一層神經元的輸入，并且模型的每個權重都通過強化學習算法進行學習和更新。當訓練大模型時，數據中的統計規律對其內部參數和結構進行調整；一層又一層的權重學習，使得深度神經網絡能夠自動學會從原始數據中提取隱含的特征和模式，從而實現涌現能力。涌現這個概念，來自復雜性科學，它的一個基本論斷，就是大量最簡單的行為中，可能產生高級和復雜的行為。大模型不僅知書，而且達理。大模型不僅知書，而且達理。

9、語言是世界“潛在復雜性的表現”。這意味著語言運作的模型在某種意義上也包含世界運作的模型。通用的大模型，在一定程度上也是一個世界模型。從DeepMind 到 OpenAI 的終極目標，正是訓練出達到甚至超過人類水平的智能，不僅能完成專項任務，而且能完成多項任務，具有學習、推理、預測等能力，即通用人工智能（AGI）。通用人工智能相信奇點，人工智能終有一天會比人類聰明。ChatGPT 推出僅僅 2 個月，成為史上用戶數量過億所用時間最短的產品；之后 100 天左右，GPT-4 推出，并迅速與微軟的產品全面集成，幾乎重新定義了所有的軟件服務。盤踞于搜索、云計算和 SaaS 之上的巨頭開開始“跳舞”，硅

10、谷掀起了一場大模型風暴，也引發了通用 AI 革命。1.2 大模型的缺陷 1.2 大模型的缺陷 大語言模型目前引領了人工智能的發展方向，它在帶來驚喜的同時，也不時伴隨著失望。最大的問題是可靠性。人們最初會容忍一個不成熟的技術，但是不成熟的技術，將無法直接大規 4/23 模應用。ChatGPT 在首頁提醒了自己的局限：可能偶爾會產生不正確的信息;可能偶爾會產生有害的指令或有偏見的內容；對 2021 年后的世界和事件的了解有限。許多用戶無法容忍的，是它在洋洋灑灑的文章和頭頭是道的敘事中，隱藏著事實性錯誤。而大模型“涌現”智能的原因和機理是什么，一直沒有找到合理的解釋，它依然像是從一個黑盒子里冒出來的

11、異類智能。它也涌現出人類語言中所固有的認知缺陷，如偏見、歧視、胡思亂想、胡言亂語，等等。人們不知其所以然，難以完全放心。大模型主要是一場大規模的工程實驗的結果，一時還欠缺理論的解釋。在它所涉及到的語言學、心理學等領域里，遭遇了權威學者們的抵制與批評；大模型的“智能”，也承受著學術界的嚴格拷問和批判。一些人工智能科學家、語言學家、心理學家、哲學家批評，大模型在與人類進行對話時，只是根據人類的提示，對語言數據進行概率統計運算，然后提供一個猜測式的回答，并沒有真正理解語言的意義。人類掌握語言的背后，其實是對事實的了解，對物理世界的感知，對因果關系的追求；機器學習對這一切無感，因而并不了解語言的意義，

12、不對事實負責，也不是真正的智能。圖靈獎獲得者楊立昆說：自回歸式的深度神經網絡，不可能有未來。圖 4：大型語言模型的競爭優勢分析矩陣 如何解決可靠性問題？如何建立起一個世界模型？人工智能的研究者們，已經總結出了一系列的工程實踐。繼續擴大模型，增加參數和語言數據依然是一個方向，但并非唯一可行?，F有模型，需要更加精確地理解和掌握人類的意圖，如提升語言數據的質量，優化人類反饋的強化學習（RLHF），更好的提示工程（Prompt Engineering），持續精調模型，以及大模型主動發問人類，調用更多外部資源，等等。目前OpenAI 并不急于推出 GPT-5，而是致力于提升現有模型的穩定性與可靠性，這是

13、未來兩年 OpenAI的技術方向。隨著插件的推出，以及人類越來越多地把自己的事情委托給基于大模型的應用來處理，人們也擔心可能帶來的一個后果，是人類犧牲了自己的決策權，而大模型的決策機制是不透明的。1.3 大模型的下一步 1.3 大模型的下一步 OpenAI 并不急于訓練 GPT-5，近兩年內，創新迭代的重點，已經不再是馬上造出更大的模型，而是讓現有的模型變得更好。一方面是推廣模型化的應用，建立起生態；另一方面是解決大模型暴露出來的問題。自主智能體（如 AutoGPT）自主智能體（如 AutoGPT）應用的推出，正在讓 ChatGPT 變得像個“玩具”。大模型可以通過API 接口，調用其他應用、

14、其他模型，自動完成更為復雜的任務。自主智能體在完成任務的過程中，能推理工作的步驟。而且這些智能體之間的互動，已經有專家開始探索。智能體還能將工作流與硬件結合在一起，讓智能硬件真正具備智能，從而改變物理世界。大模型的訓練成本越來越低，正在快速降低使用門檻，變成“小模型”進入到越來越多的邊緣計算中，也與越來越多的設備結合在一起，包括手機和機器人。連續學習，與世界和周圍環境同步的能力。連續學習，與世界和周圍環境同步的能力。一旦模型被訓練，它就固定了，無法及時整合來自用戶的新反饋和世界的新信息（指的是更改權重的方式）?？梢愿鶕聰祿δＰ瓦M行微調，但這可能會導致性能下降或過擬合。由于訓練周期較長，模型

15、訓練期間，世界有出現了新的事件、信息和知識，盡管插件已經可以解決部分問題，但大模型自身可能需要探索一種能夠持續穩定進行連續學習的方法。5/23 圖 5：訓練模型的技術堆棧，使用三個應和即可完成。Replit 官網多模態大模型。多模態大模型。如果大模型在結合文本、圖像和視頻的數據集上接受訓練，以提供對世界如何運作的更豐富的感知，那么它們將減少幻覺。語言大模型與視覺、聽覺，以及人類設計和發現的更加復雜的結構結合在一起，可以彌補自然語言智能的不足，對周圍環境形成感知，讓智能更加完整和“具身”。大模型的小型化、平民化大模型的小型化、平民化。開源的大模型，正在幫助實現一張顯卡上能訓練出百億級參數的模型，

16、成本僅數百美元?？赡茉诓贿h的將來，人人都將可以獲得本地的、定制化的大模型服務。人類的創造與消費活動將合為一體。專業領域、細分領域的模型正在大量涌現專業領域、細分領域的模型正在大量涌現。用專業知識和領域數據來精調大模型，會減少錯誤，通常在特定領域內比通用大模型更加可靠。成為機器人的大腦成為機器人的大腦。以語言大模型為基礎，集成多模態模型，利用零樣本學習方法讓機器人完成任務。通過在真實的物理世界中與環境互動，完成人類任務，形成具身化的人工智能。（如LLM-Brain，谷歌的 PaLM-E）也許克服大模型所固有的弱點，除了上述技術之外，可能還需要新的范式，超越對下一個單詞的預測。在科學家對 GPT-

17、4 進行測試之后，提出了如下的建議：以“慢思考”深層機制，監督下一個單詞預以“慢思考”深層機制，監督下一個單詞預測的“快思考”機制。測的“快思考”機制。這種方法可以允許模型執行長期計劃、探索或驗證，并保持工作記憶或行動計劃。慢思考機制將使用下一個單詞預測模型作為子程序，但它也可以訪問外部信息源或反饋，并且能夠修改或更正快速思考機制的輸出。超越單詞預測。超越單詞預測。用層次結構取代標記序列，其中文本的高級部分(如句子、段落或思想)在嵌入中表示，內容以自上而下的方式生成。將長期記憶集成為體系結構的固有部分，也許在某種意義上，模型的輸入和輸出除了表示文本的標記之外，還將包括表示上下文的向量。正如維特

18、根斯坦在晚年幾乎完全否定了自己早年關于語言的理論，把語言看成是一種人類全面參與的“游戲”，語言大模型將在無數人的應用中，不斷探索語言的真諦，擴展智能的邊界。盡管大模型飽受批評，在數學家和物理學家沃夫拉姆(Steve Wolfram)看來，它依然是一個“令人驚訝的科學發現：在某種程度上，在像 ChatGPT 這樣的神經網絡中，有可能捕捉到人類大腦在生成語言時所做的事情的本質?！贝笳Z言模型反過來幫助我們更深刻地理解人類智能，它提供了人類智能的一種對照。人工智能將使人類重新審視自以為已經知道的領域，例 6/23 如，可能人類以為高深的東西，原本是淺顯的?！吧窠浘W絡之所以能夠成功地寫一篇論文，是因為寫

19、一篇論文被證明是一個比我們想象的計算更淺的問題?！保╓olfram）。大模型反過來提示人類，人類的哪些智力活動是真正有價值的，以及如何更有效地運用人類的智能。ChatGPT 的推出，讓人類的智能得到了一個“第三方”的評判，而未來知識的產生，也將越來越多地產生于人類與機器的協同之中。如果人類無法解釋大模型所產生的智能，只會有兩種結果，要么這種智能的確是一種虛幻的東西，要么現有的理論需要來一次“范式轉移”。1.4 AI for Science 1.4 AI for Science 人類努力在一些關鍵領域實現一些重大的科學發現，如創新藥、新材料、新能源、氣候變化、宇宙發現，等等，所耗費的資金量越來越

20、大，時間也越來越長，效率也在遞減，但人類所面臨的挑戰也越來越近迫切地需要解決。提升科學發現與技術創新的效率，在大國競爭的時代，也變得尤為重要?？茖W研究的突破，需要新范式。深度學習新方法，正在成為兼顧科學發現的深度學習新方法，正在成為兼顧科學發現的速度與準確性的有力工具。速度與準確性的有力工具。就在基于大數據提出的科學研究第四范式還沒有多久，人工智能驅動的科學研究（AI for Science）很快被提出為第五范式。與以往的經驗、理論、計算、數據驅動不同，科學研究也可以是 AI 驅動的，即許多科學研究工作將由 AI 自動完成；或者說是量子計算驅動的科學研究，以解決在傳統計算能力中無法完成的任務。

21、圖 6：AI for Science 的科研新范式。實驗自動化。實驗自動化。AI 驅動的科學方法，可能從人類社會與自然界的大量數據中及時發現相關關系，形成假設，去探索新的因果關系。這一過程，以往需要天才科學家的靈感，今后可以配上一個 AI for Science 的副駕。如在物理、化學及材料科學等領域，在 AI 驅動之下，“實驗觀察可變成無人實驗，理論推導可變成假設生成，仿真模擬可變成現象生成，數據驅動可變成數據增強?！睌祿膩碓?，也從真實世界的原生數據，日益轉向合成數據?？茖W家們已經開始使用生成式代理(Generative Agent)，結合了多個大型語言模型，用于自主設計、規劃和執行科學實

22、驗。圖 7：人類的許多工作正在被智能代理接管。代理由多個模塊組成，它們之間交換信息。其中一些模塊可以訪問 API、互聯網和 Python 解釋器。7/23 科研“大模型”?？蒲小按竽Ｐ汀?。通用的科研大模型，可能應用于任何物質研究，又可以針對特定問題量身定制?？茖W家可以用專業知識把大模型精調為服務其所在的研究領域，如化學材料或某種自然現象?？茖W家還可以應用該方法來控制實時過程，即隨著實驗的進行而及時動態演變的系統。美國的國家實驗室正在提供這樣的服務。用同步輻射光產生的通用物質基本結構數據，可以用來訓練科學大模型。同步輻射光是一種極強的電磁波，其波長非常短，能夠穿透材料并提供高分辨率的信息，因此它

23、在材料科學、化學、生命科學、環境科學等領域的研究中非常重要。再例如，用 AI 算法發現 3 種新納米結構，研究時間從 1 個月壓縮到 6 小時，正是因為澳大利亞的科學家提出了一種全新的自然語言處理任務，即結構化信息推斷（SII），成功利用 GPT-3 從科學文獻中獲取有價值的科學知識。中國的北京、上海、深圳等主要的科創中心，也正在加緊建造各種大科學設施，而 AI 驅動的科學探索，已經成為其中的重點?？茖W家的利器科學家的利器。不管科學界如何批評大模型的不完善之處，世界各地越來越多的科研人員，正在以大模型為科研工具，除了用于日常的文本、文獻、計算等，還可以設計和執行科學實驗，驗證既有的科學理論，發

24、現新的研究方向。生命科學成為最活躍的領域生命科學成為最活躍的領域。AlphaFold 已經能用生成式人工智能預測蛋白質結構，已經應用于科學家張鋒的項目中。AI 能使研究人員更快更高效地找到藥物候選物，有可能加快創新藥的研發，并降低昂貴的失敗風險。AI 有可能革命性地改變藥物發現過程。有一些藥物通過 AI 的幫助，已經進入臨床階段。越來越多的科學家，利用生成式 AI 模型和強化學習來探索抗癌藥物的潛在化合物，評估它們的可合成性，或模擬它們在目標腫瘤中的反應。群體基因組學數據，可以用來了解復雜性狀的基礎，以及發現或構建自動化微生物和植物細胞逆向設計的工作流程?；瘜W與新材料化學與新材料。一直以來，發

25、現新材料和化學反應的能力是通過直覺、設計規則、模型和理論，從實驗和模擬產生的科學數據推導出來的?？梢缘玫降牟牧虾突衔飻盗渴翘煳臄底旨墑e的，因此找到所需的材料就像大海撈針一樣困難。目前，各種機器學習方法被用來幫助科學家探索復雜的信息和數據集，以獲得新的洞見，從而引領科學家發現新的有用物質。機器學習未來可能極大地加速先進材料的發現。例如，從LiMn2O4 到鎳錳鈷（NMC）材料的電池發現的時間線。使用已知的數據，可以通過機器學習將電池的新材料類的發現加速從 14 年縮短到不到 5 年。圖 8：電池材料技術從發現到商業化 AI 在未來科學將日益走向中心的位置，而數AI 在未來科學將日益走向中心的位

26、置，而數據在其中扮演著核心角色。據在其中扮演著核心角色。為此需要將領域知識納入到 AI 方法中，以提高模型的質量和可解釋性；需要開發軟件環境，使 AI 能力能夠與大規模HPC（高性能計算）模型無縫集成；需要自動化大規模創建“FAIR”（可找到、可訪問、可互操作和可重復使用）數據。2 通用技術 2 通用技術 ChatGPT 的問世，被稱為瀏覽器時刻，iPhone時刻；GPT-4 推出后，微軟和 OpenAI 很快發布了兩篇論文，認為 GPT-4 已經冒出“通用人工智能的火花”，而大語言模型正在成為“通用技術”，通過對就業市場影響的初步分析，預示將會引發廣泛的產業與經濟變革。2.1 電力與 IT2

27、.1 電力與 IT 20 世紀公認的兩大通用技術，電力技術和信息技術，在上半世紀和下半世紀分別推動了第二次和第三次技術革命，大幅提升了生產效率，加速了社會財富增長。8/23 通用技術迅速得以規?；捎玫臅r期，就是通用技術時代。電力技術和 IT 技術滲透進多個行業領域；隨著時間推移，它們能不斷改進，使用成本不斷降低；它們能讓應用部門的發明和生產變得更容易，后者反過來又推動前者進步。有學者將通用技術在全社會的中位行業（median sector）滲透率超過 1%視為起點，將凈采用率（net adoption）不再增長的那一刻視為終點。專利數量的變化反映了這一趨勢?？焖匐姎饣瘯r期，市場涌現了一大批需

28、要電力驅動的新產品。同樣，IT 時代的發明活動空前高漲。這種趨勢是全球性的，市場化的。圖 9：從 1874 年到 2002 年的勞動生產率變化。NBER（2005）圖 10：1979 年以來美國生產效率與勞動者時薪的鴻溝。EPI（2020）從目前的研究來看，通用技術似乎并不能立即帶來生產效率的提升。在英國工業革命、電氣革命和信息技術革命的初期，總是出現勞動生產率提升不明顯甚至下降，或者說是勞動力收入的增速低于勞動產生率的提升。2.2 人工智能作為通用技術 2.2 人工智能作為通用技術 正如電力之于當時正在興起的工業，人工智能之于數字經濟，是一種潛在的通用技術。從通用技術觀察人工智能，起點應該是

29、 2012 年，標志性事件是人類利用深度神經網絡技術，在圖像及聲音識別中接近或者達到了人類的水平。ChatGPT 的推出，是人類近年來大模型研究不斷突破的結果。以往，人工智能帶來的大部分益處，都分散在上千種不同的地方，產品每增加一項智能任務，就要專門定制一個模型；人們在受益于人工智能，但甚至可能都沒有意識到所獲得的產品體驗中，有多少來自機器學習系統?，F在一個模型可以用在很多地方，因為它們擁有了很強的泛化性。隨著規模擴展而變得更強大的模型，還能不斷改善，可以讓所有構建在模型之上的應用同步受益。模型與模塊。模型與模塊。大模型已經初步展示出了通用技術的一些特征。它使互聯網上的智能組件之間能夠無縫整合

30、，獲得更好的通用性，并且實現彼此增強。在計算機上通常執行的任何任務，大模型都有可能完成。大模型還是創建其他工具的多功能模塊。今后大模型會像內燃機安裝入各種汽車和動力裝置一樣，集成到各種軟件與硬件系統中，成為數字產品的基本能力單元，部署在各行各業。這一過程需要時間，也需要重新配置現有工作及業務流程。盡管會遇到各種現有范式的限制，以及模型本身并不完善，但采用趨勢正在擴大，大模型越來越多地被集成到寫作輔助、藝術設計、營銷推廣、編程服務、法律研究等領域的專業應用中，而越來越多的專業應用程序允許企業和個人將大模型納入其工作流程中。技術平臺。技術平臺。大模型能發揮出平臺的作用，連接互補的技術，與人類建立起

31、新型的協作關系。隨著大模型超越特定性能閾值，可能會出現積極的反饋循環，使它們能夠協助構建工具，增強其在各種場景中的作用，并且降低創建此類工具所需的成本和專業知識門檻，進一步加速大模型的采用和整合。大模型本身還可以幫助機器學習開發新的模型，為研究人員提供編碼輔助、數據標注服務或合成數據。9/23 通用技術（如印刷、蒸汽機、內燃機）的特點是普及范圍廣、不斷改進，并且產生了互補創新。實現通用技術的全部潛力，需要更加廣泛的共同發明，因而也可能是一個昂貴而耗時的過程。因此，對于許多公司來說，組織系統可能需要重新設計，才能有效地利用新的大模型技術。2.2.1 市場滲透 2.2.1 市場滲透 整體滲透。整體

32、滲透。近年來，主導人工智能發展的力量，已經從政府和學術界，完全轉向產業界。從2015 年起，產業界發布的機器學習系統的數量，就已經超過了學術界，而且差距越來越大。它不再只是實驗室里的點子和原型，而是更密切地與科技企業的創新結合在一起的產品。推動研發的不僅僅來自 AI 行業，它在向具體應用轉化。在過去十年的下半葉，每項專利的技術類別（尤其是三級行業分類或四級行業分類）數量不斷增加。AI 相關專利正在越來越多地涉及其他行業。一些主流大型企業已經開始投資及采用大模型技術。摩根士丹利首家正式接入 GPT-4，改變其財富管理人員查詢和使用相關信息的方式。彭博則利用自己強大的數據資源，訓練出Bloombe

33、rgGPT，一個有 500 億參數、基于 BLOOM模型的金融大語言模型（LLM for Finance）。普華永道宣布將投資 10 億美元采用大模型技術。消費者的接受。消費者的接受。ChatGPT 有很多缺點，卻仍然是史上用戶接受最快的科技產品。今年 3 月，它吸引了全球近 16 億次用戶訪問，是 1 月時訪問量（5.9 億次）的近 3 倍。圖 11：ChatGPT 全球月訪問量激增。含桌面端與移動端流量，全球數據。Similarweb 生成式人工智能應用所產生的內容，從文字、圖片、視頻到游戲，迅速占據網絡空間。圖像生成模型 Stable Diffusion 擁有的 A100 芯片，從去年的

34、 32 個增加到今年 3 月的 5400 個，算力支持的訪問量翻了超過 168 倍。這種將人工智能用于消費而非生產的用戶行為，正是通用技術滲透入生活的縮影。2.2.2 成本下降 2.2.2 成本下降 得益于模型的改進、算法的優化、硬件性能的提升，大模型的訓練與推理的單位成本正在持續下降。自 2014 年以來，AI 芯片性能以每年 93%的速度提高，這意味著成本每年下降 48%，比摩爾定律還快。如果這一趨勢繼續，那么，完成同等質量的任務的硬件成本，將從2014年的11000美元，驚人地下降到 2030 年的 5 美分。此外，自 2012 年以來，人工智能模型在 ImageNet 分類中訓練神經網

35、絡達到相同性能所需的計算量，每 16 個月減少 2 倍。2020 年 GPT-3 發布的時候，單次訓練成本是 460 萬美元，而現在價格是 140 萬美元，約下降了 70%。今年初，OpenAI 提供的 API 服務價格下降了 90%。而開源模型的興起，可能提供免費的模型服務，挑戰 OpenAI 的閉源模型。圖 12：人工智能訓練成本持續下降。從 2020 年到 2022 年，GPT-3 水平的人工智能成本年均下降 70%，降幅大于此前預測的60%。按這個趨勢，到2030年，同等表現的人工智能的訓練成本將降至 30 美元。Ark Invest 用于生成圖畫的模型與語言模型有所不同，開源為主，鼓

36、勵多樣化的數據集和訓練方法，訓練成本更低至幾十萬美元，訓練 Diffusion 模型本身可以成為產品甚至作品。10/23 2.2.3 催生創新 2.2.3 催生創新 風險資本熱點。風險資本熱點。近兩年來，僅生成式人工智能領域，風險投資機構（VC）就分別投入了48 億美元與 45 億美元。2022 年，盡管多數領域的估值出現了下滑，但這一領域逆勢提升。今年一季度，在風險資本投資大幅度下滑的情況下，生成式人工智能的融資額高達 100 億美元。圖 13：全球生成式人工智能初創企業季度融資額。2023 年一季度宣布融資的總金額達到了 100億美元，超過前兩年已完成的總融資額。Pitchbook 這只是

37、冰山一角。據 CB insights 統計，約 33%的生成式人工智能尚無外部股權融資，它們尚未納入統計，這將推升全年的融資總額繼續上漲。截至今年一季度，全球生成式 AI 企業的估值達到總計約 480 億美元，在 2 年里增至 6倍；除了占一半以上的 OpenAI（估值預計為290 億美元）以外，Jasper.ai 等 5 家企業已成為估值在 10 億美元以上的“獨角獸企業”。還有更多企業野心勃勃。Anthropic 計劃兩年內籌集 50 億美元，爭取取代 OpenAI?？萍己蛿祿掌髽I正掀起新的熱潮，投資初創生成式 AI 企業。如彭博是最活躍的企業風險投資機構（CVC）。SaaS 云服務巨

38、頭Salesforce 旗下企業風投已參與 140 起 AI 相關初創企業融資，占其總投資的 20%，今年更是新設立了 2.5 億美元的基金?？萍季揞^“大象起舞”?？萍季揞^“大象起舞”。無論是搜索、云服務、數據庫服務、SaaS 服務、電商、社交，甚至包括軟硬件一體的科技公司，在裁員的同時，都認準了業務全面 AI 化的戰略方向，一方面在研發通用的或者領域大模型，另外一方面，也在積極投資新物種公司。圖 14：蘋果、谷歌、亞馬遜、Meta 與微軟等五大科技巨頭職位列表中提及人工智能的占比。三月移動平均數值。PredictLeads 創造新行業，改變眾多行業。創造新行業，改變眾多行業。通用技術的一個重

39、要性質，是其本身能形成一個新行業，摧生眾多新物種，產生輔助共生的技術，又能吸引眾多行業擁抱這一技術。大模型的訓練和運營，用來訓練大模型和進行加速推理的云計算，相應的芯片和服務器，架構及軟件環境，這些底層技術和基礎設施，架成了 AI 產業化，將支撐大量應用的出現。另外一方面，是產業AI 化，其中最大的領域，就是機器人和自動駕駛的汽車。但變革之風，首先吹向現代服務業，將掀起一場白領工業革命。就像電力驅動起所有的機器，AI 也將驅動起所有的計算。白領工業革命。白領工業革命。每位知識工作者都需要一個 AI 助手。微軟已經為很多工作配備了副駕駛（Copilot）?；?GPT-4 的 Microsoft

40、 365 Copilot，可以在 Word、Excel、PowerPoint、Outlook 等應用中快速生成內容，提高案頭工作的效率。它還有編程副駕駛 GitHub Copilot、工作流程副駕駛 Dynamics 365 Copilot 以及安全副駕駛 Microsoft Security Copilot。11/23 使用 AIGC 工具，游戲美術設計的原畫概念圖，從開始到結束，已經從 3 周減少到一個小時。AI 花 15 秒生產的電影海報，比請專業海報公司 1 個月時間畫得還好。App Store 時刻App Store 時刻。隨著 OpenAI 等大模型擁有者開放 API，并將其連接到

41、互聯網，開發這樣的生產力工具也會變得越來越容易?；?AI 與模型的新物種將大爆發，正如當年智能手機和應用商店推出后，那一大波應用開發的熱潮。AI 云計算及大模型成為新型基礎設施。AI 云計算及大模型成為新型基礎設施。英偉達希望從算力的代工廠，一躍成為大模型的代工廠。目前，它已開放以下三大代工業務：文本生成模型構建服務的 NeMo，視覺語言模型構建服務的 Picasso，生命科學服務的BioNeMo。人工智能正在吃掉軟件人工智能正在吃掉軟件。幾乎所有的互聯網應用都產生了重新做一遍的機會。目前，圍繞 OpenAI 構建起來的下游應用的商業模式，主要是訂閱模式，而不是廣告模式。美國商業市場經歷了且

42、還在經歷云服務對業務的提升，但AI 化比云化有更大的想象空間，傳統的 SaaS 服務商會迅速擁抱人工智能。AI 可能“拯救”其他潛在的通用技術AI 可能“拯救”其他潛在的通用技術。生成式人工智能正在讓元宇宙中的虛擬人更加生動逼真，產生 3D 游戲的效率得到提升；各種新型協作和權益關系的產生，也可能為 web3 的應用帶來場景。人工智能也在加快滲透先進精密的制造人工智能也在加快滲透先進精密的制造業業。當前用于芯片制造的人工智能，一個是 EDA的人工智能化，一個是極紫外光刻技術。英偉達在人工智能算力硬件 GPU 之上，構建了cuLitho 計算光刻技術，能設計制造更強大的GPU，比以往更快上市。革

43、命性的技術出現的時候，會為自己創造新的需求，甚至是大多數人當時無法想象的。正如第一次看到智能手機時，很少會有人想到，這個產品重新塑造了出租車行業；又或者冰箱誕生后，食品飲料保鮮技術的迅速普及，最賺錢生意之一卻是可口可樂。圖 15：大模型在各行各業廣泛應用。影響了美國各行業 40%的工作時間。主要基于該行業所有工作任務中語言類任務的占比。埃森哲(2023)2.3 人工智能的經濟分析 2.3 人工智能的經濟分析 在歷史上，通用技術為提升了商業效率，形成了新的生產力，但在經濟的層面，自動化對全勞動生產率、就業和收入分配帶來的影響，往往是非線性的。2.3.1 鮑莫爾病與索洛悖論 2.3.1 鮑莫爾病與

44、索洛悖論 鮑莫爾病。鮑莫爾病。經濟學家鮑莫爾在 1960 年代就發現，技術提升制造業與科技等部門的勞動生產率，需要的勞動力越來越少，這些部門的單位產品成本越來越低，其產品價格越來越便宜。但技術很難提升教育、醫療、政府等依靠人力或深度匠藝的服務部門的勞動生產率，這些部門的單位產出成本會越來越高，推動價格上漲。整體來看，技術進步對勞動生產率提升的效應并沒有那么明顯。12/23 這就產生了索洛悖論索洛悖論。信息技術革命發展這么快，但是為什么表現在統計數據上，總體勞動生產率增長放緩。相對合理的解釋是，以往的通用技術，提升勞動生產率的往往是制造業和科技產業，隨著服務業占比提升，低勞動生產率部門抵消了高勞

45、動生產率部門，經濟整體生產率提升不明顯，甚至有所下降。這一點在通用技術開始大規模顛覆既有行業的初期都發生過。人工智能所帶來的生產力革命，能否的提升整個經濟的勞動生產率，取決于它能否治得了“鮑默爾病”，提升服務行業的勞動生產率，同時創造更多的就業機會，從而打破索洛悖論。這對中國經濟也至關重要。2012 年，服務業在中國經濟總量中所占比重超過制造業，2015 年，服務業在中國經濟總量中的比重首次超過 50%，服務業的比重持續上升，中國進入了服務經濟時代。圖 16：咨詢機構估算 AI 帶來的經濟增長。埃森哲的為中國與 12 個發達經濟的 GVA 增量總量，其余為全球數據。埃森哲預測目標時間為至203

46、5 年，普華永道與麥肯錫為至 2030 年，高盛的為 10 年內，分析集團的至 2026 年。就全球范圍而言，高盛預測，在近十年內，人工智能將推動生產率每年提高 1.4 個百分點，使全球 GDP 增長 7 萬億美元。普華永道與麥肯錫認為，至 2030 年，人工智能將為全球GDP 帶來 13 萬億或 15.7 萬億美元的增量。2.3.2 白領危機與就業逆差 2.3.2 白領危機與就業逆差 從歷次工業革命來看，通用技術的大規模部署，早期勞動生產率提升帶來的效果并不明顯，而進入生產率的增長期后，它帶來的勞動力的薪酬收入又落后于生產率的增長。隨著人工智能這一更加有效率的通用技術與經濟全面結合，尤其是

47、AI 背后更加強大的資本，它帶來的就業及社會財富分配的效應，可能對生產關系帶來更大的沖擊。經濟學家們假設一種經濟“奇點”，就是一種極端情況，財富完全由 AI 創造，也可能主要由支持 AI 的資本所擁有。人工智能作為通用技術，已經展示出沖擊知識工作的端倪。這種沖擊可能是正向的，知識工作者借助人工智能，提升工作效率，促成白領工業革命；也有可能是逆向的，部分工作任務被人工智能徹底取代，人類工作崗位消失。歷史上曾經發生過這種情況。當年，Excel等電子表格出來之后，淘汰了一些數據錄入和表格維護類的職業，但是它又造就了基于數據分析的新職業，而且新生的比淘汰的職業數量更多。圖 17：電子表格出現時減少的工

48、作崗位與創造的工作崗位。美國勞工統計局 13/23 圖 18：從硅谷到華爾街，今年一季度裁員 16 萬，已超去年。LayoffsTracker OpenAI 的研究發現，大約 80%的美國勞動力的工作內容中至少有 10%會受到 GPTs 的影響，而大約 19%的勞動力可能會看到至少 50%的工作內容受到影響。上述影響跨越所有工資水平，其中高收入的工作可能面臨更大的風險。此外，這種影響不僅限于近期生產率增長較高的行業。大模型顯露出強大的編程輔助能力，甚至每個人都有望用自然語言提示人工智能生成想要的程序。從去年 12 月 ChatGPT 出來之后，美國在知識最密集的三個領域，硅谷、華爾街和咨詢行業

49、，2023 年一季度的裁員數量初步統計16 萬，數量已經超過了去年一整年。這固然有經濟衰退方面的原因，但它首先表現為“白領衰退”，在一定程度上反映出就業市場對人工智能替代一些工作崗位，已經開始產生預期。IBM 正考慮用 AI 取代 7800 個崗位。在中國的就業市場，那些更具成長性的職業，恰恰是首先被替代掉的。每增加一年從業年限工資增長低于 8%的職業，相對最不容易被AI 替代的，往往是制造業或服務業的藍領；但如果一個職業每工作一年工資增長超過 20%，被AI 替代的可能性平均將大于 60%，它們往往是律師、程序員或其他知識工作者。人類后天艱辛習得積累的技能，正在成為人工智能最拿手的本事。技術

50、讓部分崗位消失，也會創造新的崗位需求。在美國人口普查局的職業描述中，現在有超過 60%的崗位，在 1940 年不存在。但問題在于，需求的消失與創造，在同一時期并不平衡。在二戰結束后早期，技術變革以大致相同的速度取代了工人并創造了新的就業機會，但自 1980 年代以來，員工的流失的速度，快于創造新機會的速度。人工智能的廣泛應用，會不會加劇這一趨勢，值得觀察。14/23 圖 19：美國 80 年代以來自動化造成了工作數量凈減少。高盛（2023）這一次會不一樣？首個真實應用場景的研究，發現在人工智能應用最前沿的用戶服務領域，分階段部署的結果，正與許多預言相反。該研究使用了 5179 名客戶支持代理的

51、數據。使用這種工具平均可以使每小時解決的問題數量增加 14%。AI 模型傳播了熟練員工可能具有的隱性知識，并幫助新員工進步。研究還表明，AI 輔助改善了客戶情感，減少了對管理干預的要求，并提高了員工保留率。但研究也認為，這只是單個企業的初步調查結果，不能代表整個就業市場的情況。圖 20：AI 工具不同訪問權限對于解決客戶問題數量的影響。先給 AI 再處理問題的結果，比先不給AI 與全程不給 AI 都要好。2.3.3 新的數據要素 2.3.3 新的數據要素 數據之于人工智能，重要性毫不遜色于煤炭之于蒸汽機，石油之于內燃機，煤炭與天然氣之于電力。當前的機器學習模型，依賴于不斷增長的巨大數據集。獲取

52、數據越來越難，高質量的數據更難獲取。人們擔心自然語言作為“原料”供應，是不是終有一天像石油一樣，被人類開采枯竭。人工智能的廣泛應用，需要重新認識大數據，超越大數據。大模型從設計上能調動起人類所有語言數據，提供給神經網絡，產生了一種概率性的大知識，進而提供智能化服務，所以，如果把數據定義為一種生產要素，人工智能是實現其價值的最重要技術。未來越來越多的數據，將來自人工智能的合成。合成數據是人工智能生成的，但在統計上可視為真實的數據，近年來備受市場追捧。Gartner 預測稱，到 2030 年合成數據將徹底取代真實數據，成為訓練 AI 的主要數據來源?；陂_源大模型精調出來的較小模型，其領域性能已經

53、與大模型相當，而成本已經降至數百美元。使用先進大模型的對話作為精調的語料數據，其質量甚至優于來自高質量公共數 15/23 據集的人工標注數據?？梢云诖氖?，隨著大模型越來越普及，人工智能產生的合成數據所占的比重會越來越大，又成為訓練新的大模型的語料數據，這樣往復下去，直到成為主流的數據來源。因此，大模型訓練面臨信息的準確性、可靠性和真實性問題會更加迫切需要解決。3 中國之路 3 中國之路 中國能像互聯網應用那樣追上美國嗎？從短期來看，中國需要以 GPT3.5 為起點，推出自己面向消費者的通用大模型，這樣與目前最先進的GPT-4 相比，推出時間點和模型的規?？赡軙幸恍┎罹?。但就在國內爭論是兩個

54、月還是三年趕上OpenAI 的時候，當下的主要問題，可能是大模型的可靠性，而不是一味追求規模。主要大廠都不再公布大模型的技術參數，直接可比的可行性也在弱化。3.1 脫鉤時代 3.1 脫鉤時代 從互聯網的興起，到移動互聯網的普及，正逢全球化創新的高潮時期，中國在互聯網時代很快就趕上了美國?；ヂ摼W的底層技術，基本源于美國，但最貼近現實應用的那一層，中國也掌握了。軟件的應用技術擴散非?？?，開發起來也更為敏捷。中國互聯網企業從模仿硅谷起步，接受美元基金的投資，面向龐大新興的國內市場，在美國股票市場上市。當時各方面基本上不存在卡脖子問題，現在則不同了，中國與美國進入脫鉤時代。中國與美國在人工智能方面的總

55、體差距已經不明顯，各有千秋。中國在一些應用方面已經走到美國前列，如計算機視覺、算法推薦、智能風控、智能物聯網，等等。但是人工智能最領先的領域深度學習方面，生成式人工智能主要的技術和算法突破都在美國，如 Transformer 已經成為生成式人工智能全球通用的架構。美國也最先從工程實踐中發現了“涌現”的現象，掌握了做大模型的工藝。美國的創新機制方面也出現了一些新的跡向。中國剛剛走出三年疫情，即遇上ChatGPT 的推出和大模型風靡全球，仿佛是遇上了一次“技術突襲”。OpenAI 是一個罕見的初創企業類型。它經歷了從非盈利到盈利，從獨立的初創企業到把自己“租”給微軟，借助科技巨頭的力量進行創新，獲

56、得了充沛的資金、算力、應用場景。它能按照自己對 AGI 的信仰，以及對大模型“涌現”的渴望，堅定持續地進行了一場大航海。對于微軟來說，這也是一個企業戰略與商業邏輯的一次完美結合，戰略性押注一個未來的技術方向，同時推動自己云服務和軟件服務的戰略轉型。在商業層面，微軟以資金和云服務投入 OpenAI，促進了Azure 云服務，又在資本市場上獲得更高的估值。中國主要的科技企業，百度、阿里、騰訊、字節、華為等，都會推出自己的大模型，將大模型與自己的產品和服務結合起來。它們將首先滿足國內對于大模型服務的需求。而那些初創企業，許多是訓練一些特定領域的大模型，在此基礎之上推出垂直應用和 AI 工具。更多的企

57、業則是開始推出百花齊放的應用產品。表 1：中國企業的大型語言模型。左：今年已經發布的，僅重點列舉，正式召開發布會或公開測試的時間，不包括此前發布的。右：即將發布的。不包括大學或研究機構。3.1.1 算力落差 3.1.1 算力落差 無論是追著美國訓練通用大模型，還是部署領域應用大模型，對于中國企業來說，算力是一個瓶頸。先進芯片是人工智能的算力基礎設施。英偉達的 GPU 是大模型的標配，占據了可用于機器學習的 GPU 市場的 95%。3 年前發布的 A100，是中美 16/23 算力重要的分水嶺。到目前為止，1 萬美元的A100，以及建議價格 20 萬美元的 DGX A100，還是生成式 AI 的

58、算力的主力。而新推出的 H100，在美國的售價達到了 4 萬美元。去年，美國宣布對中國限售英偉達 A100 與H100 等先進算力芯片，此后，美國政府還限制了先進制程代工產能，并要求日本與荷蘭停售用于制造先進制程芯片的光刻設備。沒有人能給出中國目前有多少 A100 的確切數據。在 2022 年 10 月限售令前，A100 已經發布 2年，中國企業還有時間囤卡，H100 則尚未正式發布。來自國內科技巨頭的訪談紀要，透露了有限的細節：國內可用于大模型研發和運行的人工智能存量算力，阿里第一，字節、百度與騰訊等緊隨其后；增量方面，多家巨頭僅在今年就各下單了上萬張能買到的最先進的芯片，英偉達收到的訂單或

59、高達 300 億元人民幣。表 2：中國 AI 算力的企業分布現狀。在科技巨頭中，阿里巴巴的 A100 等先進 AI 存量算力最高，金融機構幻方也超過萬張 A100?？萍季揞^增量算力主要仍然來自英偉達。由于確切數據不可得，表格展示的并非中國企業算力的全部。公司訪談紀要等 無論是英偉達的定制版，還是國產替代版，性能都與美國領跑企業擁有的存在顯著的算力落差。A800 芯片數據傳輸速率為每秒 400GB，低于A100 的每秒 600GB；H800 相對 H100 的降幅相似。國內已經批量生產的 AI 算力硬件，基本都落后于A100 一代；對標 A100 的尚未量產上市。而 OpenAI 在訓練 GPT

60、-4 的 3 個月里，花了 3萬張 A100 芯片的算力。如果英偉達更新迭代加速，或隨著存量 A100 陸續折舊一般是 2-3年，最長不超過 5 年中美之間以 GPU 衡量的算力落差會繼續加大。近五年來，中國科技巨頭經營出現波動，但研發支出整體仍呈增長趨勢。如果再加上搭建算力基礎設施等的研發相關資本支出，阿里巴巴最近一個財年技術相關投入達到了 1200 億人民幣，是研發支出的 2 倍多。但與當前美國大模型相對領先的微軟與谷歌相比，無論是研發支出還是資本支出，中國科技巨頭的差距在加大。圖 21：2022 財年中美科技巨頭研發投入及研發強度對比。亞馬遜的研發投入統計口徑略有不同，為“科技與內容”；

61、字節的研發強度沿用 2021財年，研發投入根據 2022 年收入推算。谷歌指谷歌母公司 Alphabet。盡管很多初創企業充滿壯志雄心，立志要做中國的 OpenAI，但市場更好看大模型最終會出自科技巨頭，或者成為巨頭的“代理人”，如谷歌投資的美國的獨角獸公司 Anthropic。這不僅是算力基礎設施投入巨大，還因為算力差距不能簡單地以堆疊芯片或延長時間來彌補。芯片越多，時間越長，穩定性越重要，不能輕易掉線。這取決于軟件與工程能力?？萍季揞^在大規模集群調度與部署上積累了豐富經驗。初創企業也在思考，能否從大模型裁剪出稍小一點的模型，應用到特殊場景，以解決算力問題。17/23 3.1.2 語言數據，

62、非對稱的漢語與英語 3.1.2 語言數據，非對稱的漢語與英語 優質、多元、豐富的語言數據，對于大模型優質、多元、豐富的語言數據，對于大模型的智能水平至關重要。的智能水平至關重要。全球知識的主要載體是英語，最活躍和自由的知識體系，主要以英語表達。全球最好的大模型，都會以英語為主要的語言數據來訓練。英語具有全球的“開源性”，眾多的公共語料庫包括了圖片、文字、視頻、音頻等，構成了全球知識的公共品。而且語言與語言之間的界限，在大模型所發現的語言基本結構中將消弭，越來越準確的通用翻譯將成公共品。僅以語種建立起通用大模型的壁壘，在大模型時代可能并不那么明顯。中國學者總結了在開發大模型時常用的語料庫，包括圖

63、書、網絡文本、社交問答、維基百科、開源代碼等。它們幾乎全部都是外文。為了訓練出越來越聰明的大模型，ArXiv 等科學文本越來越多，全球學術又主要以英語為載體。例如，國外一家名為 Common Crawl 的非營利組織，每月爬網一次，向公眾免費提供網絡文本數據集。為過濾掉質量不佳的文本，國外還基于這些數據，形成了 CCnet 等干凈的數據集。中國擁有龐大互聯網用戶群體，每天都在生產海量數據，但它們封存在不同的數據孤島之間，且缺乏高質量標注的合規的開源數據集。近期，北京智源更新了 WuDaoCorpora，這是當前全球最大的經處理的純文本、多模態圖文和中文對話的數據集，開放了商業合作。中國可以充分

64、利用海外開源數據，讓大型語言模型涌現出通用的語言能力，不分中文與外文。但過于偏向海外數據，會導致統計的偏見，丟掉了中國特色。未經清洗的中文數據，可能因大量重復文本，給本已捉襟見肘的算力平添壓力，還會干擾大模型把注意力停留在正確的地方，甚至生成出不那么正能量的內容。這增加了干預與調優的工程量。如果英語作為最大的來源，其優質的原生語料最快可能于 2026 年耗盡，對中國來說，優質漢語語料的持續供給，更是一個值得關注的問題。圖 22：“匿名聊天機器人競技場”排名前 15 的語言的對戰次數。這是加州大學伯克利分校主導的大型語言模型基準平臺，通過眾包的方式，用戶對與其匿名聊天的兩個大型語言模型打分，評估

65、孰優孰劣。排名采用電子競技通行的 Elo 等級分制度。18/23 3.2 中國大模型，大力出奇跡 3.2 中國大模型，大力出奇跡 大模型讓 AI 發生了一次“范式轉移”，也將引領數字經濟進一步向 AI 化發展。大模型技術在美國率先突破，中國在學習和追趕的同時，也要走出一條自己的道路。3.2.1 算力多元化和集約化 3.2.1 算力多元化和集約化 隨著中國大模型的研發和應用漸入高潮，訓練和運營大模型的 AI 算力出現了短缺。中國一些企業試圖開發大模型服務，但無論在應用層還是在模型層，都已經遇到了算力瓶頸。短期內為了解決 AI 算力短缺的問題，先進算力的一體化、集約化、多元化供給是一種選擇。多元化

66、，就是不完全依賴英偉達的先進 GPU芯片。一方面支持 CPU、GPU、ASIC、FPGA 等多種芯片的混合部署，充分發揮不同體系架構的優勢；另一方面，模型訓練、邊緣推理、數值模擬的不同場景需要不同的算力，AI 算力、通用算力、高性能算力等綜合配給，才能很好地支撐各類行業 AI 訓練和應用。讓更大的模型訓練更長的時間，意味著“不僅需要擁有最大的基礎設施，還必須能夠長期可靠地運行它”。只要在全國建立起長期可靠運行的算力，基本可以滿足需求。調度算法是有可能把分散在全國甚至海外的各種算力統籌起來去訓練大模型的。算力短缺，訓練階段可能比推理階段要緩和些，可以借助東數西算、東數西存、東數西訓、東視西渲等。

67、目前正在推進的全國超算互聯網，有助于在全國進行算力的統籌，支持算力驅動科學學研究，云計算向云服務轉型，降低人工智能的使用門檻。國家的計算需求密集地區，政府統一調配，成為市場之上的算力資源配置方式。如上海發出上海市推進算力資源統一調度指導意見，提出了“實現多地算力資源的共享和全市算力資源的最優利用?！币曨l大模型。視頻大模型。相比語言大模型，視頻大模型對于中國與美國都是較新的領域。字節跳動入局大模型稍晚于其他巨頭，今年初才正式組建專門的大模型團隊。但字節引起了競爭對手的重視，因為它已經是全球最大的短視頻平臺，擁有高質量的圖片或視頻，大量已經標注現成。字節還是國內巨頭中海外戰略最成功的，它有可能更好

68、地獲取和利用全球人才。3.2.2 大模型與大科學 3.2.2 大模型與大科學 大模型可能將科學探索帶入“第五范式”，對于中國來說是更加值得重視的。這方面需要持續和巨大的資金投入。在美國 AI 研究日益由科技巨頭和風險資本所支持，而學術機構的 AI 研究資源不足。谷歌 DeepMind 在 AI for Science 方面走在前列，微軟+OpenAI 在科學研究方面的潛力巨大。把科學研究與企業和長期戰略結合起來，這是美國在 AI 方面的機制優勢之一。而中國則更需要國家的力量。在現有的超算中心之上，又需要發展大模型這樣的新型的科學研究基礎設施。大數據，大算力，大模型，大科學已經緊扣在一起，構成了

69、“AI 舉國體制”。3.2.3 漢語+3.2.3 漢語+中國目前可用于大模型訓練的悟道語料庫，包括文本、圖文和對話數據集，最大的僅 5TB，其中開源的文本部分僅為 200GB。另外一個開源的中文本數據集 CLUECorps 為 100G。相比之下，GPT-3的訓練數據量，以英語為主，達到了 45TB。谷歌也擁有龐大的語料數據，包括漢語。國內的十多個大學等機構，各自擁有自己的語料庫；中國的數據要素市場逐步形成，定制和加工語料數據的企業大量出現。中國的大模型和 AI 訓練，需要更豐富通用的開源語料庫。以漢語為主的通用語料庫，同時獲取英語的開源和授權使用的數據集，才能建立起立足中 19/23 國、匯

70、集全人類智慧的大模型。3.2.4 不輸在應用3.2.4 不輸在應用 中國在大模型的應用創新方面，有機會很快發現并發揮自己的優勢。中國企業家和創業者的學習能力很強，善于嘗試新技術推出新產品，中國的消費者樂于使用新產品。美國的許多新技術，哪怕只是進入早期的消費市場，后來的推廣和驗證，都會以更快的速度和更大的規模在中國展開。中國工業門類齊全，消費互聯網發達，擁有多數國家無法比擬的垂直領域的數據，擁有巨大的提升效率和創造需求的潛力。圖 23：全球各國發表的 AI 論文的數量。中美在 AI 領域整體的差距本來并不是很大。從發布的論文數量來看，中國已經超過了美國，而且，中國和美國，各自都超過了后面所有國家

71、總和。中國這幾年一直在煉制自己的大模型。全世界幾百億、千億以上參數規模的大模型數量，中國占三分之一，美國占了一半，這個比例可能很快會反轉為中國數量領先。但自從 GPT-3 不再開源之后，中國的速度就慢了下來。一方面是尚未看到既有成功案例，不確定性的風險太大。另一方面則是缺乏底層技術創新的經驗，需要花時間去摸索模型結構的理論創新，如對于涌現的理解，以及對實現涌現的工程的掌握。中國科技企業趕超美國的機會，目前并不在通用語言大模型方面，而是在通用大模型的能力邊界之外進行創新，如多模態的技術創新，以及中國比美國更大的應用與市場空間。中國的一系列政策，也預示了在中國發展垂直模型的空間，將遠遠大于通用語言

72、大模型。中國也將在不同的領域、不同的層面上訓練出比美國數量更多的大模型。最近出臺的生成式人工智能服務管理辦法（征求意見稿），也初步預示了中國大模型的發展方向。中國弱在公共數據，而強在垂直場景數據?；ヂ摼W、消費、實體經濟中，蘊藏和生成著豐富的數據量，垂直領域模型的訓練成本不斷降低，一些開源的大模型可以進行靈活的精調訓練，迅速降低了人工智能的使用門檻，千行百業都將會獲得 AI 的加持，迎來一波新的創業高潮。當年安卓開源，中國大量智能手機廠商崛起。但這次，中國團隊都需要在開源的 GPT-2 的基礎上從頭開始，各家開發自己的大模型，方向一致，但路線與細節會存在較大差異。但可以肯定的是，開源與閉源的大模

73、型，在中國都有可能獲得廣闊的發展機會。中國通用大模型的發展還不是最快的，但在應用上可能是最快的，尤其是在媒體、電商、游戲、營銷等領域。如果將人工智能技術使用頻次分為高頻與低頻，將結果寬容度分為高容忍與低容忍，那么高頻高容忍度的象限，會最快最具黏性地用上大模型。在中國，跨境電商的小賣家就是這個群體。他們提供大量 SKU（庫存控制的最小單位）的貨品，賣給說著不同語言的客戶，沒有太多時間一一溝通。用不同語種撰寫不同貨品還過得去的介紹文案，甚至配上圖片，可以幫上他們的大忙。買家也不會太在意那些小錯誤，他們追求物美價廉。20/23 圖 24：中國與美國發表論文側重點不同。StateofAI（2022）低

74、容忍度的地方，往往蘊藏著大生意。這也是中國 SaaS 行業面臨的困局，通用軟件沒有發展起來，大客戶需要他們提供重度定制化的產品。這是垂直一體化的中模型的挑戰所在，也是機遇所在。低 SaaS 滲透率的企業服務創新創業，重新獲得了一次躍升的機會。結論與討論 結論與討論 我們相信 ChatGPT 是人工智能一次里程碑式的突破，它是對人類語言深層結構機制的一次重要發現，也是對智能的一次重要發現。正如當代幾乎所有初現的科學發現和技術突破一樣，這些發現是通過持續的、大型的和精密的工程來實現的，即自然語言大模型工程。大模型中的確產生了智能，一種與人類智能對照的智能，一種用“碳基”智能一時還無法完全解釋的智能

75、，如概率性的知識、涌現的機制，等等。但是，科學進步的歷史表明，當既有的理論無法解釋新的發現時，一種可能是新的發現是“幻覺”，另外一種可能，則是需要一次范式革命。我們相信范式革命，但它可能會需要廣泛行業的工作流程和協作關系的改變，甚至更廣泛的生產關系的調整，才能最終實現，而這一切中，政策選擇起到至關重要的作用。關于通用人工智能帶來的生產力革命，可能對于就業、勞動收入、生產關系帶來的影響，理論上有一些假設和探討，如通用人工智能基本實現時，可能產生的經濟“奇點”效應，以及基于“無知之幕”等社會正義與道德理論產生的新型生產關系的設置。與歷次通用技術革命相比，這次有什么不同，仍然需要觀察。人工智能大規模

76、應用對人類福祉可能產生的影響，引發出廣泛的不安與擔憂。人類是使用一種新的智能幫助自己解決諸多急迫的問題與挑戰，并且調整和適應新的生產力的變革，還是在研發和應用更先進的人工智能的過程中失控于新的超級智能，導致災難性后果的發生，這是一個極為重大的時代命題，我們會繼續研究。與硅谷所追求的普適的智能不同，相比基礎大模型，中國的比較優勢在大模型的應用。硅谷在人工智能底層技術的突破，極大降低了技術和應用的不確定性，也降低了試錯的成本。開源的技術也幫助中國企業加快應用和部署。中國自主 21/23 的大模型中，創新的比較優勢在特定領域的應用，以更快的速度與各行各業的應用場景結合起來。與互聯網興起時的全球化不同

77、，這一輪脫鉤時期的人工智能創新應用，將會進一步推動中美之間競爭，并且在相對平行的市場中各自發展出特征與優勢。（全文完）引用及參考文獻：引用及參考文獻：1 深度學習，Ian Goodfellow，Yoshua Bengio,Aaron Courville 2 What is ChatGPT doing.and Why Does it Work,Wolfram https:/ On the Opportunities and Risks of Foundation Models,Rishi Bommasani et al.https:/arxiv.org/abs/2108.07258 4 On t

78、he Principles of Parsimony and Self-Consistency for the Emergence of Intelligence,Yi Ma et al https:/arxiv.org/abs/2207.04630 5 Emergent autonomous scientific research capabilities of large language models,Daniil A.Boiko et al https:/arxiv.org/ftp/arxiv/papers/2304/2304.05332.pdf 6 PaLM-E:An Embodie

79、d Multimodal Language Model，Danny Driess,et al.https:/arxiv.org/abs/2303.03378 7 Finetuning Large Language Models,SEBASTIAN RASCHKA https:/ 8 Language Models(Mostly)Know What They Know,Saurav Kadavath,et al https:/arxiv.org/abs/2207.05221 9 Why Does ChatGPT Fall Short in Answering Questions Faithful

80、ly,Shen Zheng,et L https:/arxiv.org/abs/2304.10513 10 GPTs are GPTs:An Early Look at the Labor Market Impact Potential of Large Language Models,Tyna Eloundou et al.https:/arxiv.org/pdf/2303.10130.pdf 11 LLM as A Robotic Brain:Unifying Egocentric Memory and Control,Jinjie Mai,et al https:/arxiv.org/p

81、df/2304.09349.pdf 12 CLUECorpus2020:A Large-scale Chinese Corpus for Pre-training Language Model,Liang Xu et al https:/arxiv.org/pdf/2003.01355.pdf 13 CLUE:A Chinese Language Understanding Evaluation Benchmark,Liang Xu et al https:/aclanthology.org/2020.coling-main.419.pdf 14 Can GPT-4 Perform Neura

82、l Architecture Search?,Mingkai Zheng et al.https:/arxiv.org/pdf/2304.10970.pdf 15 A New Era of Generative AI for Everyone，Accenture https:/ 16 Sparks of Artificial General Intelligence:Early experiments with GPT-4，Microsoft Research https:/arxiv.org/abs/2303.12712 17 Vertical Snapshot:Generative AI，

83、Pitchbook https:/ 18 Artificial Intelligence Index Report 2023，Stanford HAI https:/aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index-Report_2023.pdf 19 Economic Impacts of Artificial Intelligence(AI)，European Parliamentary https:/www.europarl.europa.eu/RegData/etudes/BRIE/2019/637967/EPRS

84、_BRI(2019)637967_EN.pdf 20 Revisit the Classification of General Purpose Technologies(GPTs)in Corporate Innovation Research Using Patent and Patent Citation Data，Ranfeng Qiu et al https:/doi.org/10.58729/1941-6679.1043 21 Does Electricity Drive Structural Transformation?Evidence from the United Stat

85、es，Paul Gaggl et al http:/www.nber.org/papers/w26477 22 Exploring Artificial Intelligence as a General Purpose Technology with Patent Data,Kerstin Htte 22/23 et al https:/arxiv.org/abs/2204.10304 23 General Purpose Technologies,Boyan Jovanovic&Peter L.Rousseau http:/www.nber.org/papers/w11093 24 A S

86、urvey of Large Language Models,Wayne Xin Zhao et al https:/arxiv.org/abs/2303.18223 25 Big Ideas 2023，ARK Invest https:/ark- The State of Generative AI in 7 Charts,CB-Insights https:/ U.S.Outbound Investment into Chinese AI Companies，Emily S.Weinstein et al https:/doi.org/10.51593/20210067 28 The Po

87、tentially Large Effects of Artificial Intelligence on Economic Growth,Goldman Sachs https:/ 29 生成式人工智能服務管理辦法(征求意見稿),國家互聯網信息辦公室 http:/ 30 上海市推進算力資源統一調度指導意見,上海經信委 https:/ 23/23 想了解我們都在研究什么，是如何研究的，先關注我們的微信公眾號：未盡研究。未盡研究希望在每年結束的時候，做一份有助于“看到”來年新興技術趨勢的報告，看 DAO XXXX。也很樂意隨時拋出更多新思考。我們不是在深奧的層面關注技術，而是技術能拿來產生對常人有用的工具、產品與服務，讓常人能理解其價值。這就是創新的過程。我們關注的也不是孤立的技術，而是把它放在技術、資本與國家的三元互動中所產生的創新。我們的研究方法是數據分析、企業調研、專業研討、關鍵技術角色的追蹤觀察。我們在報告準備的過程中，得到了各相關技術領域的專家、機構、創業者、投資人分享的看法，在此對他們表示感謝。我們也如饑似渴地滿世界閱讀新興領域的最新報告、論文和各種知識形式的分享。報告不是投資建議。