《CMF:2023中國宏觀經濟專題報告:大模型:原理、進展及其影響(94頁).pdf》由會員分享,可在線閱讀,更多相關《CMF:2023中國宏觀經濟專題報告:大模型:原理、進展及其影響(94頁).pdf(94頁珍藏版)》請在三個皮匠報告上搜索。
1、大模型:原理、進展及其影響主 辦 單 位:中 國 人 民 大 學 國 家 發 展 與 戰 略 研 究 院、中 國 人 民 大 學 經 濟 學 院、中 誠 信 國 際 信 用 評 級 有 限 公 司承 辦 單 位:中 國 人 民 大 學 經 濟 研 究 所大模型:原理、進展及其影響報告人:文繼榮中國人民大學信息學院院長中國人民大學高瓴人工智能學院執行院長國家高層次人才2023年9月目 錄一、大模型的背景和原理二、大模型的飛速發展及趨勢三、大模型的深刻影響 OpenAI 公司開發的大型語言模型通過從大規模語料庫中學習語言規律,從而生成與人類語言相似的輸出表現為一個對話機器人,能夠理解自然語言,進行
2、高質量的多輪對話擬人化程度驚人,被認為是人工智能里程碑式的突破ChatGPT開啟了大模型浪潮比爾蓋茨:ChatGPT的重要性不亞于互聯網的發明2022年11月30日發布,5天獲得100萬用戶,今年1月份月活躍用戶數達1億ChatGPT的特點 上知天文、下知地理,不僅能寫文章、還能寫代碼知識廣博 能有邏輯地組合知識形成答案,具有一定的推理能力有條有理 能準確理解用戶意圖,三觀比較正,并且承認自己不知道善解人意 在多輪對話中不走神,交互聚焦主題交互能力強理解人類語言是人類探索文明發展的重要目標6哲學計算機假設:世界知識和人類認知能力蘊含在人類語言中問題:可以對人類語言建模嗎?語言模型是否能作為世界
3、知識模型?語言模型是否具有人類認知能力?世界與語言高瓴人工智能學院是中國人民大學下屬學院高瓴人工智能學院是中國人民大學下屬學院人腦(神經網絡)語言模型(人工神經網絡)生成訓練生成語言模型是對人腦的反向工程語言智能的探索歷程8符號規則統計機器學習神經網絡預訓練語言模型超大規模語言模型給定一組人工設定的規則,計算機通過對數據應用這些規則來模擬自然語言理解在人工標注的數據上進行特征工程,訓練機器學習模型參數,并將模型應用于測試數據上用神經網絡在大量數據上訓練,使得網絡自主學會提取特征,并可以靈活搭建模型基于無標注文本預訓練語言模型,通過“預訓練-微調模式”工作,有監督學習通過擴展語言模型規模,可以通
4、過提示學習、情境學習等無需微調方式求解任務有監督學習任務泛化性弱 仍需要監督學習任務泛化性改善 無/弱監督學習一定的通用能力初始的自動化解決嘗試語言模型的演進圖9統計語言模型神經語言模型預訓練語言模型大語言模型任務求解能力1990s201320182022word2vec、RNN-LM可以生成流暢文本自動學習特征特征缺乏知識、泛化性差n-gram 模型具備一定生成能力輔助解決部分任務數據稀疏影響嚴重ELMO、BERT、GPT-1/2任務泛化能力提升統一的任務求解范式仍然需要監督數據微調GPT-3/4、ChatGPT、Claude良好的任務泛化能力通用的任務求解途徑學習成本高、靈活性差困難 組合
5、爆炸,無法考慮較寬的上下文 泛化性差,字詞之間沒有關聯 數據、算力不夠統計語言模型(Statistical Language Model)突破 引入注意力機制解決長程上下文依賴問題 多層神經網絡抽象解決泛化問題 海量數據訓練、巨大算力支持生成式語言模型(Generative Language Model)l下一個詞預測:文字接龍lThe chef cooked the meal.lThe chef cooked the meal.GPT掩碼語言模型(Masked Language Model)l文本Mask:完形填空lThe chef cooked the meal.lThe chef coo
6、ked the meal.BERTWord2VecChatGPT的發展路徑2017年年2013年年2022年年2021年年2018年年2020年年2019年年TransformerGPTGPT-2GPT-3BERTCodexWebGPTChatGPT預訓練語言模型元年首個千億級模型引入代碼能力和思維鏈能力引入搜索能力引入對話能力InstructGPT能理解人類指令ChatGPT的法寶之一:大?。ㄗ灾鲗W習)lChatGPT:大力出奇跡的典范,大數據、大模型、大算力lGPT-3:1750億參數量,訓練一次消耗1200萬美元各種預訓練模型的參數量對比(單位:十億)參數量越多,人區分新聞是否由AI生成
7、的準確率越低涌現能力:書讀百遍,其義自見Wei et al.,Emergent Abilities of Large Language Models.In Transactions on Machine Learning Research,2022ChatGPT的法寶之一:大?。ㄗ灾鲗W習)l思維鏈 CoT(Chain of Thought):由Google于2022年提出大模型可能難以直接解決一個困難的大問題??梢栽谔釂枙r加入引導,將大問題拆分為多個簡單的小問題,從而得到解答ChatGPT的法寶之二:思維鏈(邏輯訓練)Wei et al.,Chain-of-Thought Prompting
8、Elicits Reasoning in Large Language Models.arXiv:2201.11903.2022l思維鏈 CoT(Chain of Thought):由Google于2022年提出或者只給一個提示,就可以對大模型進行引導,提示其逐步地解決問題Lets think step by step.Codex引入代碼能力和思維鏈能力ChatGPT的法寶之二:思維鏈(邏輯訓練)Wei et al.,Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.arXiv:2201.11903.20
9、22ChatGPT的法寶之三:人在回路強化學習(價值觀對齊)lRLHF(Reinforcement Learning with Human Feedback):收集人類真實指令,并且聘用了專門的合同工寫回答用于初始訓練素材來自:https:/ Learning with Human Feedback):使用上述模型得到多個預測結果,請人按照回答質量排序,訓練出一個打分模型ChatGPT的法寶之三:人在回路強化學習(價值觀對齊)素材來自:https:/ Learning with Human Feedback):進一步加速訓練過程:使用上述訓練模型生成結果,上述打分模型自動評估訓練效果。l傳統強
10、化學習:Agent根據反饋(rewards)選擇策略lRLHF:預測模型扮演Agent,進行策略選擇評分模型提供rewardsChatGPT的法寶之三:人在回路強化學習(價值觀對齊)素材來自:https:/ 在2015年作為一個非盈利實驗室運營,但為了吸引外部資金,已在2019年轉向了有限利潤(Capped-profit)模式2020202120222023商業化研究GPT-3CodexWebGPTInstructGPTChatGPTOpenAI開放API微軟買斷LicenseGPT-3支撐300+應用上線Azure云服務持續訓練:持續收集和構建高質量數據集訓練模型快速迭代:先用起來,數據回流
11、,改進模型端到端的系統工程:數據收集、標注、訓練、推理使用垂域數據或人類標注反饋數據持續訓練,增強模型能力。API收集數據:GPT-3通過API向個人和企業提供服務,基于Playground和商用場景收集用戶真實使用數據(2.5年數據)。尋找合作伙伴獲取訓練數據:面向對話場景,和Twitter 合作每天有大量人與人交互的數據產生,從而可以更好模擬人類說話的方式。面向開發者場景,和微軟合作基于Github 5400萬開源項目,獲取包括159GB Python 代碼作為訓練數據。自建高質量finetune 數據:面向問答場景,嚴格篩選40位高質量數據標員標注共約5萬條prompt數據。收集用戶反饋
12、,快速分析迭代:ChatGPT 開放近一周,最初一些問題(例如常識問題,安全問題)均快速閉環。問:10公廳鐵和10公后棉在哪個更重?12月2號的回答:是鐵更重12月8號的回答:是一樣重,但是棉花有可能吸收空氣中的水分從而更重一些,不過重量的差異其實很小數據收集和標注工作是復雜的系統工程:1)嚴格選擇數據標注員,確保其多樣性。2)對標注員進行培訓,確保和項目目標對齊,3)開發web 標注頁面,確保從多維度反饋信息(不僅是好與不好”)ChatGPT優秀體驗的原因:1)依托強大的基礎模型能力,是長期技術積累的結果;2)重視數據:持續收集和構建高質量數據集(含人工標注)對模型持續訓練和優化;3)快速迭
13、代:快速速觸達用戶和商業場景,收集真實業務數據和用戶反饋,分析理解問題,積累經驗,迭代產品;4)系統工程:不僅是訓練模型,是端到端復雜的系統工程;5)細節決定成?。阂陨瞎ぷ鞑粌H很系統,而且很細致到位OpenAI CEO Sam Altman 說在OpenAl取得關注的背后,微軟(尤其是Azure)做了大量出色的工作。codex支撐70+應用 無法實時納入新知識 特別專業的知識還不足 推理計算能力仍不足,可能會一本正經地胡說八道 只支持文本生成 算力消耗巨大 但是這些問題大都是工程問題,不存在不可逾越的理論障礙ChatGPT的不足目 錄一、大模型的背景和原理二、大模型的飛速發展及趨勢三、大模型的
14、深刻影響 大模型仍在飛速發展演進增強實時性和真實性支持多模態擴展知識和技能連接物理世界改進復雜推理自主智能體支持個性化提高訓練和推理效率Toolformer:Language Models Can Teach Themselves to Use Tools.Meta AI Research.Feb 2023在生成文本的過程中,遇到特定的任務,Toolformer會直接調用所需工具的API 比如說,在執行這個任務:1400名參與者,有400人通過了測試,占多大比例?Toolformer直接“掏出”計算器,現場計算得出結果:29%。擴展知識和技能連接物理世界ChatGPT for Robotics
15、:Design Principles and Model Abilities,Microsoft Research.Feb 2023用ChatGPT的語言交互能力操縱機器人2023年3月15日:GPT-4發布!令人震撼的新能力 圖片識別理解 更強的推理和更高的準確性 文字輸入限制提升至 2.5 萬字 多模態支持 看圖推理問:(看圖)手套掉下去會怎樣?答:它會掉到木板上,并且球會被彈飛。邏輯性和正確性 參加考試 邏輯性和正確性 做物理題GPT-4解巴黎綜合理工學院的一道物理題,題目是法語,解答用英語。2023年3月16日:GPT-4全面接入Officel3月16日,微軟正式宣布推出Microso
16、ft 365 Copilot,將GPT-4全面接入Office。lCEO納德拉在發布會上稱:今天,進入人機交互的新時代,重新發明生產力。GPT-4接入ExcelCopilot可以從Excel數據中直接生成戰略分析322023年3月23日:ChatGPT插件發布ChatGPT的應用商店來了!OpenAI開始建立應用生態安裝插件在需要的地方用自然語言調用插件我正在舊金山,這個周末想吃素食,能不能建議下,我周六去哪家餐館,周日按什么食譜做菜?請用WolframAlpha計算出食譜的熱量,最后在Instacart上訂購食材。找餐館計算熱量訂購食材2023年4月:自主智能體“An autonomous
17、agent is a system situated within and a part of an environment that senses that environment and acts on it,over time,in pursuit of its own agenda and so as to effect what it senses in the future.”Franklin and Graesser(1997)https:/arxiv.org/abs/2308.11432A Survey on Large Language Model based Autonom
18、ous Agents2023年3月22日:暫停大型人工智能研究公開信2023年4月28日,政治局會議首提“通用人工智能”中共中央政治局2023年4月28日召開會議,會議指出“要重視通用人工智能發展,營造創新生態,重視防范風險?!蹦?錄一、大模型的背景和原理二、大模型的飛速發展及趨勢三、大模型的深刻影響 ChatGPT帶來的虛假信息風險冒名問題(學術不端)美國有9成的大學學生利用ChatGPT完成作業 一些公開發表的學術論文也將ChatGPT列為共同作者乃至第一作者 ChatGPT生成的文本與人類創作的文本極其相似,達到了足以以假亂真的程度虛假信息傳播 杭州一業主使用ChatGPT寫了一篇杭州取
19、消限行的新聞稿 根據NewsGuard(一家追蹤網絡虛假信息的公司)的調查,借助ChatGPT,人們可以以驚人的規模和頻率編造虛假信息,并且這些信息顯得越來越可信和有說服力;雖然OpenAI聲稱其使用機器和人工來監控和過濾ChatGPT輸入和生成的內容,但是從實際的效果來看,仍然存在著一些漏洞 ChatGPT有可能成為有史以來在互聯網上傳播虛假信息的最強大工具ChatGPT帶來的價值觀風險ChatGPT的價值觀傾向 AI機器人是有傾向的,或者更加確切地說,即便希望避免政治傾向,恐怕也很難避免。有網友利用Political Compass(一套主流的政治傾向測試)對ChatGPT進行測試,發現針
20、對其中的大多數問題,ChatGPT的回答更加接近于西方左翼的立場。ChatGPT帶來的價值觀風險ChatGPT的價值觀來源 數據:ChatGPT訓練數據本身可能就隱含著特定的價值傾向 方法:ChatGPT模型所使用的訓練方法也使得人們有機會將特定的價值觀融入到模型當中,“微調”數據集是由人工審查員根據OpenAI提供的指南進行審查而生成的。這一過程實際上融入了OpenAI指南中所奉行的價值觀,甚至有可能融入了人工審查員個人的價值傾向。用戶:ChatGPT升級版允許用戶個人來設定ChatGPT的價值觀,如果這一功能可以實現,那么ChatGPT的價值觀將隨著用戶的需求變得更加個性化。ChatGPT
21、帶來的黑箱風險不確定性 ChatGPT輸出的結果具有一定的不確定性,可能會產生一些誤導性回答、充滿偏見的回答以及泄露敏感信息,造成一些不利后果。由于ChatGPT作答的具體過程是個“黑箱”,設計者無法在事前通過設計完全地杜絕這些風險的出現,只能通過不斷改進數據和算法,減少不確定性帶來的風險。操縱風險 ChatGPT一類的AI設計者還有可能利用“黑箱”,來達到操縱特定的輸出結果。設計者可以通過操縱數據、參數、模型選擇等,影響AI的輸出結果,以達到自身的目的,而由于用戶很難理解其中的機制,這種操縱行為非常隱蔽,難以被公眾所察覺。這種操縱可能會導致偏見、不公平、不準確的結果,影響用戶的思想和行為,帶
22、來一定的社會風險。ChatGPT帶來的侵權風險ChatGPT訓練使用的數據可能包含受著作權保護的作品,如果未經授權使用這些作品,有可能會侵犯著作權:例如,OpenAI正面臨針對其產品Copilot的集體訴訟,被指控未經授權使用了大量受著作權保護的代碼;又如,許多媒體開始批評ChatGPT使用了它們的文章,但并未支付任何費用。還有很多 ChatGPT是否可以成為著作權主體?ChatGPT生成的內容能否構成作品?或者在怎樣的條件下可以構成作品?如果構成作品,權利人是誰?如果不能構成作品,是否可以基于反不正當競爭法或其他法律,對生成內容的復制傳播進行一定限制?人工智能生成內容中如果存在與他人作品構成
23、實質性相似的部分,人工智能系統研發者、人工智能服務提供者是否需要承擔侵權責任?盡管侵權內容是ChatGPT類服務提供者提供的,但為了促進人工智能產業發展,法律是否可以為ChatGPT類服務提供者規定以“通知-刪除”為核心的“避風港原則”?ChatGPT類服務提供者是否在一定情況下具有“過濾義務”?ChatGPT帶來的侵權風險對產業界的影響 全球關注,有望引發新一輪產業革命 OpenAI聯手微軟研發New Bing,微軟市值增加5000億 谷歌面臨生死存亡,匆忙發布Bard,因為不及預期,市值蒸發7000億 巨大商機,OpenAI開源可能性很小 國內在追趕:百度、阿里、華為、訊飛等 機遇:首批掌
24、握該技術的公司會有先發優勢對學術界的影響 公認ChatGPT是重大科技突破,看到了通用人工智能的曙光 會根本性改變人工智能和人工智能+的研究范式 會根本性改變教育方式 學術界難于擁有研制ChatGPT的算力和數據 機遇:首批掌握該技術的學校會有先發優勢影響:不能用 能用 長久難以解決的關鍵技術問題得到突破 語言 知識 問題求解(邏輯推理)所有傳統任務都可以被顯著改善 很多新應用的大門打開了影響:專用 通用 泛化能力大幅提高 所有任務都可以轉化為用自然語言表達、基于知識的問題求解 通用人工智能(AGI)的一條可能路徑已經清晰 降低特定任務的開發成本、提高開發效率 領域、任務之間的知識、能力共享影
25、響:體力勞動 腦力勞動 人造大腦已經出現 語言、知識、問題求解是腦力活動的主要形式 現階段的大模型是一種獨特的“人”:百曉生、任勞任怨、一目千行、反應非???、學的也很快、有時不太靠譜.超級智能?大量重復性、知識依賴性的腦力勞動將被替代 復雜問題求解?創造性?影響:數字世界 物理世界 大模型正在迅速走進物理世界 多模態、工具使用、具身智能、自主智能體 硅基智能體,硅基生命?大模型的世界視野(WorldScopes)當數據集的范圍變得更大,基于它們訓練得到的模型能力變得更強Embodiment and Action The Social World 影響:自然科學實驗一個基于大語言模型的智能代理系
26、統,自動設計、規劃和執行科學實驗實驗 合成布洛芬 合成阿司匹林 合成阿斯巴甜 鈴木反應機理研究可用于各種化合物合成、化學實驗設計,但是也可能被濫用。https:/arxiv.org/abs/2304.05332Cross-coupling Suzuki and Sonogashira reaction experiments designed and performed by the Agent.影響:社會科學實驗借助大語言模型強大的理解能力賦能智能體模擬用戶在推薦系統中的瀏覽和搜索等行為模擬和推薦相關的社交行為,例如用戶在社交媒體上交談、發帖等未來將在政府政策模擬,市場經濟模擬等方面開展進一
27、步探索開源Github頁面:https:/ 2020年開始了多模態預訓練模型的研發 文瀾多模態大模型研究成果在Nature Communications上發表2022年,該期刊文章在社會科學與人類行為類別下載量達到前十位 今年年初,組織團隊完成大語言模型綜述學術界首篇以LLM為主題的綜述文章,已被引用300多次,GitHub獲星 5.4K中國人民大學大模型研發情況 以“Know-how”為基本指導思想,構建“玉蘭”大模型研究體系 自研大模型用于支持校內跨學科科研、高考招生等重要活動類ChatGPT大語言模型提供量化后的65B、13B版本開源指令微調模型Yulan-Chat2023.6.8基于Y
28、ulan大模型構建研究生態2023.6.8檢索增強LLM工具包面向推薦系統的用戶沙盒仿真啟動基座模型預訓練工作2023.7.10自研玉蘭大模型啟動訓練百億級別參數精細的數據收集與清洗可重啟的預訓練數據策略中國人民大學大模型研發情況未來已來 邁向通用人工智能的一條可能路徑已經清晰 新的超級智能即將出現,新的科技革命已在眼前 新的超級工具已經出現,新的研究范式已在眼前 擁抱大模型,擁抱大變革謝 謝!聚焦大模型聚焦大模型:原理原理、進展及其影響進展及其影響,CMFCMF 專題報告發專題報告發布布9 月 9 日,由中國人民大學國家發展與戰略研究院、經濟學院、中誠信國際信用評級有限責任公司聯合主辦的 C
29、MF 宏觀經濟熱點問題研討會(第 73 期)于線上舉行。本期論壇由中國人民大學一級教授、經濟研究所聯席所長、中國宏觀經濟論壇(CMF)聯合創始人、聯席主席楊瑞龍楊瑞龍主持,聚焦聚焦“大模型大模型:原理原理、進展及其影響進展及其影響”,來自學界、政界、企業界的知名人工智能專家、經濟學家黃鐵軍、漆遠、沈建光、文繼榮、李超黃鐵軍、漆遠、沈建光、文繼榮、李超、劉陳杰劉陳杰聯合解析。論壇第一單元,中國人民大學高瓴人工智能學院執行院長、信息學院院長文繼榮文繼榮代表論壇發布 CMF 中國宏觀經濟專題報告。報告圍繞以下兩個方面展開:一、大模型的背景和原理二、大模型的飛速發展及趨勢三、大模型的深刻影響一、大模型
30、的背景和原理一、大模型的背景和原理2022年11月30日,ChatGPT 橫空出世,引發了一輪大模型熱潮。ChatGPT 是由 OpenAI公司開發的語言模型,它能通過大規模的語料庫學習語言規律,從而生成與人類語言相似的輸出。長期以來,學術界一直都在研究大模型,而 ChatGPT 之所以能夠引發這次熱潮,是因為 OpenAI 將其 ChatGPT 做成了一個對話機器人,以人機聊天的形式發布,這讓除了專業人士之外的普通人也可以接觸到大模型。通過與其交互,大家發現它展現出了驚人的對話能力,擬人程度非常高,從而引發了全社會的關注,發布后兩個月用戶就達到了1億。從技術上來說,它是人工智能里程碑式的突破
31、。比爾蓋茨、馬斯克等都對它進行了高度評價,比爾蓋茨認為它的重要性不亞于互聯網,而我個人認為它遠比互聯網更重要。1 1、ChatGPTChatGPT 大模型的特點大模型的特點1 1)知識廣博)知識廣博ChatGPT 一般是在萬億級的語料上訓練出來的,它看到過很多不同領域的文章,所以上知天文、下知地理,不僅能寫文章,還能寫代碼。2 2)有條有理)有條有理此前的很多大數據模型都難以將知識整合起來完成任務,而 ChatGPT 能夠將廣泛的知識整合起來,針對具體問題形成答案,甚至展示出一定的推理能力,這是非常驚人的。3 3)善解人意)善解人意ChatGPT 基本上已經解決了語言理解的問題,能夠準確理解用
32、戶意圖,這在人工智能的發展史上是非常困難的事情。4 4)交互能力強)交互能力強尤其是在多輪對話或者較長的對話序列中,ChatGPT 能聚焦對話的主題,不走神??傊?,從技術上來看,ChatGPT 的以上四個能力都是人工智能發展史上的重大突破。學界長期懸而未決的關鍵問題在 ChatGPT,包括最近的 GPT-4等大模型中已經得到了相當大程度的解決,這種技術上的重大突破必然會產生深刻的影響。之所以說之所以說 ChatGPTChatGPT 的意義深刻,是因為語言在人類文明史上扮演著極其重要的作的意義深刻,是因為語言在人類文明史上扮演著極其重要的作用用,甚至可以作為人類區別于其他動物最重要的屬性甚至可以
33、作為人類區別于其他動物最重要的屬性。有了語言,文明才能傳承,人和人之間才能交流,形成深度的思考。21世紀最偉大的哲學家維特根斯坦在語言上就有很深的造詣,他曾說過,語言的邊界就是世界的邊界,甚至是思考的邊界,這與當今的大模型發展有一些驚人的吻合。計算機鼻祖圖靈在早期的一篇著名論文中提出了“圖靈測試”,它通過人機對話的方式,判斷一個系統是否具有人工智能的標準。由此可以看出,語言始終在人類思想史,以及人工智能的歷史上占據著核心的地位。在很多領域,尤其是人工智能領域一直有一個假設,即世界知識和人類的認知能力是蘊含在人類語言中的。這是一個很強的假設,如果這個假設成立,就會產生三個問題:1)是否可以對人類
34、自然語言進行建模?即能否用一個模型來表述這樣的語言?不僅是語言本身的語法語義,還有其中蘊含的知識,甚至是人類的邏輯思維能力和思想,能否用一個模型來表述?2)如果上述語言模型能夠實現,是否可以將其作為世界知識模型?3)這樣的語言模型是否具有人類的認知能力和思考能力?沿著這樣的思路,人工智能領域的專家們在過去幾十年不斷地進行探索,希望構建出這樣的語言模型,它本質上是對人腦的反向工程。左邊是人腦,它本身是一個復雜的神經網絡。由于人腦太過復雜,我們難以弄清其中的結構,但可以通過觀察它的生成物,比如語言、文字等,通過大量反向工程訓練出一個人工的神經網絡,也就是語言模型。如果人工神經網絡生成的語言和人腦生
35、成的語言非常接近,就可以認為它是人腦神經網絡很好的數字模擬體。ChatGPT 的橫空出世證明了這是一條可行的路徑,它也對上述三個問題給出了相對肯定的回答。因此,從科學史上來說,這具有重要的意義,即我們可以做出一個和人腦非常接近的人工大腦。它具有和人類非常相似的語言能力,同時又蘊含了世界知識和人類的認知能力。2 2、語言智能的探索歷程、語言智能的探索歷程語言智能的探索歷程始于上世紀50年代,最早的是符號規則,即給定一組人工設定的規則,通過對數據應用這些規則來模擬自然語言的理解;隨后是統計機器學習,即在人工標注的語料上進行特征工程,訓練機器學習一些小模型;然后是神經網絡,用神經網絡在大量數據上訓練
36、,學習更靈活的模型。2016年前后,出現了預訓練語言模型,即通過自監督的方式,用大量語料來訓練模型;到2022年,進入了超大規模語言模型階段,它也是預訓練模型,但規模很大,并且出現了很多新能力。在語言智能的發展過程中,模型功能越來越強,泛化能力越來越好,任務求解能力也越來越強。1 1)統計語言模型)統計語言模型大模型的基礎大模型的基礎統計語言模型本質上是從語言中自動學習出一個統計模型,比如它可以通過統計語言之間的關系,計算一句話出現的概率。這個模型相較基于規則的方法來說有巨大的進步,但它還是存在很多問題,比如當詞越來越多,窗口越來越大的時候,會出現組合爆炸;泛化性差,字詞之間沒有關聯;最重要的
37、是數據算力不夠,因此無法用這種方法做大規模的統計模型。2 2)生成式語言模型)生成式語言模型GPT 系列使用的是一種生成式語言模型,英文叫做 Generative Language Model。本質上,它也可以看成是一個統計模型,但在做法和技術上有了巨大的飛躍。它進行了一個“文字接龍”的任務,比如把一句話的最后一個詞蓋住,讓模型去猜這個詞是什么,如果猜不準就調參數,直到它能準確猜出這個詞。如果是在很多語料上做類似的預測,模型的預測能力就越來越強,到最后,無論是詞語還是句子的組合,它都能猜出下一個是什么詞。引入注意力機制解決了長程上下文依賴問題。如果大模型能夠看到盡可能多的詞,它的準確率就會大大
38、提升,但計算量會非常大。通過引入注意力機制,不僅能夠解決長程上下文依賴的問題,同時也能提高計算效率,模型的大小也能得到控制。此外,我們采用了多層神經網絡抽象解決泛化的問題。深度學習就是指神經網絡結構的層次,通過層層抽象學習到更高層的語義,對概念進行泛化,這也是一項進步。最重要的是,我們有海量的數據和巨大的算力?,F在的大模型基本是在萬億級的Token 上面訓練得出的,人一輩子都不可能看這么多的詞、句子和文章。要在如此大的數據量上訓練這么復雜的模型,就需要巨大的算力支持。過去這些年,算力尤其是 GPU為代表的算力,有了巨大的進展。技術、數據算力的共同進步,使得我們今天能夠造出一個如此龐大的模型。3
39、 3)掩碼語言模型)掩碼語言模型掩碼語言模型和生成式模型的做法差不多,以 BERT 模型為代表,它不是做“文字接龍”,而是做“完形填空”。比如一個句子隨機遮掉一個詞,讓它根據上下文猜出這個詞是什么,通過大量的語料訓練提高準確率,最后訓練出這樣一個模型。二者的區別在于,掩碼語言模型是根據上下文進行猜測,而生成式模型只能根據上文進行猜測。生成式模型之所以能夠勝出,是因為其一,它的生成過程更接近自然生成的過程;其二,當語料數目很大時,只看前文的效果不見得比看上下文的效果差。掩碼模型最早是 Google 走的路線,生成式模型是 OpenAI 公司走的路線?,F代模型是自2013年 Google 提出 W
40、ord2Vec 后發展起來的,標志性事件是2017年 Google 提出了Transformer,這是當前所有大模型的支撐性神經網絡架構,在此基礎上,產生了 BERT,此前這條路線一直占據優勢。OpenAI 從2018年開始做 GPT 系列,2019年推出 GPT2,當時的效果不如 Google。2020年,OpenAI 提出了 GPT3,這是世界上首個千億模型,有1750億的參數,把參數一下子提高了幾個數量級。這個模型展現出了驚人的能力,此后這條路線就占據了上風。隨后,OpenAI 在2021年、2022年逐漸引入代碼思維鏈,WebGPT 引入了搜索能力,InstructGPT能理解人類指令
41、,去年推出的 ChatGPT 引入了對話能力,引起了這次的熱潮。Google 很早就開展了大模型的研究,諸如 Transformer 這種核心技術,甚至包括思維鏈的設想都是 Google 提出來的。但是 OpenAI 走得更堅定,在工程化方面做得更徹底,所以今天占據了優勢。3 3、ChatGPTChatGPT 大模型的優勢大模型的優勢1 1)法寶一:)法寶一:“大大”通過大數據、大算力得到一個大模型。GPT-3是1750億參數量,據說訓練一次消耗會1200萬美元。GPT-3.5、GPT-4的參數量更大,訓練的成本也更高。模型的參數可以類比為人腦的神經元。神經元之間有連接的突觸,人腦大概有800
42、-1000億個神經元,它們之間的連接突觸數目在100萬億。大模型的參數可以看作神經元之間的連接,也就是突觸的量級。人腦有100萬億,而大模型達到了千億級,和人腦只差三個數量級,GPT-4已經達到了1.8萬億,僅相差兩個數量級。按照計算機學科的發展趨勢,再過幾年,大模型就可能達到人腦百萬億級的規模。隨著模型參數量的增長,人類認知中的很多能力就會“涌現”出來。2 2)法寶二:思維鏈)法寶二:思維鏈/邏輯訓練邏輯訓練為了讓模型具有邏輯性,能夠把知識組合起來完成復雜任務,就要對它進行進一步訓練。Google 在2022年提出的思維鏈(Chain of Thought)思想,即通過告訴模型思維的全過程,
43、讓其形成自己的思維鏈。當訓練到一定程度時,甚至不用再給它例子,而是讓其“一步步思考”,就能激發模型的思維鏈。還有一種猜想是思維鏈能力來自代碼的能力,代碼就是一個思維鏈的過程。由于寫程序解決某個問題需要一步步通過邏輯結構完成,因此模型也能學到這個思考的過程。3 3)法寶三:價值觀對齊)法寶三:價值觀對齊當大模型的能力強大到一定程度時,若不對它進行價值觀馴化,而是放任其發展,這是非常危險的。OpenAI 聘請了很多人,通過數據標注對模型進行了價值觀對齊,學術上將其稱為 RLHF,也就是基于人類反饋的強化學習。當給出一個問題時,用人類價值觀寫出引導模型的標準答案,并讓模型基于答案強化學習,最終使其能
44、夠遵循人類的價值觀回答問題。4 4)法寶四:數據閉環)法寶四:數據閉環+系統工程系統工程大模型是一個特別大的系統工程,涉及數據收集、數據清洗、指令標注、模型訓練中參數的選擇、數據配比、價值觀對齊等方方面面的工作,需要大量的數據和算力支撐。另一方面,OpenAI 收集了很多數據反饋形成閉環,可以進行快速分析迭代。4 4、ChatGPTChatGPT 的不足的不足ChatGPT 仍然存在著很多不足,比如,由于訓練的成本太大,無法實時納入新知識;盡管知識面廣泛,但深度還不夠;推理計算能力不足,尤其是在面對一些復雜的邏輯推理和數學問題時還存在很大的問題;只支持文本生成,算力消耗巨大等。對于計算機科學領
45、域來說,這些不足都是工程問題,是能夠通過努力解決的。當前已經不存在不可逾越的理論障礙。在 ChatGPT 大模型發布前,人們對于如何讓模型具有邏輯思考和推理能力是一籌莫展的,而 ChatGPT,尤其是 GPT-4向我們展示了它具有這樣的能力,這給了我們無窮的信心。二、大模型的飛速發展及趨勢二、大模型的飛速發展及趨勢ChatGPT 發布后的大半年內,大模型經歷了超乎想象的發展速度。從技術角度來說,大模型在以下幾個重要方面都有了很大進展:增強實時性和真實性;支持多模態;擴展知識和技能;連接物理世界;改進復雜推理;自主智能體,它可以自主完成一切事情,包括做規劃、調用外部工具等;支持個性化;提高訓練和
46、推理的效率,由于推理的成本非常高,提高大模型的訓練和推理效率是極其重要的。以擴展知識和技能為例,2月份,Meta 發表了一篇關于 Toolformer 的文章。語言模型中有一個基本假設,即世界知識和人類的技能都蘊含在語言中?,F在認為大部分情況下是這樣的,但有部分人類知識和技能自然語言是不擅長表達的,比如算數。對于這些難以從自然語言中學到的知識和技能,可以通過外部的知識和工具來補全。比如Toolformer 遇見一道計算題時會調用計算器,計算完成后把這個結果加入生成結果中。因此,對于語言模型的部分局限性,可以通過外部知識和技能對其進行增強。再比如,2月微軟研究院開展了連接物理世界的實驗。它的基本
47、思路是將 ChatGPT作為一個強大的大腦安裝在機器人上,讓它通過自然語言的方式完成一系列任務。也可以通過這樣的模型進行規劃,把高層的指令轉化為它的指令和動作。由此,機器人就可以進入物理世界。3月15日 GPT-4發布,其中一個重要的突破是多模態,它可以把文字圖片結合起來,看圖進行推理,這對人工智能來說是巨大的進步。我們終于有了一個多模態的,能夠像人一樣把不同的模態信息或者數據結合起來進行推理的模型。GPT4的邏輯性和準確性也有了極大提高,它在 SAT(美國大學入學考試)和 GRE 測試中都拿到了很高的成績。3月16日,微軟宣布 GPT-4全面接入 Office,大概年底就會發布。GPT-4接
48、入 Office辦公軟件后,我們就可以用自然語言要求它完成各種辦公需求,比如在表格上做統計、做數據變換等。3月23日,ChatGPT 發布了它的插件商店,相當于要建立一個以大模型為中心的應用生態?,F在商店里面已經有了不少插件,可以通過語言模型和外部插件工具配合,完成很多復雜的任務。4月,自主智能體的概念出現了。它的基本思路是將大模型看作一個人腦,只要對任務進行描述,然后設定一些目標,剩下的事情大模型都可以自主完成。其中,代表性的工作包括 AutoGPT,只需要對目標進行描述,它就會自主進行任務分解、執行、獲取數據和分析等。另一項值得關注的工作是 Generative Agents,通過大模型模
49、擬25個智能體在小鎮的生活,會產生很多復雜的社會行為。很多人覺得大模型的發展速度太快,可能會有很多潛在風險。于是在3月22日,馬斯克等人牽頭簽署了暫停大型人工智能研究公開信。但我認為大模型的發展腳步已經停不下來了,只會越走越快。4月28日,政治局會議中首次提出了“通用人工智能”一詞,指出“要重視通用人工智能發展,營造創新生態,重視防范風險”,說明我國對此事是高度重視的。三、大模型的深刻影響三、大模型的深刻影響1 1、大模型可能帶來的風險、大模型可能帶來的風險1 1)虛假信息風險)虛假信息風險大模型的造假能力非常強,我們難以辨別它生成的文字和圖像的真實性。不過,現在有很多關于識別這種機器生成內容
50、的研究。2 2)價值觀風險)價值觀風險任何大模型都有價值觀傾向,比如 ChatGPT 就是西方左翼的立場。它之所以具有這樣的價值觀,是因為它學習的數據里大部分都是這樣的觀點。此外,在價值觀對齊的時候,標準答案是以什么樣的價值觀來引導的,也決定了之后的模型會遵循什么樣的價值觀。3 3)侵權風險)侵權風險事實上,現在已經出現了這個問題。很多人起訴 OpenAI,因為它未經許可就用了他們的數據,而對此法律上仍沒有界定。此外,還有包括著作權主體在內的法律、制度、倫理道德等方面的諸多問題。2 2、大模型可能產生的影響、大模型可能產生的影響1 1)對產業界的影響)對產業界的影響當前各個科技企業都參與到百模
51、大戰之中,有望引發新一輪產業革命。2 2)對學術界的影響)對學術界的影響學界基本公認大模型是一個重大的技術突破,我們已經看到了通用人工智能的曙光。很多人工智能領域的研究,包括人工智能+的研究,都在發生根本性的變化。3 3)從)從“不能用不能用”到到“能用能用”長久以來難以解決的關鍵技術問題,比如語言理解、世界知識表述、復雜問題求解等,現在都有了巨大的突破。不僅所有傳統任務都可以被顯著改善,同時還打開了新應用的大門。4 4)從)從“專用專用”到到“通用通用”大模型的泛化能力非常強,現在所有任務都可以轉化為用自然語言表達、基于知識的問題求解。由于語言知識和問題求解能力的大幅提升,大模型變成了一個通
52、用問題求解器,這為通用人工智能打開了一條可能的路徑。大模型的泛化能力能夠降低開發成本、提高開發效率,還可以在多任務之間進行共享,影響會非常深遠。5 5)從)從“體力勞動體力勞動”到到“腦力勞動腦力勞動”現在的大模型就相當于一種人造大腦,它什么都知道,任勞任怨、一目千行、反應非???,但有時候不太靠譜。如果在各個方面進一步提升,可能會出現一種超級智能,在很多能力上遠超人類,比如我們做一些復雜問題求解時,只能調動很少的知識,而大模型可以調動很廣泛的知識來做分析歸納和決策。由于看到了太多東西,它甚至可能會表現出一定的創造性,產生很多奇思妙想。在此背景下,大量重復性、知識依賴性的腦力勞動將被替代。6 6
53、)從數字世界到物理世界)從數字世界到物理世界當大模型有了多模態的能力,能夠進行工具使用,有了機器身體,能夠自主規劃完成任務,它將成為一個真正的生命體進入物理世界。7 7)自然科學實驗)自然科學實驗卡內基梅隆大學用大模型做了智能代理和自主智能體的實驗?;诖箢A言模型的智能代理系統,可以自動設計、規劃和執行科學實驗,最后合成布洛芬、阿司匹林等。8 8)社會科學實驗)社會科學實驗我們做了一個模擬器,通過大語言模型賦能智能體,智能體可以進行各種角色扮演,并進行交互,產生很多復雜的社會行為。對于以前的社會科學難以進行的實驗,可以通過大規模地采用智能體來模擬人類社會行為進行實驗,這將會對社會科學產生深刻影
54、響,使其變成一門實驗科學。之所以要開發出我們自己的玉蘭系列大模型,是因為我認為人工智能必須要Know-how,要知道整個大模型從頭到尾的所有細節。我們將自己的大模型作為研究平臺,支撐了很多人工智能領域的研究和實踐??偨Y來說,盡管大模型還存在著很多的局限性,但它為通用人工智能指出了一條可能的發展路徑。人類經過六七十年的艱苦探索,終于找到了這樣一條通用人工智能的可用路徑,一定要去擁抱它。它可能是一種新的超級智能,對于各個領域必將產生深刻的影響。論壇第二單元論壇第二單元,結合結合CMFCMF中國宏觀經濟專題報告中國宏觀經濟專題報告,各位專家圍繞各位專家圍繞“大模型未來的發大模型未來的發展方向、人工智
55、能的發展對經濟的意義展方向、人工智能的發展對經濟的意義”等問題展開討論。等問題展開討論。復旦大學人工智能創新與產業研究院院長,阿里巴巴原副總裁漆遠漆遠指出,大模型不僅能更好地泛化,而且能更好地推動產業發展,提升用戶交互水平。未來的發展方向可能是在場景中找到真正需要的產品,將產品與算法和工程化真正結合起來。人工智能的發展可能會改變其應用落地的模式人工智能的發展可能會改變其應用落地的模式,未來,人工智能在金融、醫療、教育、游戲設計等行業應用落地的可能性非常大。從產業發展趨勢上看,大模型與互聯網行業發展的趨勢類似,當前正處于商業模式探索階段。實際上,它是一個生態系統,需要產業、高校、服務平臺和資金的
56、深度融合。望正資本全球宏觀對沖基金董事長劉陳杰劉陳杰認為,中國經濟在疫情后逐步復蘇,但未來一個階段將面臨來自房地產和地方政府投資兩方面的趨勢性壓力。從基本面來看,當前實體經濟投資回報率低于融資成本,房地產和地方政府投資這兩個過去推動經濟增長的主要力量縮減之后,提升實體經濟投資回報率和提高勞動生產率就需要在供給層面提升實體經濟投資回報率和提高勞動生產率就需要在供給層面下工夫下工夫,特別是需要開展新一輪供給側結構性改革特別是需要開展新一輪供給側結構性改革。人工智能將成為供給側結構性改革2.0版本,特別是在全要素生產率方面,人工智能將發揮不可替代的作用。從時間維度上看,由于人工智能的準確性有待提高,
57、因此對各個行業的替代是有時間層次的。預計它在準確性要求較低的行業和場景將落地較快,對準確度要求更高的應用和行則業需要進一步調試和時間,中短期內,AI 將更多地作為輔助工具。對于大模型應用落地的三點判斷:1)本輪人工智能創新周期可能快于互聯網周期;2)人工職能的硬件、軟件及應用將在產業領域不斷深化,應用生態將不斷拓展,從而系統性推動人工智能大模型的發展;3)人工智能的發展可以分為三步,第一步是完成硬件基礎設施建設,第二步實現重要應用落地,第三步是將其廣泛應用于生產生活的各個環節中,當前中國正處于向第二步邁進的階段。北京大學計算機學院教授、人工智能研究院副院長黃鐵軍黃鐵軍指出,大模型以聯結主義和神
58、經網絡學派為基本支撐,試圖建立一個神經網絡,能夠通過給出訓練數據,建立輸出和輸入間的映射關系。大模型的特點包括規模大、涌現性和通用性。當網絡參數達到數百億時,大模型就成為了一個復雜系統,會像其他的物理系統一樣產生“涌現”現象,出現融會貫通的能力。大模型開啟了智業革命的時代,縱觀人類歷史,只有工業革命和電力革命可以與之相提并論。未來3年,視覺、聽覺、具身、行動等通用智能的技術路線也會出現,并且影響會更大;未來10年,智力革命會廣泛普及,它將構建一個全新的生態體系,而開源開放將成為聯合各方的基本方式;未來30年,智能將發展為以時空環境驅動的具身智能,能夠進行實時感知、實時決策、實時行動。浙商證券首
59、席經濟學家李超李超指出,本輪反壟斷過程促進了產業科技革命的過程。人工智能企業將成為未來十到二十年間反壟斷的最大受益者,這有助于人工智能領域的技術發展。人工智能驅動的科技革命將極大降低主權債務危機和戰爭的風險。從微觀層面來看,人工智能將提升企業資本回報率,解決企業層面的債務危機;從宏觀層面來看,以人工智能為代表的科技革命將推動經濟發展,使企業能夠積累更多財富,進而增加國家稅收,極大地降低主權債務風險??傮w而言總體而言,人工智能為代表的第四次工業革命可能使經濟全人工智能為代表的第四次工業革命可能使經濟全要素生產率呈現前期穩定、后期明顯提升的趨勢。要素生產率呈現前期穩定、后期明顯提升的趨勢。京東集團
60、副總裁沈建光沈建光指出,京東以數據供應鏈為核心優勢,信息鏈條非常長,在此背景下,人工智能大模型的應用可以顯著提高產出并降低成本。當前,京東擁有言犀人工智能開發計算平臺,可以在包括宣傳、營銷、物流控制等各個方面為中小微企業提供高效、低成本的 AI 產品和服務。未來,診斷可能會成為人工智能和大數據模型非常有前途的應用方向之一。黃鐵軍:智力革命已經打響,開源開放生態終將勝黃鐵軍:智力革命已經打響,開源開放生態終將勝利利黃鐵軍 北京大學計算機學院教授、人工智能研究院副院長以下觀點整理自黃鐵軍在中國宏觀經濟論壇(CMF)宏觀經濟熱點問題研討會(第 73期)上的發言一、大模型的特點一、大模型的特點經過六七
61、十年的發展,人工智能形成了很多技術路線,大模型是其最新進展。大模型以聯結主義和神經網絡學派為基本支撐。聯結主義學派的發展始于上世紀四十年代聯結主義學派的發展始于上世紀四十年代,他們試圖建立一個神經網絡他們試圖建立一個神經網絡,能夠通過給出訓練數據能夠通過給出訓練數據,建立輸出和輸入間的映射關系建立輸出和輸入間的映射關系。比如人臉識別,輸入的是照片,輸出的是人的 ID 或者名字。從數學上講,在神經元足夠多的情況下,只要是三層神經網絡,任意輸入、輸出之間的映射關系都可以建立。但問題在于,要建立一個復雜龐大的映射網絡,需要的連接數量也是巨大的。例如,在一個簡單的三層神經網絡中,假設每層有100個神經
62、元,則會有1萬個數據樣本,迭代1萬輪,要想收斂到這樣的一個分類識別系統,需要2萬億次調整。這就是大模型訓練需要耗費大算力的原因,只有將連接權值調整到合適的狀態,它才能按照預想方式工作。大模型主要具有以下幾個特點:1 1、規模大、規模大關于什么是大模型有很多爭論,現在基本收斂到一個共識,即網絡參數至少要達到百億規模,一般需要幾百億的規模才會產生預想的智能。2 2、涌現性、涌現性傳統 AI 只能給出封閉、確定的答案,而大模型不僅規模要大,而且一定要能涌現出預料之外的新能力。當網絡參數達到數百億時當網絡參數達到數百億時,大模型就成為了一個復雜系統大模型就成為了一個復雜系統,會像會像其他的物理系統一樣
63、產生其他的物理系統一樣產生“涌現涌現”現象現象,出現融會貫通的能力出現融會貫通的能力。雖然現在還無法解釋其原理,但這種能力確實存在,這也是最讓大家最興奮的地方。3 3、通用性、通用性大模型的應用不限于專門的問題和領域,這從經濟角度來說是特別重要的。如果大模型能夠解決通用問題,它就具有了很好的邊際價值和推廣性。北京智源人工智能研究院自2018年成立后,很快切入大模型的賽道,是國內最早布局大模型的機構,聚焦于探索大模型背后的技術體系。大模型這個中文概念也是2021年智源研究院發布1.0版本的大模型時提出來的。2021年6月,我們思考了一個問題:大模型到底意味著什么?當時我們提出,如果要讓大模型的能
64、力足夠強,服務足夠及時,就一定要盡可能地吸收全量數據,建立247訓練、247服務的運營體系。這樣的體系在全球范圍內屈指可數,不會超過五個。因為大模型歸根結底是一個數字形式的智能服務,存在一定的壟斷屬性,再加上對大因為大模型歸根結底是一個數字形式的智能服務,存在一定的壟斷屬性,再加上對大規模和實時數據的要求,運營難度是非常大的。規模和實時數據的要求,運營難度是非常大的。2022年2月,智源開始研究誰有可能擁有這種運營能力。當時美國普遍認為是Google,或者是 OpenAI+微軟。去年11月 ChatGPT 發布,OpenAI 占據了先發優勢,不過Google 也緊隨其后。當前中國已經有十多個模
65、型在運營了,但我認為這只是短期的狀態,長期內會收斂到最多兩三個。二、大模型對于人類的意義二、大模型對于人類的意義大模型開啟了智業革命的時代,縱觀人類歷史,只有兩件事可以與之相提并論。相較工業革命而言,如今我們面臨的是全新的革命,即智業革命。工業革命替代人的體力,而智業革命替代人的智力,因此它可以與工業革命相提并論。相較電力這種革命的產業形態而言,電力讓能源以流通的方式進入家庭和企業,智力革命也是如此。大模型相當于發電機,它不是產業中最主要的產品形態。在未來的幾年甚至幾十年內,智力運營系統將會源源不斷地為社會提供智力。今年,國家成立了國家數據局,這是因為智能的源頭是各種各樣的數據。但數據只是一個
66、生產要素,要將這種生產要素轉換成經濟社會發展的動力還需要依靠智力,并通過大模型訓練智力。因此,將來可能會出現像國家電網一樣的國家智網或國家智云,作為基礎設施,為千行百業、千家萬戶提供服務。自2021年起,智源研究院的研究重點從一個個具體的大模型轉向通過協同創新的方式,為這個時代構建一個先進的技術體系。智源的 FlagOpen 飛智大模型基礎軟件開源系統是由智源牽頭,多家共建的大模型開源開放軟件體系,將進一步推動智力革命??偨Y來說,當前 ChatGPT 已經擁有了很強大的智能。未來3年,除了語言模型會被廣泛使用之外,視覺、聽覺、具身、行動等通用智能的技術路線也會出現,并且影響會更大。未來10年,
67、智力革命會廣泛普及,就像工業革命解放的是體力,電力革命解決的是能源流通的問題一樣,它將構建一個全新的生態體系它將構建一個全新的生態體系,這需要全社會共同努力這需要全社會共同努力,而開源而開源開放將成為聯合各方的基本方式。開放將成為聯合各方的基本方式。未來20年,AI 技術還會快速發展。目前以 ChatGPT 為代表的是以數據驅動的靜態的智能,而未來的智能將是以時空環境驅動的具身智能,能夠進行實時感知、實時決策、實時行動。如此來看,當前的神經網絡還有很大的進步空間,它將不再是一個Transformer,而是類似于人腦的脈沖神經網絡。我認為,到2045年,無論是從物理載體還是從能力上來說,超越人類
68、的電子大腦和智能系統都會出現,經濟發展將迎來一個新的黃金期。與此同時,這也將帶來更大的安全問題,甚至比電力時代要大得多。因此,要同等重視 AI 安全和人類面臨的風險。漆遠:大模型發展與落地思考漆遠:大模型發展與落地思考漆遠 復旦大學人工智能創新與產業研究院院長,阿里巴巴原副總裁以下觀點整理自漆遠在中國宏觀經濟論壇(CMF)宏觀經濟熱點問題研討會(第73期)上的發言一、大模型的優勢一、大模型的優勢大模型的出現,如 ChatGPT,讓我們看到了強人工智能(AGI)的曙光。微軟研究院的一篇文章Sparks of AGI也對此進行了深入的探討。對于那些長期從事人工智能研究的人來說,當他們第一次看到 C
69、hatGPT 時,無不感到震驚。因為它的表現超越了我們的期望,讓我們看到了通用人工智能的影子。在過去在過去,我們需要花費大量的時間和我們需要花費大量的時間和精力去訓練不同的小模型,為解決一個個小任務。而現在,這種情況正在發生改變。精力去訓練不同的小模型,為解決一個個小任務。而現在,這種情況正在發生改變。大模型不僅能更好的跨領域泛化,而且能更好的推動產業發展和提升用戶交互水平。大模型不僅能更好的跨領域泛化,而且能更好的推動產業發展和提升用戶交互水平。人工智能的發展可能會改變其應用落地的模式人工智能的發展可能會改變其應用落地的模式。以往,我們衡量一家公司的人工智能能力,往往是看它擁有多少個小人工智
70、能模型。因為這些模型通常是針對特定場景進行定制的。例如,我們可能需要查看一千萬張貓臉或狗臉的圖片,才能精確地將貓臉和狗臉進行分類。這種模式需要大量的數據來進行特定模型的定制化研發,因此成本非常高。這容易使人工智能的應用實施變成一種外包模式,極大地限制了人工智能真正落地推廣的能力。大模型的出現則改變了這一狀況。它具有很強的場景適應能力,可以通過學習上大模型的出現則改變了這一狀況。它具有很強的場景適應能力,可以通過學習上下文或少數樣本的方式下文或少數樣本的方式,使用少量的訓練數據使用少量的訓練數據,做到快速泛化做到快速泛化。簡單地說,大模型(也稱為大語言模型)隨著參數的增加,其預測能力得到了質的飛
71、躍,這種能力就是強的泛化能力。這意味著,我們或許能擺脫人工智能的人肉外包模式和定制化模式,走向真正產品化模式。因此,生成式 AI 發展地非常迅猛。據統計,全球與生成式 AI 相關的企業估值去年已經達到480億美元,并且仍在持續增長。2022年的投資額達到21億美元,是2021年的10倍,OpenAI 便是其中的核心代表。其中,主要有三類企業。第一類是開發基礎模型的企業,第二類是開發應用程序的企業,第三類則是建立基礎設施來幫助開發和部署模型的企業。這些公司及其背后的技術都在高速發展。以一些具體的例子來說,Notion 原本是一家 SaaS 公司,主要幫助人們編寫文章,但現在它發展迅速,成功地將生
72、成式人工智能與協作和文檔等多種能力結合在一起;Bloomberg 發布了金融領域的第一個大模型;Jasper 也依托 OpenAI 的 GPT 模型構建了一套應用能力,迅速發展。二、大模型時代的機遇二、大模型時代的機遇生成式 AI 在中國也發展地十分迅速。如阿里、百度、訊飛等大公司,以及許多初創公司都已經進入了這個領域。然而,隨著越來越多的大模型的出現,我們不禁要問:它們的優勢到底在哪里?真正的應用價值和產業價值在哪里1 1、有護城河嗎?、有護城河嗎?人們常常會問,這個領域是否存在護城河呢?(是否有供應鏈、是否有生態、是否有數據?)目前看來目前看來,這個領域發展地非??爝@個領域發展地非???,還
73、沒有形成系統性的護城河還沒有形成系統性的護城河。公司規模是護城河么?不一定是。例如,在 ChatGPT 出現之前,我們從未想過,像 Google 這樣的大搜索公司會受到一家創業公司的沖擊。盡管 OpenAI 很出名,但與 Google 相比,無論是在工程師數量、系統復雜性還是產品影響力上,都不在一個量級??梢钥吹?,生成式人工智能可以讓一個相對初創公司對大規模公司產生非常有力的沖擊。微軟和OpenAI 的結合又打造了一個非常優秀的聯盟。在這個領域中,新的算法層出不窮,但隨著算法的發表和開源,單個算法創新不是護城河。數據非常重要。從數據角度而已,生成式人工智能是在收集整個互聯網的數據生成式人工智能
74、是在收集整個互聯網的數據做一個壓縮。傳統的網上公開數據已經不再構成護城河做一個壓縮。傳統的網上公開數據已經不再構成護城河。未來的發展方向可能是在場景中打造真正需要的產品,將產品、算法和工程系統未來的發展方向可能是在場景中打造真正需要的產品,將產品、算法和工程系統真正地結合起來真正地結合起來。OpenAI 的創始人在采訪中提到,ChatGPT 的成功并不是一個單點技術的成功,而是一個系統化的結合。2 2、價值將在哪里積累?、價值將在哪里積累?當前,生成式人工智能總營收的10%-20%將流向云服務提供商,而應用程序公司平均將20%-40%的年收入用于推理和定制化的微調,同時模型提供商也將一半的收入
75、投入到云基礎設施上。在這個過程中在這個過程中,最大的贏家是生產硬件的公司最大的贏家是生產硬件的公司。因為,無論是哪一家公司,它在快速迭代和探索中,都會有一個共同的依賴,那就是底層對 GPU 卡的需求。就目前來看,直接看到的最大收益者是 GPU 的生產商和云廠商。3 3、誰與爭鋒?、誰與爭鋒?1 1)大模型技術能對企業產生重大影響)大模型技術能對企業產生重大影響一家值得關注的公司是 Midjourney。這家公司在2021年成立,不到一年的時間就吸引了千萬級別的用戶,并在去年實現了過億美元的營收。這家公司的員工數量極少,今年上半年只有11名員工,其中4名本科在讀,8名研發工程師,另外3名員工負責
76、法務、財務和后臺工作。然而,這家公司產生的圖片質量卻非常高,覆蓋了建筑設計、平面設計、用戶界面設計和技術創作等多個領域。這家公司打破了這家公司打破了“規模決定一切規模決定一切”的傳統觀的傳統觀念,向我們證明了少量的員工也能產生巨大的影響力和價值。從這個案例中,我們可念,向我們證明了少量的員工也能產生巨大的影響力和價值。從這個案例中,我們可以看到大模型技術能對企業發展產生非常大的影響。以看到大模型技術能對企業發展產生非常大的影響。2 2)大模型的產業應用)大模型的產業應用國內市場也正經歷著非常迅速的發展。預計在2022年至2025年間,其年化增長率將超過40%,這是一個驚人的數字。人工智能未來在
77、金融、醫療、教育、游戲設計等行業人工智能未來在金融、醫療、教育、游戲設計等行業應用落地有不少空間。應用落地有不少空間。3 3)大模型的應用邊界)大模型的應用邊界在過去的幾個月里,大語言模型的應用邊界得到了極大的拓展,其中一個焦點是代理(agent)。代理是指在大語言模型基礎上增加規劃代理是指在大語言模型基礎上增加規劃、反饋和使用工具的能力反饋和使用工具的能力。它作它作為大模型與場景間價值傳遞的橋梁,能極大地拓展大模型的應用邊界,使其成為一種為大模型與場景間價值傳遞的橋梁,能極大地拓展大模型的應用邊界,使其成為一種系統性的超級應用。系統性的超級應用。只有大公司才能做大模型嗎?我認為并不是這樣。小
78、模型可以知識蒸餾。雖然現在大多討論的是千億模型參數、萬億模型參數,但我們發現,在某些特定領域,百億、甚至十億級的模型參數就能取得很好的效果。此外,國產替代也正在逐漸發揮作用。4 4、大模型作為生產力工具的挑戰、大模型作為生產力工具的挑戰然而,大模型在真正轉化為生產力的過程中會面臨一系列挑戰。首先,在生成能力上,如何實現可信可靠,避免出現“幻覺效應”?其次,對于復雜的應用場景,如何實現信息的動態集成?這包括代理如何調用外部數據庫?大模型本身如何快速、動態地集成和更新?這些都是技術領域的挑戰。此外,海量數據的獲取和算力方面也需要重點關注。據 MIT 團隊預測,在2026年,我們可用的公開數據將全部
79、耗盡。那么,未來的數據將從何處獲???如何獲得大規模的算力支持?這些都是需要解那么,未來的數據將從何處獲???如何獲得大規模的算力支持?這些都是需要解決的問題。決的問題。這里我談談大模型在精確性、可信性方面可進行優化的方向。首先,結合知識圖譜與注意力機制能大幅提高模型的數值推理的準確性。例如,OpenAI 官網列出了 GPT4在一系列真實數據集上和其他團隊最好結果的比較GPT4幾乎超越了其他所有工作。但在閱讀理解和數據推理的任務 DROP 上,GPT4落后于我們團隊以前的 QDGAT(QuestionDirected Gragh Attention Network)工作。該工作沒有采用完全自回歸的
80、注意力模式,而是結合了知識圖譜與注意力機制來提升數值推理準確性。我們認為在許多任務中我們認為在許多任務中,模模型的大小并不是唯一重要因素。如果我們能夠進行深入研究并結合其機制,也能取得型的大小并不是唯一重要因素。如果我們能夠進行深入研究并結合其機制,也能取得良好的效果良好的效果。其次,在精準性方面,雖然“文生圖、圖生文”的 AI 應用已經十分普遍,但文本生成的內容仍然難以控制。在實際產業應用中,控制文本生成的精準性非常關鍵。例如,為金融監管機構編寫一個自動生成的文本時,我們需要解釋為什么我們認為某一筆交易存在洗錢風險。此時,我們將 Transformer 神經網絡與基于合規知識的邏輯推理結合,
81、可以更加可控地生成文本。三、大模型的應用和發展方向三、大模型的應用和發展方向1 1、產業發展趨勢、產業發展趨勢從產業發展趨勢上看從產業發展趨勢上看,我們發現大模型與互聯網行業發展的趨勢類似我們發現大模型與互聯網行業發展的趨勢類似,當前正處于當前正處于商業模式探索階段。商業模式探索階段。2 2、垂直領域應用趨勢、垂直領域應用趨勢在垂直領域應用趨勢方面,大模型在法律、咨詢、金融、醫療以及更廣泛的科學領域,都有廣泛的應用。在科學領域,今年 7 月,馬斯克成立了 xAI 公司,目標是解答更深層次的科學問題、利用 AI 幫助人們解決更復雜的科學和數學問題,甚至理解宇宙。2 2)法律行業)法律行業路透社今
82、年收購了 Casetext,這是一個能夠分析法律文書的工具,可以快速理解文書、整理文書、進行案情分析和案件對比等,具有很高的實用價值。3 3)咨詢行業)咨詢行業在咨詢行業,由于其信息密集的特性,咨詢服務通常以信息為基礎,結合行業場景需求進行推理呈現。這個領域很可能直接受益于大模型的能力,比如知識總結要點、查詢數據庫等。因此,麥肯錫推出了 Lilli 產品,旨在幫助我們進行戰略分析。雖然最初主要依賴人力,但隨著模型能力的提升,大模型將會發揮更大的作用。4 4)金融領域)金融領域在金融領域,例如微軟與倫敦交易所的合作,已在新聞摘要等方面取得了一些進展。以下有兩個例子。例如,我們可以詢問大模型“美國
83、 CPI 核心通脹率高于 4%時,市場發生了什么?”大模型將會根據歷史上的情況,對美國財政和金融采取的措施及其達到的效果進行解釋。如果我們再問:“如何進行資產配置?”它也會給出一些相當好的建議。另一個例子是在財務報告分析方面。比如我們分析非常長的茅臺公司財務報告,可以向大模型詢問其經營狀況?;谶@份兩百頁的報告,大模型可以立即進行總結,包括經營狀況、現金流、未來歸屬等。我們還可以請大模型對財務報告中的一個或多個報表進行評論和總結。以前,這種工作主要依賴人工,而現在通過人工智能,我們大幅提高工作效率。5 5)醫療領域)醫療領域醫療領域也是大模型非常適合的應用場景。比如,在問診時,如果我說我感到口
84、渴、疲勞和視力模糊,大模型可能會回答我可能患有糖尿病。如果我再問糖尿病有哪些類型,它會告訴我有一型和二型。如果我問做哪些診斷能夠確診,它會根據相關的醫療知識給出更精確的回答,推薦體檢檢查項目等。此外,大模型還可以幫助我們理解體檢報告。比如,如果你的體檢報告很長,很多人看完后并不理解報告真正的意思,需要注意什么。大模型可以很好地幫助我們理解,比如血糖高、甘油三酯高意味著什么,某項指標或者多項指標合在一起它怎樣解讀。這能為廣大老百姓在理解體檢報告方面提供很大的幫助。6 6)制藥領域)制藥領域我們可以將化學分子視為一個序列,然后將其輸入到 Transformer 架構中做大模型預訓練和制藥 ADME
85、T 的多任務學習,比如在 ADMET 中預測藥物水溶性、穿膜性、毒性等。7 7)氣象學)氣象學此外,大模型也與氣象學有關。我們可以將天氣數據進行標記化(tokenization),并利用大模型的無監督學習能力進行分析。準確的氣象預測不僅對我們的日常生活重要,對新能源領域,如風力發電和光伏發電也有重大影響。我們利用復旦 CFFF 集群構建了伏羲氣象大模型,首次實現了精準的 AI 15 天中期天氣預報,預報結果與歐洲氣象臺的預報結果相當,但預報速度從小時級提高到了十秒內,實現了千倍的加速。我們不僅在研究科學大模型,同時計劃通過復旦大學的 CFFF 計算平臺,讓更多的科研人員能夠參與到科學大模型和科
86、學智能的研發中。為此,我們發起了世界科學智能大賽,在生命科學、大氣科學、材料科學、流體力學、量子化學等領域開放數據,并提供計算能力支持。目前,已經有上萬個團隊參加,取得了許多超出我們預期的有趣結果。我們希望未來能在更多的領域發展和應用人工智能,推進制藥、智慧醫療、健康管理、碳中和等領域的智能化升級。四、展望四、展望大模型的研發如今才剛剛開始。它實際上是一個生態系統,需要產業、高校、服大模型的研發如今才剛剛開始。它實際上是一個生態系統,需要產業、高校、服務平臺和資金的深度融合務平臺和資金的深度融合??萍紕撔滦枰虚L遠的目光和良好的心態,如果一定要成功,那就不是創新了。我們需要進一步探索技術、工程
87、和產品的結合,推進人工智能的發展與落地。我曾看到一個很有趣的預測。到 2030 年,人工智能一天能學完人類 2500 年的知識。這意味著未來的發展將超越我們最大膽的想象。我們需要更深入地思考和準備迎接未來。我們需要更深入地思考和準備迎接未來。沈建光:大模型在經濟活動中的應用和前景沈建光:大模型在經濟活動中的應用和前景沈建光 京東集團副總裁以下觀點整理自沈建光在中國宏觀經濟論壇(CMF)宏觀經濟熱點問題研討會(第 73期)上的發言一、京東大模型早期探索與實踐一、京東大模型早期探索與實踐我加入京東的一個重要動機是利用大數據宏觀研究來探索傳統宏觀研究的新變化。我想了解,如果有大數據作為支撐,宏觀研究
88、會發生怎樣的變化。當時,京東就開發了一個系統人工智能經濟學家系統。雖然它只是一個雛形,并不能與現在的人工智能大模型相媲美,但仍十分有意義。當時的設想是基于大數據和人工智能機器學習模型,對消費大數據進行消費預測,以及對與經濟活動和消費相關的各種因素,如收入預期,進行研究。后來,我們還在其他方面聚焦產業數據進行了實踐,這些實踐非常有意義。如今,人工智能大模型已經在各個領域得到了廣泛應用。從京東的角度來看,企業如何在大模型和通用模型的基礎上,在許多對經濟活動有最直接、最深遠影響的垂直領域進行應用呢?我將結合京東的實踐,談談我對此的看法。二、大模型能提高產出、降低成本二、大模型能提高產出、降低成本京東
89、是一家供應鏈科技公司,我們以數據供應鏈為核心優勢。我們為數千萬種商品提供服務,擁有5000萬種工業產品和800萬家活躍企業客戶。在全國范圍內,我們涵蓋了200多個產業帶。這種規模非常值得研究。從產業鏈、供應鏈的角度來看(包括金融鏈和物流業),我們的信息鏈條非常長、場景也非常多。在這種背景下在這種背景下,人工智能大模人工智能大模型的應用可以顯著提高產出并降低成本。型的應用可以顯著提高產出并降低成本。目前,我們擁有言犀人工智能開發計算平臺。我們不僅自己應用這個模型來進行價格設定和產品選擇,還幫助大量的中小微企業。具體而言,我們利用京東已經訓練出來的模型,直接為中小微企業提供高效、低成本的 AI 產
90、品和服務。這就是京東言犀正在做的事。三、大模型在營銷領域中的應用三、大模型在營銷領域中的應用同時,如何將如此眾多的產品匹配給最感興趣的客戶呢?我們的營銷平臺上有很多關于產品比較和介紹的內容。在過去,這需要大約七天的人工制作時間。而通過使用人工智能營銷平臺、基于大數據模型進行訓練,現在每套圖的制作成本只需要半天,并且使成本降低了90%。這是一個非常明顯的例子,展示了人工智能和大數據如何在產業上提高效率并降低成本。這種影響不僅在宏觀層面,在我們企業的實踐中也很明顯。在營銷方面,我們還有一個重要的應用是多模態數字人。數字人是指不再需要聘請明星或網紅來進行直播,而是通過人工智能生成一個高仿的數字人。這
91、個數字人根據客戶的需求,在五分鐘內就能生成。這項技術已經在四千家品牌商中得到采用。通過數字人,品牌商不再需要尋找人才或錄制視頻,只需將內容輸入,人工智能數字人就能像真人一樣推銷產品給客戶。這種方式也可以實現人機互動。這也是我們言犀大模型的一個優勢。通過過去二十年的沉淀和客戶服務經驗,我們將其轉化為大數據和人工智能的模型。實際上,與客戶對話的都是人工智能,但客戶感覺不到它是一個機器。這樣的數字人應用在許多商家的營銷中,降低了商家的成本。正如之前許多專家所說,人的知識庫很難非常全面人的知識庫很難非常全面,但人工智能在這方面能夠提供全面的但人工智能在這方面能夠提供全面的知識知識,并具備許多特殊的手段
92、并具備許多特殊的手段。當然,它也有一些局限性,但所有的限制都需要依靠垂直能力來克服。四、大模型在診斷和物流控制中的應用四、大模型在診斷和物流控制中的應用我們目前正在嘗試將大模型應用在診斷上,這是人工智能和大數據模型非常有前途的應用之一。它可以對各種疾病進行各種專家的會診,甚至可以提供一些建議。當然這最終還是需要醫生來進行判定。此外,京東的物流體系十分龐大。通過大模型,我們可以對物流進行控制,以達到最佳效果。這方面已經在產業界和企業界得到廣泛應用。這也充分展示了大模型降低成本和提高效率的效果。一旦這成為一個產業,千萬家中小微企業也能從中受益,并以低價享受大模型帶來的好處和服務。以上便是我從京東產
93、業實踐的角度,對大模型在經濟活動中的應用和前景的思考。李超:人工智能對宏觀經濟的影響李超:人工智能對宏觀經濟的影響李超 浙商證券首席經濟學家以下觀點整理自李超在中國宏觀經濟論壇(CMF)宏觀經濟熱點問題研討會(第 73 期)上的發言一、反壟斷利好人工智能一、反壟斷利好人工智能從2019年開始,全球主要經濟體包括中國在內都開始推進反壟斷的進程。我們認為本輪反壟斷將促進產業科技革命的進程。數據平臺壟斷會降低數據本身的應用效率和公平性,基于目前反壟斷的趨勢來看,未來數據共享模式將得到發展,進而使得生產企業,尤其是人工智能這類最需要數據的生產類企業可以獲取大量數據。因此,我們認為人工我們認為人工智能企
94、業將成為未來十到二十年間反壟斷政策的最大受益者,有助于人工智能領域的智能企業將成為未來十到二十年間反壟斷政策的最大受益者,有助于人工智能領域的技術發展。技術發展。二、債務危機二、債務危機目前全球積累了大量債務,債務本身是中性的,但是從它的積累方式看,可以分為正向積累和負向積累。當企業資本回報率大于負債利息時就是正向積累,此時企業會擴大再生產,發揮債務的規模效應。而當資本回報率小于負債利息時,企業將陷入發新債還舊債的困局,即負向積累。而當所有的微觀企業都陷入負向積累時,國家稅收無力為繼也只能去舉債。實際上,目前主要的大經濟體基本都處于這一狀態,即債務負向積累的晚期,這就容易造成以下幾個負面影響。
95、1 1、負利率、負利率一般來說,負利率的負面影響是最小的,它是金融市場自然選擇的結果。債務雙方進行妥協,降低利率到達一定程度就出現負利率,目前歐洲、日本等許多國家已經大面積出現負利率的情況。但是,疫情期間發達經濟體普遍選擇釋放流動性,引發通脹,這就使得利率下降承壓,此時就容易發生債務危機。2 2、主權債務危機、主權債務危機自現代貨幣理論誕生后,各國央行均可采取無限釋放流動性的方式救助各類市場的債務危機,如房地產危機、銀行危機、企業信用危機、個人貸款危機等等。最后導致這最后導致這些風險都聚集于國家層面,因此未來金融危機基本只有一種形式,即主權債務危機。些風險都聚集于國家層面,因此未來金融危機基本
96、只有一種形式,即主權債務危機。主權債務危機是一種較為劇烈的債務出清,對經濟會造成巨大的沖擊。主權債務危機是一種較為劇烈的債務出清,對經濟會造成巨大的沖擊。3 3、戰爭、戰爭歷史上歐洲就曾出現過主權債務危機,歐央行、IMF 可以選擇繼續采取釋放流動性的方式進行救助,但是這種救助方式是有成本的。投放巨量流動性容易引發資產價格泡沫,而不同收入群體對資產價格泡沫的識別能力存在差異,進而會導致貧富差距增大。當這一差距達到一定極限時就會進入民粹主義,即政治上的異化,對外轉移矛盾時就當這一差距達到一定極限時就會進入民粹主義,即政治上的異化,對外轉移矛盾時就容易引發戰爭,戰爭毫無疑問是最慘烈的去債務方式。容易
97、引發戰爭,戰爭毫無疑問是最慘烈的去債務方式。三、人工智能破解債務負向積累三、人工智能破解債務負向積累人工智能驅動的科技革命將極大的降低主權債務危機和戰爭爆發的風險。微觀層人工智能驅動的科技革命將極大的降低主權債務危機和戰爭爆發的風險。微觀層面來看,人工智能將提升企業的資本回報率,破解企業層面的債務危機;宏觀層面來面來看,人工智能將提升企業的資本回報率,破解企業層面的債務危機;宏觀層面來看,以人工智能為代表的科技革命將通過提升全要素生產率,推動經濟發展,使企業看,以人工智能為代表的科技革命將通過提升全要素生產率,推動經濟發展,使企業能夠積累更多財富,進而增加國家稅收,極大地降低主權債務風險。能夠
98、積累更多財富,進而增加國家稅收,極大地降低主權債務風險。我們認為本輪人工智能科技革命將廣泛應用于生產生活領域,驅動第四次工業革命。我們類比分析了第二、第三次工業革命對推進全要素生產率提升的影響:第二次工業革命中,全要素生產率沒有特別明顯的提升,原因在于電網向生產生活的應用是碎片化的。而第三次工業革命,互聯網和計算機在生產生活中迅速推進應用,全要素生產率出現了大幅提升,之后雖經歷了如智能手機、iPad 等科技上的突破,但全要素生產率整體呈現出逐漸鈍化的趨勢。我們預測第四次工業革命的發展應用將與第三次相反:前期主要圍繞單一領域應用,比如特斯拉的無人駕駛技術,之后再轉向下一個領域,如無人廚房。不同領
99、域間碎片化的突破可能不會對全要素生產率有明顯提升,但發展后期如果出現關鍵性的技術突破,如人型機器人,就有可能實現對生產、生活各領域的系統性快速推進,進而推動全要素生產率的明顯抬升??偟膩碚f總的來說,以人工智能為代表的第四次工業革命可以人工智能為代表的第四次工業革命可能使全要素生產率呈現前期穩定、后期明顯提升的趨勢。能使全要素生產率呈現前期穩定、后期明顯提升的趨勢?;谇懊鎸I革命的推演,我們認為全要素生產率提升的關鍵,還是要看人工智能技術突破的可能性。對中國而言,我們現在的經濟結構調整也迫切需要全要素生產率的提升,這也將是中長期中國經濟發展破局的關鍵所在。四、美元仍處于貶值周期四、美元仍處于
100、貶值周期人工智能、大數據、云計算、物聯網的萌芽推動美元進入了2011-2018年的上漲周期。但是美元指數上升的幅度又不夠大,原因在于這些突破性技術無法應用于生產與生活。我們認為我們認為20182018年底到年底到20282028年底這十年,正常情況下應該是美元的貶值周期。年底這十年,正常情況下應該是美元的貶值周期。一方面,新興市場競爭優勢異化,越南、墨西哥利用人口紅利承接產業轉移,中國處于人口質量紅利較強的階段,從而在理論上反向拉出一輪美元的貶值周期。另一方面,美國如果沒有快速的技術突破,大量高端制造業仍需要中國來生產,美元大概率則會是一個持續的貶值周期。劉陳杰:人工智能是中國未來經濟增長的新
101、動能劉陳杰:人工智能是中國未來經濟增長的新動能劉陳杰 望正資本全球宏觀對沖基金董事長以下觀點整理自劉陳杰在中國宏觀經濟論壇(CMF)宏觀經濟熱點問題研討會(第73期)上的發言一、人工智能發展背景:舊有經濟增長驅動力式微一、人工智能發展背景:舊有經濟增長驅動力式微中國經濟在疫情后逐步復蘇,但未來一個階段將面臨來自房地產和地方政府投資中國經濟在疫情后逐步復蘇,但未來一個階段將面臨來自房地產和地方政府投資兩方面的趨勢性壓力兩方面的趨勢性壓力。2008年全球金融危機之后,房地產和地方政府投資兩大增長模式拉動了80%以上的中國經濟,對短期經濟穩定意義較大。但目前來看,房地產市場面臨新增剛需的趨緩風險,地
102、方政府債務型增長則面臨可能堆積的金融風險,中國過去的經濟增長模式驅動力不足。首先,地方政府債務擴張型增長模式式微。2008年金融危機后,地方政府債務驅動型的增長模式對中國經濟的恢復和增長起到了重要推動作用。但是,通過存量模型測算,目前中國地方政府債務水平已接近70萬億。短期來看,地方政府債務的進一步擴張,將對中國金融穩定和經濟健康發展產生影響。長期來看,中國獨特的財政、金融體制和經濟結構,使得政府債務增長的最大邊界必然與國際存在差異,因此還需要進一步研究中國地方政府債務的最大邊界。其次,房地產剛需見頂。去年我們根據中國人口結構、家庭結構、收入預期、城鎮化率、住房存量結構各方面因素,模擬得出包括
103、改善型需求曲線在內的中國房地產剛需曲線。從曲線可以得出,2020-2021年的房地產銷售為14億平-16億平,將是未來10-15年內的最高點。2030-2035年中國房地產需求平均為每年10億平左右,且房地產剛需的平均水平呈現中樞下移趨勢?;谶@一結論,與地產相關的一系列財政體制、金融體制、行政體制、政府職能等等都需要發生一些變化。我們也看到,截至目前很多城市在政策方面不斷放松,通過政策刺激可能促進房地產市場短期內好轉,但剛需縮減、中樞下移的長期趨勢仍是需要關注的問題。從中國經濟的基本面來看,當前實體經濟投資回報率低于融資成本,而房地產和從中國經濟的基本面來看,當前實體經濟投資回報率低于融資成
104、本,而房地產和地方政府投資這兩個過去推動經濟增長的主要力量縮減之后,提升實體經濟投資回報地方政府投資這兩個過去推動經濟增長的主要力量縮減之后,提升實體經濟投資回報率和提高勞動生產率就需要在供給層面下工夫,特別需要新一輪供給側結構性改革。率和提高勞動生產率就需要在供給層面下工夫,特別需要新一輪供給側結構性改革。我們認為人工智能將成為一輪供給側結構性改革我們認為人工智能將成為一輪供給側結構性改革2.02.0版本版本,特別是在發揮全要素生產力特別是在發揮全要素生產力方面人工智能將發揮特別重要的不可替代的作用。方面人工智能將發揮特別重要的不可替代的作用。二、人工智能將成為未來經濟增長的新動力二、人工智
105、能將成為未來經濟增長的新動力基于新古典理論,將人工智能納入一般均衡模型中,主要是通過三個方面影響經濟增長潛在增速:第一,人工智能可以不斷提高生產自動化和智能化的進度,實現資本對勞動的更高替代,減輕勞動力成本上升帶來的成本的增加。第二,人工智能會進一步增強第二產業、第三產業資本深化的增加,進而提高資本的回報率,緩解人口結構紅利式微背景下的投資率和儲蓄率下降對經濟增長的不利影響。第三,人工智能會通過改進生產方式、節約成本等方面促進全要素生產率提升,從而對沖其他要素稟賦的變化對經濟增長的沖擊?;谀P头治?,保守來看,我們認為人工智我們認為人工智能的發展能夠一定程度上減緩能的發展能夠一定程度上減緩未來
106、十年經濟潛在增速的下滑趨勢。未來十年經濟潛在增速的下滑趨勢。樂觀來看,如果人工智能在未來實現爆發式增長,我們相信人工智能有能力支撐中高速的經濟增長以及中國經濟高質量發展。三、人工智能對行業的影響三、人工智能對行業的影響從時間維度上看,由于人工智能的準確性有待提高,因此對各個行業的替代是有從時間維度上看,由于人工智能的準確性有待提高,因此對各個行業的替代是有時間層次的,我們預期在準確性要求較低的行業和場景將落地較快,對準確度要求更時間層次的,我們預期在準確性要求較低的行業和場景將落地較快,對準確度要求更高的應用和行業需要進一步調試和時間,中短期高的應用和行業需要進一步調試和時間,中短期 AIAI
107、 將更多作為輔助工具。將更多作為輔助工具。目前 AI 已初步應用于產品控制、生產優化、質量檢測等環節,隨著精度和熟練度的提升,之后會轉向高精度要求行業,如金融投資、高端制造、智慧辦公等等。從勞動力替代的角度來看,一方面,人工智能可以高效完成重復性的工作從而節從勞動力替代的角度來看,一方面,人工智能可以高效完成重復性的工作從而節省大量人工省大量人工,同時隨著發展作用于更廣泛的行業領域同時隨著發展作用于更廣泛的行業領域,如法律、醫療、教育、金融、交通、娛樂等等。因此,我們相信人工智能的應用將會對經濟運行方式和人們的生活方式產生極大的革命性改變。另一方面另一方面,人工智能將會對歷史上較難自動化的腦力
108、勞動有較人工智能將會對歷史上較難自動化的腦力勞動有較大影響。大影響。生成式 AI 不但有較好的特定技能如語言、圖像、音樂、數學和編程等,還有將不同技能組合從而更好認知和解決較復雜的問題的能力。因此我們認為 AI 的投入和使用將會替代一些傳統意義上較難自動化的職能,如營銷、研發和軟件編程。四、人工智能大模型應用落地持續推進四、人工智能大模型應用落地持續推進對于大模型應用落地主要有三點判斷:第一,本輪人工智能創新周期可能快于互聯網周期。一方面,人工智能硬件壁壘低于同時期的互聯網,另一方面,大模型發展初期的門檻也相對較低。第二,人工智能的硬件、軟件及應用在產業領域不斷深化,應用生態不斷拓展,從而系統性推動人工智能大模型的發展。第三,人工智能的發展可以分為三步,第一步是建設完成硬件基礎設施,第二步實現重要應用落地,第三步則是人工智能廣泛應用于生產生活的各個環節中去?,F階段產業內已集聚一系列代表性公司,并持續進行投入研發,據保守預測,到2030年人工智能硬件、應用及平臺領域的年均增長將達50%以上,我們認為中國目前正處于向第二步邁進的階段。