1、未盡研究 看 DAO 2024看 DAO20242未盡研究 看 DAO 2024看 DAO 2023 回顧 3瞧，這些萬億巨頭 5生成式 AI 十大展望 8算力“破墻”11自動駕駛換道大模型 14量產人形機器人 17從元宇宙到“新現實”20醫療智能體 22“通用”基因編輯 25中美風投再分岔 28推理的碳足跡 32結語 34目錄如果沒有 ChatGPT 打開的 AI 之光，2023 年的世界，將會暗淡很多。但 2024 年，AI 會不會更像是巨頭手中的超級工具。與前兩年不同的是，看 DAO2024選擇了 AI 為主題，巨頭為主角。3未盡研究 看 DAO 2024合成生物準確性：核心判斷：202

2、3 年，人工智能等底層技術將繼續創造與優化酶與底盤等生物元件，更多基于合成生物的碳中和技術與新藥研發得以驗證。典型事件：Ginkgo 將與輝瑞共同開發多款 RNA 藥物，美國能源部也資助這家行業巨頭研究抗菌藻類以減少碳排放。但從研究到量產仍然困難。Ginkgo 市值從 280 億美元跌至 28億美元，另一家合成生物巨頭 Amyris 申請破產。半導體準確性：核心判斷：中國半導體行業在 2023 年需要與時俱進的新一輪產業政策，聚焦制造薄弱環節，打造中國半導體行業的創新生態。典型事件：歷經調整后，大基金二期加速投資步伐，集中于芯片制造環節。大基金三期目標籌集 400 億美元。華為麒麟 9000S

3、 的突破成為業界繼續推進國產替代的定心丸，政策加快創新生態的形成。元宇宙準確性：核心判斷：2023 年元宇宙的重點，將是設備的突破，即能為用戶提供“基本可用”的 VR 和 AR 等設備，并且性價比易于普及。人工智能在 AIGC 的拓展，包括 AI 生成 3D，將成為 2023 年元宇宙的創新亮點。典型事件：蘋果發布了 Vision Pro，但尚未正式銷售。它的硬件性能遠超當前主流消費級設備，但價格昂貴。受限于VR 等設備全年出貨量不及預期，盡管 AIGC 進展迅速，多數創新并非直接面向元宇宙。甚至 Meta 發布會也很少提及“元宇宙”，它的熱度被空間計算取代?？?DAO 2023 回顧 新能源

4、準確性：核心判斷：全球化石能源消費將于 2025-2030 年間開始下降。中國碳達峰可能提前至 2025 年。未來 5 年新增可再生能源裝機，中國將占一半。典型事件：IEA最新預計全球煤炭消費將2026年開始下降，中國煤炭需求在 2024 年下降。今年，中國水泥行業提前碳達峰。全球可再生能源新增裝機容量刷新歷史最高紀錄，中國占近 55%。人形機器人準確性：核心判斷：無論與人一樣敏捷的雙足機器人，與人自如對話的虛擬人，還是用外骨骼或腦機接口實現人體與機器的合體化，2023 年人形機器人將會加快走向商業化。典型事件：特斯拉“擎天柱”迅速迭代，小鵬、小米等公司涌入。李飛飛團隊試驗了 NOIR 腦機接

5、口機器人。福特與亞馬遜開始試點人形機器人 Digit 的商業應用。中國出臺了全球首部發展人形機器人頂層設計文件。自動駕駛準確性：核心判斷：2023 年，輔助駕駛將更大規模部署到電動車上，新的應用場景得到不斷開拓，中國超越美國成為全球自動駕駛技術最大的試車場。典型事件：百度近五年來的累計路測里程與累計服務訂單超越了 Waymo。中國當前乘用車 L2 及以上智駕滲透率超過了42%，較去年 30%大幅提升。換道大模型的特斯拉也準備好讓完全版的 FSD 在中國落地。低軌科技準確性：核心判斷：2023 年，在更多的公司和資本的支持下，火箭發射成本進一步下降，太空是經濟發展的下一個前沿。典型事件：全球全年

6、火箭發射次數首次突破 200 次，主要由 SpaceX 貢獻；亞馬遜的衛星星座正式升空。中國的朱雀二號成為全球首枚入軌的液氧甲烷火箭。但星艦尚未成功入軌，發射成本大幅下降仍待明年。準確對了一半 不準確4未盡研究 看 DAO 2024人工智能準確性：核心判斷：2023 年值得期待的，不僅僅是 GPT-4，人工智能大模型將會生成視頻、3D 建模，多模態的組合，也將會應用于科學研究，包括蛋白質結構預測分析、新材料、新能源。典型事件：2023 是大模型軍備競賽的一年，GPT-4、Llama2、Gemini 等相繼發布，中美控制了世界上 80%的大模型。Runway 與 Pika 等初創企業正在顛覆視頻

7、行業。人工智能輔助天氣預報等研究成果占領了頂級科學期刊封面，預測出 200 多萬種晶體結構。下南洋準確性：核心判斷：2023 年，中國風險資本與華人創新者將在陣痛中尋找機會?？缇畴娚膛c金融支付等數字技術在東南亞擴散；先進制造將產能優勢復制到更靠近市場的地區。典型事件：今年，投資者與創業者熱衷于談論中東主權財富基金。字節跳動收入超過騰訊，優勢在于全球擴張；Temu與 Shein 合計美國用戶逼近亞馬遜。比亞迪等新能源企業繼續在歐洲投產，供應鏈向周邊及海外延伸。中國創業者和企業家出海，走自己的全球化之路。中美創投準確性：核心判斷：國家、資本與技術，正在中國形成新的創新生態。2023 年，隨著走出疫

8、情，以及對平臺經濟建立常態化管理，消費和互聯網的投資有可能再度活躍。典型事件：今年，中國“以投促引”進一步下沉，中西部省份新成立基金數量逆勢增長，政府引導基金目標規模提升至13 萬億，硬科技企業上市退出全球最為活躍。但在全球范圍內，消費與互聯網企業融資都大幅縮水。人口國運準確性：核心判斷：在長期推動經濟增長的人口、資本與全要素生產率中，中國將更加依靠全要素生產率的提升，更加依靠青年人才參與到創業與創新活動中。典型事件：年底，官方解讀中央工作會議，強調“新質生產力以全要素生產率提升為核心標志”，圍繞“技術革命性突破、生產要素創新性配置、產業深度轉型升級”展開。5未盡研究 看 DAO 2024瞧，

9、這些萬億巨頭 蘋果，微軟，字母表（谷歌），亞馬遜，英偉達，Meta，特斯拉（馬斯克），這些公司之間有什么共同點？是的，它們都是科技巨頭（Big Tech）。它們的市值目前都在萬億美元以上，或者曾經達到過。其中的 5 家，每年研發支出達到了 250 億美元以上?？萍季揞^曾經是指那些通過互聯網建立起強大平臺經濟的企業，擁有十億用戶級別的軟件及應用。它們往往贏家通吃（Winner takes all）?？萍季揞^的概念也在隨著技術演變。它們實現了軟硬件一體，除了軟件，它們也設計和制造終端設備，包括 PC、手機、可穿戴、AR/VR、傳感器、機器人、智駕汽車，它們也正在滲入到制造業的流程中。它們還建立起了

10、強大的云計算和企業服務能力，包括芯片、超級計算機和超大規模的數據中心，為第四次技術革命提供最重要的基礎設施。它們已經開始全面競爭一種全新的能力，生成式 AI。在深度學習領域的競爭，從 2012 年視覺計算取得突破時就已經開始，因為大模型的流行而加劇，但只有在ChatGPT發布之后，過去的一年，生成式AI大模型成為科技巨頭之間“軍備競賽”的焦點，迅速成為巨頭技術棧上標配的一層。它正在成為所有巨頭的業務基礎模型?？萍季揞^的核心能力，越來越區別于其他非科技企業和非巨頭企業。它們能把技術和應用端到端地垂直整合到一起，不斷擴張業務范圍，形成一種科技巨頭所獨有的、以計算和智能為核心的創新能力。它們都是全球

11、化的企業。這樣看來，華為也是這樣一家科技巨頭，它也已經建立起了從芯片到軟硬件應用的全棧技術能力，以計算和智能為核心展開業務范圍。它在 2022 年的研發投入達到了 240 億美元。但華為是其中幾家巨頭的挑戰者。巨頭公司的研發投資覆蓋了基礎技術研究和具體產品的開發。除此之外，它們每年還把研發和投資的 20%左右，投入企業內部 IT 系統、效率軟件、先進的技術平臺、以及數據中心等基礎設施，并持續地提升員工技能，不斷把那些復雜和重復的業務和流程進行自動化和簡化。巨頭企業保持內部技術的先進性，是其創新和競爭力的一個重要來源。巨頭用最先進技術圍繞用戶數據建立起了正向的反饋機制，形成了飛輪效應。人工智能正

12、在加快這一飛輪的運轉，放大它們在各自領域的核心能力，也在生成新的能力。生成式 AI 更像是這些科技巨頭為自己發明的新工具，一種放大器和加速器。AI 最早的受益者是科技巨頭自己。英偉達從 2012 年起就開始為深度學習提供 GPU，營造 CUDA 生態，10 年之內把自己變成了科技巨頭。巨頭最早受益于AI的，都是其核心業務，如云計算和廣告，目前是企業服務和生產力軟件，接下來還有硬件和消費智能產品，以及新的“贏家通吃”的領域。深度學習的黃金十年來源：Wind，未盡研究說明：市值漲跌幅，對數軸。標普 500 其他指不包含七巨頭的標普 500 成分股的總市值，此外，特斯拉等部分企業部分時段不屬于 SP

13、500 成分股。七巨頭整體指七巨頭總市值的整體變化。以 2012 年 11 月 19 日為基準 100%。特斯拉英偉達臉書亞馬遜微軟七巨頭整體谷歌蘋果標普 500 其他市值漲幅 2012 年 11 月=100%12年12月14年15年16年17年18年19年20年21年22年13年23年12月10001001006未盡研究 看 DAO 2024巨頭的無限游戲我們正處于當年個人電腦開始的同樣時期。1980 年代初，信息技術革命發軔于英特爾發明的 CPU。喬布斯創辦了蘋果電腦，比爾蓋茨創辦了微軟，近 50 年后，它們跨越了 PC、互聯網、移動、云計算，直到人工智能，至今是世界上市值最大的兩家公司。

14、同樣，2023 年，AI 開始真正大規模走向消費者。AI 時代真正開啟，人們稱之為蘋果時刻、人機交互的范式轉移時刻，尋找這個時代的蘋果和微軟。但是，科技巨頭似乎從源頭就控制著這一切。通用人工智能最具顛覆性的兩家初創企業，DeepMind 和OpenAI，前者被谷歌收購，后者技術被微軟買斷和控制。生成式人工智能，從訓練最先進的大模型，如 GPT-4、Gemini、Claude2，到向數億用戶部署和應用，多數都要依靠微軟、亞馬遜和谷歌這三家的云計算。英偉達成為新晉的科技巨頭，除了用于 AI 加速的 GPU 芯片，它也在構建其人工智能的基礎設施，還成為過去一年投資人工智能初創企業最多的公司。它們控制

15、了數據。用來訓練生成式人工智能的自然語言數據、視覺數據、代碼符號數據、知識圖譜，包括合成數據，海量地來自并存儲在這些巨頭的業務、平臺和基礎設施中。更重要的是，大數據創造了對自動化和人工智能的需求。生成式人工智能重新定義了大數據。由于人類已經開始掌握以大型語言模型（LLM）技術以產生智能，網絡上的公開數據、企業數據、個人數據、自然界中的數據，以及人工合成的數據，都可以成為訓練智能的原料?？萍季揞^本身擁有巨大的數據庫，它們還在獲得更多和更好的數據。它們建立起了聯盟，為用于人工智能訓練的數據建立標準。它們可以合成數據，成為新的模型的訓練的來源。目前許多人工智能的研究和模型訓練，開始用 GPT-4 等

16、先進大模型生成或者標注的數據來訓練。除了公開數據，OpenAI 還開始與各機構展開私有數據的合作。它們掌握了算力。巨頭們已經在全球各地建立了數據中心，擁有最先進的 AI 加速算力；或者已經囤積的 AI 芯片，已經超過了世界上許多中等國家所擁有的數量。它們除了用來實現自身業務的 AI 化之外，還去進行科學探索：AI 用于創新藥研發、醫療服務、芯片設計、材料發現、能源轉型和應對氣候變化。英偉達 H100 去向1501209060300特斯拉TiktokLambda阿里巴巴百度CoreWeave騰訊甲骨文亞馬遜谷歌微軟Meta數量：千15202025304050505050150150來源：Omdi

17、a，未盡研究說明：預估 2023 年 H100 主要買家購買的 H100 芯片數量。7未盡研究 看 DAO 2024巨頭所擁有的強大的算力，實際上是人工智能所引領的第四次工業革命的基礎設施。微軟以后每年將在數據中心投入500 億美元，包括自行研發的芯片的支出，這已經相當于一個科技大國的 AI 基礎設施的投入。亞馬遜和谷歌，都在為數據中心更高的計算效率研發芯片。蘋果研發的手機和個人電腦的芯片，已經超過了專業的芯片設計公司。美國及許多國家的政府、大學、研究機構，會日益依賴這些巨頭的算力基礎設施。發展人工智能成為許多國家優先考慮的事項，這些巨頭的云中心已經遍布世界各地，它們可以在這些數據中心的基礎上

18、，輕松地與當地政府合作。擁有數據和算力，加上資本的力量，這些巨頭可以吸引世界上最好的人才。它們建立起了最先進的研究部門，吸引了世界上最優秀的圖靈獎獲得者和理工科博士，也掌握了最好的算法Transformer 論文就出自谷歌，而谷歌一直是最高質量 AI 論文的來源地。Meta 也建立了超級算力集群，研發出最流行的開源機器學習庫 PyTorch，不僅支持自已在社交媒體上的推薦算法，支持它建立起最大的線上廣告系統，而且推出的大模型 Llama 引領了開源大模型潮流。這些巨頭公司還有一個重要特點，都是從初創企業成長起來的，除了蘋果公司之外，其創始人依然在管理企業，或者對企業的方向與戰略發揮著影響力，其

19、 CEO 依然能讓日益龐大的企業保持敏捷。企業體內部活躍著技術基因，工程師思維主導了企業文化。巨頭不僅砸下巨資進行前沿技術的和新產品研發，打造先進的企業 IT 系統和技術平臺，它們還投資、收購初創企業。2023 年，對生成式 AI 的投資，微軟、谷歌、亞馬遜、英偉達等幾家大型科技巨頭對大模型初創企業的投資，金額上遠遠超過了獨立的風險投資機構。它們投資的戰略性也越來越強。巨頭投資大模型初創公司，其中相當大的金額就是算力信用的投入。例如微軟對OpenAI投資130億美元，其中很大一部分是Azure云計算；亞馬遜以 40 億美元投資大模型初創公司 Anthropic，其中多數是 AWS 的算力信用。

20、而巨頭們自研的 AI 芯片，也將用于這些大模型的訓練和推理功能。谷歌則更早建立起這樣一個共生鏈條。硅谷人稱“云洗錢”。但目前食物鏈的頂端仍然是英偉達。巨頭們不僅控制了最強大的閉源大模型，而且控制了最流行的開源大模型，如 Meta 推出的 Llama，微軟研發的 Phi 系列的小型開源模型等。Google DeepMind 還能結合最強的強化學習模型進行科學發現。這些企業還擁有全球化的優勢，它們的用戶、業務、供應鏈和數據中心遍布世界各地。美國巨頭與中國巨頭的國際競爭主要在東南亞，AI 的興起，讓兩國巨頭在社交、視頻、電商、云計算的競爭愈發激烈。巨頭主導生成式 AI 風險融資來源：Pitchboo

21、k，未盡研究說明：全球范圍內，截至 2023 第三季度。融資額：十億美元2020202120222023Anthropic-亞馬遜Inflection-微軟OpenAI-微軟傳統風投252015105041268101.348未盡研究 看 DAO 2024生成式 AI 十大展望2024 年，優化訓練和部署大模型仍然非常重要，大模型的生態加速形成，應用開始在一些領域大規模展開，主要表現在如下十個領域：1.智能體作為任務助理進入更多應用場景和業務流程智能體能有一定的主動性，能幫助完成任務，而不僅僅是問答。在感知環境后，通過其大腦（大型語言模型），調動其他的程序、應用、知識，甚至自己編程，規劃和執行

22、更復雜的任務。有了智能體，許多人可以用經驗和專業知識，通過自然語言而不限于編程代碼去寫軟件。2.操作系統集成下一代大模型，成為下一代操作系統大型語言模型日益操作系統化，AI 芯片為它設計，PC 和手機的操作系統為它升級，AI 應用成為它的下游，上下文管理類似于操作系統的內存。微軟將推出 Windows12 操作系統，在 PC 上與下一代大模型和 Copilot 深度集成。在移動設備上部署的模型，也與 iOS 與安卓操作系統緊密結合，實現 AI 功能和建立 AI 應用商店。3.生成式 AI 制作的影視劇大量出現，沖擊影視行業發生劇變圖像和視頻是生成式AI迭代最快的領域之一，GPT-4V等多模態大

23、模型的推出，基于擴散模型的Dall-E 3、Midjourney和Stable Difusion的功能不斷增強，LCM-LoRA等技術達到了實時生成圖像和視頻的效果，對影視、音樂、游戲等內容娛樂行業的影響是顛覆性的。這方面的應用也是巨頭目前還染指不多的領域。2024 年將大量出現由生成式 AI 產生的影視劇，創作者、用戶以及角色之間將會出現嶄新的交互方式。4.人形機器人開始量產，自學習與環境互動能力進一步強化在已有的機器人技術之上，多模態和具身智能的大模型，不斷展示出驚艷的效果。大型語言模型的推理和規劃能力，與視覺模型結合，可以通過獲取周圍環境數據，學習人類用手腳完成任務。2024 年人形機器

24、人開始量產，開始在工作場景中進化迭代人類的靈活性。來源：MemGPT:Towards LLMs as Operating SystemsEvent 事件Parser解析器主要上下文token 上限外部上下文 tokenLLM Processor 大模型處理器Parser解析器Yield返回Function 功能Virtual context虛擬文本信息發送信息文件上傳讀取內存系統消息寫入內存時間暫停中斷9未盡研究 看 DAO 20245.終端設備加載 AI 模型，推動換代升級小型化的大模型可以加載到筆記本電腦和手機等終端設備上，用戶不僅可以更快捷地生成內容，而且可以利用自己本地的數據和知識進行

25、檢索生成，建立起定制化的智能體，更快捷地進行推理，也保護了數據安全和個人隱私。AI 設備的主流硬件規格將包括內置 7-10B LLM 模型、40-50 TOPS AI 算力、10-20 token/s 以上推理速度、8-16GB 以上 DRAM 等。6.下一代閉源大模型推出，開始出現勝任人類水平的 AGI“火花”，但規模邊際效應遞減OpenAI 與微軟將推出 GPT-5，谷歌將推出 Gemini Ultra，亞馬遜也在訓練數萬億參數的大模型。下一代大模型將是多模態的、使用更多合成數據的、混合專家系統的，會消除一些幻覺、增加上下文長度、信息更加準確和及時、基礎數學水平有所提升，等等。更多更好的數

26、據、更強的算力、更順的搜索，依然是產生智能的根本因素。加上 RAG（檢索增強生成）補充非參數化的知識，閉源大模型會應用于更多的場景。檢索增強生成技術的時間線檢索增強生成(RAG)預訓練精調推理增強階段增強數據預訓練非結構數據精調結構數據推理大模型生成內容來源：Retrieval-Augmented Generation for Large Language Models:A Survey，2023，Yufan Gao et al 10未盡研究 看 DAO 20247.數據來源的深度和廣度進一步開拓，進一步規范，更多合成數據與自然數據結合用于大模型訓練數據決定了泛化的邊界。自然語言數據，以及直接

27、從現實世界事件或對象中收集得到的數據，已經無法滿足下一代大模型的訓練的胃口。在專業領域和垂直場景，非公開的數據將會發揮更大的價值。大模型訓練、自動駕駛、機器人、圖像生成、模擬仿真等，都在大量使用合成數據的同時生成新的數據。越來越多的數據標注也由AI來完成。但是，只使用合成數據可能會造成數據多樣性不足和自循環訓練的問題。2024 年將會看到 AI 企業尋求合法獲取更多非公開數據，以及使用更多的混合數據。8.蘋果真正入局，力爭復現 AI“iPhone 時刻”2023 年被稱為大模型之年，蘋果表面上在作壁上觀，但實際上在芯片及軟硬件方面的研發一直在加大力度，只做不說。2024 年蘋果將把 Vison

28、 Pro 推向市場；PC 和手機加載大模型，蘋果是其中最重要的玩家；為了建立 AI 應用生態，操作系統封閉的蘋果擁抱開源模型。蘋果被廣泛期待能給消費市場帶來更好的 AI 產品體驗。9.一些開源模型及 AI 應用，因為無法建立起商業模式將面臨生存危機絕大多數初創企業的開源模型，目前還無法在提供推理服務、授權、訓練和部署模型方面建立起用戶基礎；消費類模型+應用的初創企業，在激烈的競爭中多數將遭淘汰；純應用類的初創企業，許多將遭到巨頭碾壓或者很快在更新的開源技術迅速推廣中出局?？焖佾@取用戶并且在反饋中建立起數據飛輪的企業將贏得生存。而能結合起應用場景、行業深度和垂直數據來源的企業，將能保護好自己。1

29、0.小模型結合軟硬件應用，新物種涌現2023 年是大模型之年，2024 年也將是“小”模型之年。更多幾十億到上百億參數的小模型，通過模型架構、算法、訓練和精調的創新，以及結合外部檢索，性能可以叫板百億參數大模型，甚至追平 GPT-3.5（1750 億參數）。開源模型許多來自中國、歐洲、韓國、甚至中東等地，以更快的速度推廣到各行各業。小模型尤其適于下載到設備上，在許多功能上可以替代從云上提供的大模型服務。小模型+終端設備是 2024 年的重要看點。理解（%）數學（%）代碼（%）MMLU（%）知識（%）推理（%）來源：Mixtral，https:/mistral.ai/news/mixtral-o

30、f-experts說明：Mixtral 模型參數規模分別為 70 億與 120 億，LLama 2 模型參數規模分別為 70 億，130 億與 700 億。Mistral 7B 和 Mixtral 8X7B，碾壓 Llama2 推理預算推理預算推理預算參數規模（十億）參數規模（十億）11未盡研究 看 DAO 2024算力“破墻”“芯片戰”在科技巨頭之間、芯片巨頭之間、中美之間烈度不減。深度學習的黃金十年，終于產生了黃金般昂貴的 GPU 芯片。大模型以每年 10 倍的速度擴大參數規模，對算力的需求每兩個月翻一倍；GPU 算力每年翻倍；摩爾定律以每 18 個月翻倍的速度已經放緩；內存增長的速度更慢

31、。服務器和數據中心的擴張已經追不上神經網絡的加速野心。算力卡住了第四次工業革命的脖子。尤其是 ChatGPT 的推出，讓更多人看到了通用人工智能的曙光。但也很快帶來兩個后果，第一是算力非常短缺；第二是短缺的算力使用起來也非常粗放。在 Transformer 架構中，每預測一個單詞，就要在上萬億個詞元（token）和上千億個參數中通過概率計算篩選出最合適、最對齊人類的那個字，這需要在存儲和計算之間每秒鐘調用 1012 字節的數據量。在內存和計算之間高速移動 TB(1012)級別的數據量，需要 TB/秒級的數據傳輸帶寬，這遠遠超出了目前的內存能力，被稱為“內存墻”。如果處理器沒有及時接收到數據，它

32、就會處于空閑狀態，影響其效率。有研究發現，GPT-4 在最先進的芯片上運行的效率可跌至 3%或更低。為了彌補數據中心處理模型訓練和推理的低效率，云服務提供商增加了更多硬件來執行相同的任務。這種方法導致成本急劇上升，電力消耗也成倍增加。GPU vs.CPU vs.內存晶體管數量（1000s），CPUs晶體管數量（1000s），GPUs蘋果 M1 Ultra蘋果 M2 UltraAMD MI300X1000 倍10 年內內存帶寬縱軸，GPU 性能，2 倍每年，TOPS單線程 CPU 性能，TOPS來源：Arteris/NVIDIA and Fast validation of DRAM proto

33、cols with Timed Petri Nets,M.Jung et.al,MEMSYS 2019 12未盡研究 看 DAO 2024大模型經濟，在過去的亢奮的一年中，基本上就是在這么昂貴而又短缺的算力基礎上開始建立起來。這樣的結果，就是讓英偉達這家 30 年前創辦的企業，從一個做游戲顯卡的公司，迅速膨脹為一個大模型訓練和推理芯片的壟斷者。因為其 GPU 的并行計算、張量計算、存儲、Nvlink 等的集成，及其CUDA 軟件形成的生態，不僅在算力上遙遙領先，而且在生態上無處不在。AI 公司只有足夠的數量的GPU 卡，才能吸引頂級的 AI 科學家。生成式 AI 對于科技巨頭的未來如此重要，而

34、算力又如此昂貴，在 2024 年會帶來一系列效應?？萍季揞^加快推出主要用于推理的自研芯片。因為一旦部署了訓練好的模型，支持業務運營的推理成本將會更大?？萍季揞^首先要考慮的是降低推理成本，并且結合算法，為用戶推出差異化的產品與服務。在數據中心，GPU 相對于 CPU 的主導作用越來越強。芯片架構從異構轉向超異構。CPU、GPU、DPU、NPU，以及匹配用戶需求的各種算法的芯片，越來越多地集成到單個芯片中（SOC），或者形成相互協處理的系統?？萍季揞^紛紛進入芯片設計領域，這對于芯片的架構和封裝技術帶來挑戰，也帶來創新的機會。更加復雜的架構，對于不同計算要素之間的數據傳輸提出了很高的要求，加上存儲墻

35、的存在，片上網絡（NOC）對人工智能加速起到決定性的作用。巨頭自研 AI 芯片20162018GPT-1V100MI60TPUv1TPUv2TPUv3GaudiInferentia1Tranium1Tranium3?Inferentia2Tranium2Gaudi2Gaudi3昇騰 920?MTIA v1TPUv4TPUv5eAthenaMI100MI200MI300MI400?A100H100X100H200B100GPT-2GPT-3GPT3.5GPT4GPT-4-turbo20172020201920232021202220242025昇騰 910來源：公開資料，未盡研究說明：指正式發售

36、時間，而非公開其存在的時間。部分芯片僅官方或傳言預估或披露了其量產時間。13未盡研究 看 DAO 2024盡管黃氏定律還跟不上大模型的規模法則，這種從 PC 時代沿襲下來的軟硬件互相加速的節奏，如英特爾 CPU 與 Windows 操作系統的互相借力，正在 AI 時代延續，只是這次換成了英偉達的 GPU 和OpenAI大模型正在成為新的操作系統。生成式 AI，把芯片戰提升到了一個新的高度。這不僅是科技巨頭之間的競爭，世界上最先進的大模型之間的競爭，芯片企業之間的競爭，而且也是國家之間的競爭。在過去的一年，美國升級了對中國的芯片管制，小院高墻擴大了地緣遏制的范圍，長臂之手伸向了盟國和友岸。美國對

37、中國半導體出口控制，商務部的 BIS 每年十月將會審核。2024 年，中美芯片戰是否會擴大升級，仍然值得關注。中國在 2023 年開始出現突破點，主要是 7 納米制程。通過用于 14 米制程的深紫外光（DUV）技術的兩次曝光，華為代工方生造出了 7 納米的麒麟 9000s 芯片。華為通過魔改 ARMv8.2，形成了自己的鯤鵬 CPU 架構。華為用于數據中心的昇騰 AI 芯片達到了 A100 至 H100 之間的性能。華為已經站到了一個新起點，2024 年值得期待。Gartner 預計 2024 年，全球半導體收入將增長 17%，其中內存市場將強勁反彈，增長達 66.3%。而世界半導體行業統計（

38、WSTS）預計，2024 年將出現強勁反彈，預計增長 13.1%，這一輪增長主要由存儲器推動。2024 年，是中國芯片行業值得期待的一年。美國對中國禁運的高端 AI 芯片GPU內存GB內存帶寬Tbps算力TFLOPS位寬TPP 算力算力*位寬晶粒尺寸mm2性能密度TPP 算力/晶粒尺寸H100 SXM803.4197981583281419.4H20 SXM964296823688142.9L40S480.9733858646089.6L40480.9362828966084.8L20480.9239819126083.1L4240.3242819362956.6L2240.319381544

39、2955.2A100 SXM401.63121649928266V100 SXM160.91251620008152.5RTX 4090241661852856098.7RTX 4080160.7320825603796.8AMD MI210641.61811628967703.8AMD MI250X1283.238316612815404AMD MI300X1925.6240081920023818.1Intel Gaudi2962.5700856008266.8來源：semianalysis，未盡研究說明：部分無公開資料，為估算數據。RTX4080 與 RTX4090 等高端消費級 GPU

40、 并未用于構建數據中心。14未盡研究 看 DAO 2024自動駕駛換道大模型大模型重置了智能駕駛競爭格局，特斯拉領先，中國規模量產電動車加速追趕。今年，大型語言模型改變了自動駕駛技術路線的競爭格局。它正在教會規模量產的電動汽車，像個五星司機一樣開車。特斯拉正處于有利位置，開始探索自動駕駛的世界模型。Waymo 繼續在多個城市運營自動駕駛車隊。它向鳳凰城、舊金山、洛杉磯和奧斯汀的公眾開放。中國加速更快，年初，北京與加州各自披露年度路測報告，百度近五年來的累計路測里程，實現了對Waymo 的超越；小馬智行也在飛馳。北京速度仍在延伸。很多大中城市都將成為北京。截至今年三季度，百度的蘿卜快跑累計服務訂

41、單超過了 400 萬單，去年同期累計 140 萬，按這個速度，明年將超越千萬訂單。百度的全無人自動駕駛車隊，也已駛入北京、武漢、重慶、深圳、上海五城，還將進一步擴容。但變局在于大型語言模型以及生成式人工智能，尤其是今年以來，它迭代了包含機器視覺在內的多模態能力。很多學術機構認為 GPT-4V 對自動駕駛影響深遠。這個時代更有利于特斯拉這樣的規模量產玩家。特斯拉的 Autopilot（自動輔助駕駛功能）系統，此前依賴基于規則的方法。今年，馬斯克的全自動駕駛技術新版本FSD V12，開始用數十億幀人類駕駛的視頻，來教會自己如何駕駛。這種端到端（end-to-end）的訓練，不需要人類明確編寫代碼或

42、腳本，它的瓶頸很大程度上不再是代碼量，而是視頻輸入量。神經網絡在訓練了至少一百萬個視頻后才能見效。北京速度 加州速度五年來北京與加州主要自動駕駛車隊累計路測里程來源：DMV，智能車聯，未盡研究說明：蘿卜運力（含百度）、小馬智行（不含小馬智卡）為北京路測數據；Waymo 與 Cruise 為加州路測數據。百度等企業也在加州路測，此處未做統計。為統一單位方便，本報告中，1 英里=1.6 公里。從 2018 年至 2022 年。15001000500020182020201920212022241722034355349061779137074337746736717328201162051289蘿

43、卜運力WaymoCruise小馬智行萬公里15未盡研究 看 DAO 2024特斯拉是全球電動汽車銷售冠軍，今年考慮將 FSD 授權給同行；還傳出將在中國繼續擴建產能，從目前的每年 125 萬輛，提高至 175 萬輛。特斯拉的超算 Dojo 已經投入生產，相當于明年再新增 30 萬片全球稀缺的 A100 芯片，來對付隨之而來的海量數據。但 Dojo 架構早在幾年前就定下，非常適合特斯拉當時獨特的算法。如果拿它來跑大型語言模型，內存帶寬恐怕不夠友好。換道大模型的特斯拉，需要調整它的算力基礎設施，或者突破模型底層技術的束縛。馬斯克的應急方案是，趕緊搶購了萬卡 H100 集群的龐大算力。馬斯克渴望讓完

44、全體的FSD進入中國。安全監管的障礙正在有序撤去。11月，工信部等四部門發布了 關于開展智能網聯汽車準入和上路通行試點工作的通知，首次明確了不同情況下的交通事故責任歸屬，鼓勵年底前完成試點集體申報，遴選具備量產條件的智能網聯汽車。上海經信委“推動特斯拉自動駕駛在滬布局”或在明年成為現實。中國汽車行業正在從電動化轉向智能化，來自外來者的競爭，將加速中國量產車型擁抱大模型。除了自動駕駛技術企業外，大模型核心玩家的華為、以及“蔚小理”等一眾造車新勢力，也在嘗試融入Transformer 架構。毫末智行還發布了 DriveGPT。但它們的規模量產與特斯拉相比，尚處于爬坡階段，在技術的垂直整合能力方面還

45、有距離。比亞迪的電動汽車銷量，最早將在年底實現對特斯拉的超越。它與特斯拉一樣，正在垂直整合整條汽車產業鏈，但尚欠缺一點軟實力。比亞迪也在走基于 Transformer 的決策規劃大模型，今年大概會有 6 億公里的數據，標注自動化率超過 95%；內部架構也發生了調整，近期招聘了超過 4000 名軟件工程師，“采用人海戰術，保持顛覆性迭代能力”。說明：BEV，即動力電池汽車電動汽車季度銷量對比600,000500,000400,000300,000200,000100,0000Q4 為預計值Q4 21Q4 22Q4 23比亞迪特斯拉數量：輛16未盡研究 看 DAO 2024國內算力也跟得上。英偉達

46、的智能駕駛芯片，占國內前裝 NOA（自動輔助導航駕駛）市場超 50%，并未被“高墻”所限；今年，比亞迪進一步擴大了與英偉達的合作，兩家企業的共識是未來的汽車是可編程的。地平線占超 30%，年底，它推出了征程 6，專為大參數量 Transformer 設計，明年正式交付；比亞迪是首批量產意向合作車企。華為也拆分旗下智能汽車解決方案業務單元，引入長安汽車合伙。華為已經突破了制造等效 7nm 水平的高算力芯片的封鎖。大模型將重置中國與美國這場從電動化轉向智能化的競爭格局。2024 年，在中國 500 多萬公里的道路上，將上演國內智能駕駛車企守住領先身位，比拼大模型應用落地的一幕。但無論如何，安全第一

47、。參考:A Survey of Large Language Models for Autonomous Driving；GAIA-1:A Generative World Model for Autonomous Driving；Comparative Safety Performance of Autonomous-and Human Drivers；2022 Disengagement Report from California；北京市自動駕駛車輛道路測試報告（2022 年）；關于開展智能網聯汽車準入和上路通行試點工作的通知中國智能駕駛芯片市場英偉達53%地平線31%德州儀器9%華為4

48、%Mobileye4%來源：高工智能汽車研究院，未盡研究說明：截止2023年6月，僅有上述5家計算芯片方案商在NOA領域實現量產交付（新車上市銷售為準），其余廠商（包括黑芝麻智能、芯馳科技、后摩智能等）目前仍未量產交付。不包括特斯拉自研 FSD 芯片。17未盡研究 看 DAO 2024量產人形機器人人形機器人完成商業驗證，領先企業率先量產，中國加速核心部組件安全可控。生成式人工智能正在加速人形機器人的生長。技術、市場與政策一起發力，催生人形機器人進入量產時代，比汽車更便宜。人形機器人將是真正制造業強國的標志。所有的生物，都是通過身體體驗這個物理世界，逐步產生智能的。人形機器人要成為真正的智能體

49、，也要經過這一步。今年，谷歌先后發布了能理解視覺語言的 PaLM-E 等多模態大模型，讓機器人將視覺轉化為行動的 RT-2；微軟則發布了“ChatGPT for Robotics”，允許人類用熟悉的自然語言對機器人下達指令。人形機器人本質是通用機器人：它可以適應多種環境，執行不同的任務；稍加學習，還能做得越來越好。具身智能泛化了人形機器人的能力。通用機器人還意味著在人類社會即插即用。不像上一代機器人，為了讓它更好地工作，人類還得花一大筆錢，為它修建標準化的場地，制造專門的工具，甚至還要讓人類離得遠遠的。生而為“人”今年以來亮過相的人形機器人的身高與體重來源：公開資料，未盡研究說明：僅列舉今年以

50、來公開亮相且有相關數據的人形機器人。不含高校研發的暫無商業化計劃的人形機器人。不包括四足機器人、輪腿機器人或機架機器人。部分公司迭代了多款人形機器人，僅列舉最新型號。401201501805060708090宇樹科技Unitree H1追覓科技（？）智元機器人遠征 A1FigureFigure01優必選Walker X波士頓動力AtlasSanctuary AIPhoenixApptronikApollo1X TechnologiesEVE傅里葉智能GR-1Agility RoboticsDigit特斯拉Optimus小米CyberOne體重：公斤身高：厘米18未盡研究 看 DAO 2024這

51、就是為什么現有的人形機器人，身材與造型基本與人類相仿。這不僅讓它們看上去更親切，更讓它與人類社會無縫交互。而且，這也能更好地形成人類與機器人之間的直接映射，讓訓練與反饋更具體。市場正在探索，擁有了泛化場景的感知、理解與決策的“大腦”的最小可行（MVP）的人形機器人是什么樣子。一條路線更側重穩健有力的雙足，一條路線更側重靈巧精密的雙手。兩者都需要負責運動控制的“小腦”與剛柔耦合的“肢體”。中國希望到了 2025 年核心部組件安全可控，到了 2027 年供應鏈體系安全可控。二十多年來，人形機器人技術專利的申請量逐步上升，重心逐步從下肢結構與步態控制，轉向手臂結構及其運動控制，且有進一步增加的趨勢。

52、今年很多“具身智能”的演示，幾乎都是機器臂完成的?！叭恕本褪沁@樣的生物，大約 65%的工種需要移動，其中 20%需要兩條腿來完成；高達 98.7%的工作，需要靈巧雙手精細操作。市場嘗試擁抱人形機器人。它不知疲倦，沒有人口危機，長期來看，單位時間成本更低。今年，亞馬遜在自己的物流倉庫試用了人形機器人 Digit。Digit 計劃于 2024 年量產。第一條生產線是位于俄勒岡州的 RoboFab，年最大產能 1 萬臺。Digit 原型的成本高達 25 萬美元。特斯拉希望 Optimus 成本降至 2 萬美元。Figure 創始人認為沒有理由做不到：一個人形機器人，大約 1000 個零件，重量 70

53、 公斤；一輛電動汽車 1 萬個零件，重量 2000公斤左右。秘訣在于規模量產。根據經驗曲線，每當量產翻倍，成本有望下降至少 15%。人形機器人技術與動力電池技術、自動駕駛技術等日益融合，核心供應鏈高度復用。這也是為什么汽車企業熱衷人形機器人。除了特斯拉，Ashimo 來自日本本田，波士頓動力被韓國現代收編；小鵬發布PX5，比亞迪投資智元，小米則同時宣布了汽車與 CyberOne。只有少數幾個國家，具備量產商用人形機器人的條件。中國是世界上最大的機器人市場，國際機器人聯合會（IFR）稱，供應鏈企業不斷在中國增加產能。此外，應用市場的繁榮，為訓練“具身智能”提供了更充沛的高質量數據。人形機器人驅動

54、控制技術專利占比趨勢全身協同步態控制手臂運動控制其他100%90%80%70%60%50%40%30%20%10%02000年2004年2016年2008年2012年2020年2022年19未盡研究 看 DAO 2024今年以來，中國各級政府正在引導創業者與投資者抓住機遇。人形機器人創新發展指導意見是全球第一部由政府出臺的頂層設計文件。京津冀地區早已行動起來。北京設立 100 億元規模的機器人產業基金；河北省 20 億元的機器人產業基金成立；唐山成立 50 億人民幣的機器人產業基金。長三角與珠三角地區也有相應政策法規，那里產業集群密集。設計和商業化下一代人形機器人的競賽正在進行中。它在人類社會

55、的滲透曲線，將與電動汽車相似。特斯拉先后在2008年與2012年開始交付RoadSter與Model S。2024年，將是人形機器人的“RoadSter時刻”，賣的不多，但完成了商業化驗證，為 2027 年的“Model S 時刻”蓄力。這一次，它可能會首先發生在中國。參考：人形機器人技術專利分析報告；人形機器人創新發展指導意見；WR Industrial Robots 2023；WR Service Robots 2023；RT-2:Vision-Language-Action Models Transfer Web Knowledge to Robotic Control工信部 2023

56、年 1 月“機器人+”應用行動實施方案北京 2023 年 6 月北京市機器人產業創新發展行動方案（2023-2025 年）北京 2023 年 8 月北京市促進機器人產業創新發展的若干措施上海 2023 年 3 月上海市智能機器人標桿企業與應用場景推薦目錄上海 2023 年 6 月上海市推動制造業高質量發展三年行動計劃（2023-2025 年）深圳 2023 年 5 月深圳市加快推動人工智能高質量發展高水平應用行動方案（2023-2024 年）工信部 2023 年 10 月人形機器人創新發展指導意見11058362023 年中國密集出臺鼓勵政策20未盡研究 看 DAO 2024從元宇宙到“新現實

57、”更多科技巨頭卷入空間計算平臺競爭，蘋果硬件優先與 Meta 用戶優先初次對決。巨頭們很少再提元宇宙。蘋果與 Meta 似乎已經心照不宣地達成共識，空間計算才是最近的入口。更自然的交互方式，很快將與多模態的生成式人工智能合流。今年，蘋果與Meta先后展示了Vision Pro與Quest 3。它們兼具AR（增強現實）或VR（虛擬現實）的功能，具備直通顯示（VST）技術，通過攝像頭與傳感器，讓人“透過”高分辨率的屏幕，看到身邊的物理世界；它交互更加自然，能捕捉手勢或目光的細微移動。數字世界正在融合物理世界，構成“新現實世界”。先在顯示屏上，實現對現實世界的增強與交互，是巨頭們追逐智能眼鏡的退而求

58、其次。盡管大方向正在空間計算收斂，但是蘋果與Meta選擇了不同的道路。硬件創新是蘋果的重點。蘋果決定從合適的設備開始，然后回到合適的價格。首發的 Vision Pro 定價高達 3,500 美元，擁有 12 個攝像頭、多種傳感器，成熟的 M2 芯片，全新的 R1 芯片，試圖將從移動計算時代走向空間計算時代。只有這樣的配置，才能驅動蘋果定制的那兩塊 Micro OLED 屏幕。它們的分辨率遠超消費級設備的行業水平。這決定著它能成為生產力工具，還是停留在游戲與娛樂工具。像素密度的提升，帶來了更高的功耗和發熱。蘋果采用了注視點渲染（Foveated rendering）技術，跟蹤用戶的眼睛，確定他們

59、的注意力集中在何處，在此基礎上決定使用多少算力，多大范圍內運行全分辨率。Meta 押注用戶規模與網絡效應。最大的底氣是每天活躍在它的社交網絡平臺的 30 多億用戶。Meta 試圖從合適的價格開始，努力開發合適的設備，將其打造成新的注意力消費平臺。來源：公開資料，未盡研究說明：選定品牌的選定 VR 機型。目前，與蘋果類似分辨率的主要是 Varjo 年底最新推出的第四代設備，但它主要面向工業場景。這里統計的主要是消費電子產品。2016年5月2017年9月2019年2月2020年6月2021年10月2023年5月2024年7月150012009006003000單眼單屏像素：萬VarjoQuestP

60、layStationPicoApple蘋果Vision ProPico 4PlayStation VR2Meta Quest 3其他玩家的趨勢VR 越來越清晰21未盡研究 看 DAO 2024作為 Meta 最成功的嘗試，300 美元的 Quest 2 累計銷售了超過 2000 萬臺。今年發布的 Quest 3，售價 500 美元僅為 Vision Pro 的 1/7，硬件成本只有蘋果的 25%。但 Meta 幾乎仍是虧本在賣硬件。從現有的布局來看，蘋果與 Meta 將在 2024 年展開錯位的競爭。它們都有勝算，最主要的對手還是自己。今年，它們都沒來得及直接參與大模型公司業務的競爭。市場期待

61、 2024 年人工智能的潛力在端側爆發。年底，蘋果發布了機器學習框架 MLX，簡化研究人員在硬件平臺設計和部署模型的過程。明年，蘋果還將發布 iOS 18 系統，生成式人工智能有機會跑在端側。最新發布的 M3 芯片，將為此提供算力。Vision PRO 是其他硬件的擴展。iPhone 15 Pro 已經可以為Vision Pro 拍攝空間視頻，期待更多第三方的多模態的空間視頻生成技術。市場也期待生成式人工智能加持社交。Meta 的未來是“具身互聯網”，人與人的社交關系，將進化為包含數字化身與虛擬角色的合成社交網絡。生成式人工智能驅動的聊天機器人，將化身為地平線世界的NPC，用戶可以跨平臺與之交

62、談。明年，Meta 將允許用戶將游戲里的數字獎杯，“放置”在物理世界的書架上；甚至還可以將 Facebook 視頻等其他應用掛在“墻上”播放。這是社交平臺間的相互擴展。2024 年將變得非常熱鬧。蘋果早已動手開發下一代的 Vision Pro，Meta 還計劃明年推出低配版的Quest 3。谷歌、高通與三星結成了聯盟，將阻擊蘋果獨占高端市場。字節跳動旗下 PICO 仍在推進硬件升級，市場傳言華為也將更新它的產品線。盡管競爭激烈，但無論是誰，都能從對方的進步中獲益。量產帶來的供應鏈生態的完善，用戶規模擴大；應用生態的繁榮，催生自然交互的原生應用，以及面向“智能家居”和“物聯網”的交互。市場正處于

63、其短暫歷史的關鍵時刻。明年會是“空間計算元年”，產能不足問題逐步緩解，應用生態摸透開發平臺。2024 年，新品競相上市，行業出貨量增長會達到約 1200 萬臺，依然在為爆發鋪墊。下一代入口的成本對比蘋果Vision Pro1730美元芯片顯示屏鏡片攝像傳感控制器外部顯示屏外殼結構電池揚聲器與麥克風其他組裝來源：Wellsenn Xr，未盡研究說明：沒有特殊說明，顯示屏指設備內部向用戶展示畫面的屏幕，蘋果的 Vision Pro 還有一塊顯示屏位于設備外側前方，主要用于向周圍人群展示用戶的眼睛與表情等。鏡片指光學相關的鏡片與 IPD，芯片還包括冷卻系統，其他包括包裝與充電器等。蘋果的 Visio

64、n Pro 沒有控制器。MetaQuest 3430美元15180534133169930670028626013211360171514130參考：蘋果 MR 交互方式與內容開發研究報告；Taking the Hyperbole Out of the Metaverse；IDC：Worldwide Quarterly Augmented and Virtual Reality Headset Tracker22未盡研究 看 DAO 2024醫療智能體大模型的“醫生助理”，先從文書工作做起，專家模型逐步集成于醫療智能體。醫院永遠人滿為患?！磅U莫爾病”是醫療健康行業的頑疾。多年來，科技巨頭數度高

65、調進入這個行業，希望讓服務變得像藥品那樣，可以規?；瘡椭?，提升可及性，降低成本。大模型、生成式人工智能以及智能體，是最近也是最有希望的一次。上一輪人工智能熱潮并非一無所獲。近十年來，美國 FDA 批準了 500 多款支持人工智能或機器學習的醫療設備，截至今年 7 月，已經接近去年全年水平。其中，放射學診斷占了 75%。在今年的北美放射學會（RSNA）會議上，一半的討論涉及人工智能。上月，阿里巴巴聯合多家醫院通過“平掃 CT+AI”，在 2 萬多真實病例的回顧性試驗中，發現了 31 例臨床漏診的早期胰腺癌病例。Nature 稱基于醫療影像AI 的癌癥篩查，即將進入黃金時代。問題是不夠泛化。已經獲

66、批的人工智能算法，往往傾向于專注于特定任務，而不是全面分析圖像各種可能，或考慮到患者病史。原先的解決方案之一，是添加更多的人工智能工具。但這意味著算法過載。醫療大模型的涌現，提供了新的解決方案。醫療保健數據，本質上由文本、圖像和時間序列數據組成的，甚至可以把專業醫生視為這些數據的“標注員”。今年以來，隨著強大的預訓練大模型尤其是開源模型相繼問世，醫療大模型家族化演進，迭代升級加速。中國也是重要的參與者，扁鵲、本草大模型等相繼問世。近十年 FDA 批準的 AI/ML 設備150120906030020142016201520172018202120202019202220235151089413

67、15111051940231211850278622放射 其他來源：FDA，未盡研究說明：支持AI/ML的醫療設備。2023年截至7月。獲批數量：款23未盡研究 看 DAO 2024科技巨頭已經構造了可以理解多種數據模態的全科醫療人工智能（GMAI），可以根據交互對象的不同，輸出或專業或通俗的解釋。谷歌的 Med-PaLM 2 是其典型，醫學考試的表現基本接近“專家”，準確率達到 85%。關鍵不在于它能在何時取代多少專家醫生，而在于它能惠及多少缺少頂級醫療資源的患者。谷歌搜索每天都會有 10 億個健康相關的搜索，它們有需求獲得更好的服務。特定任務的專家模型也仍有其用武之地。分診導航、輔助診斷、

68、臨床文檔、預后追蹤等這些相對較小的模型，甚至各類人工智能支持的細分科室的診斷工具，都可以集成到一個全面的人工智能平臺中，智能體（Agent）就是它的中央調度中心，理解意圖，分拆任務，調用模型，輸出結果。最終，醫生負責審核并給出最終方案。短期內，生成式人工智能用于醫療服務，監管阻力最小，確定性最高的應用場景，是扮演醫生的“文書助理”。醫生希望人工智能帶走他們工作中最無聊和最乏味的部分。美國數十家綜合醫療衛生系統正在試點的生成式人工智能應用，幾乎主要面向臨床醫生提供服務，作為他們的助手，在接診過程中，捕獲與患者的對話，記錄符合規范的電子病歷；搜索病人的既往病史與檢查結果、臨床指南手冊、臨床試驗機會

69、等；對即將接手的護士給出注意事項摘要；向患者解釋術語，叮囑按時按量服藥；還可以生成轉診、出院文件等。它們的頂級開發者包括微軟與谷歌等科技巨頭，以及 Epic 這樣的醫療軟件巨頭。今年，微軟宣布將GPT-4 集成到 Nuance 全新的 DAX 平臺，減少了 50%的臨床文檔記錄時間，并與 Epic 合作，將生成式 AI 工具集成到后者的電子健康記錄系統中。醫療大模型“涌現”來源：公開資料，未盡研究說明：ALBERT 與 RoBERTa 等歸入 BERT。不完全舉例。部分未公開參數規?；蚧尼t療大模型未予展示。10001001010.10.01BioBERTBioFLAIRCT-BERTCli

70、nicalBERTMedGPTGatorTronGPTSoulChatBianQueCodex-MedMed-PaLMMed-PaLM 2GalacticaGatorTronMedAIpacaChatDoctorBenTsaoMed-FlamingoMed-BERTMentalBERT201902201908202003202009202104202110202205202312202306其他LLaMAGPTChatGLMBERT參數規模：十億24未盡研究 看 DAO 2024科技巨頭已經展開全面競爭。亞馬遜推出了自動生成病歷的 HealthScribe，谷歌則與梅奧診所等測試類似的生成式人

71、工智能工具。百度的靈醫大模型，以及騰訊醫療大模型也圍繞病歷等場景展開。還有很多技術需要突破。誰掌握了提示技術，誰獲得更好的答案，這在醫療服務領域不可接受；要更好地輔助診斷，大模型要更多地輸出針對性的“追問”，而不是一味扮演“回答”者的角色。2024 年，生成式人工智能扮演的“醫生助理”，會先從文書工作與調度工作做起，逐步積累數據與經驗，贏得醫生與患者的信任；同時，繼續與人類專家合作，探索更前沿的診斷與治療技術。主要參考文獻：A Survey of Large Language Models for Healthcare:from Data,Technology,and Applications

72、 to Accountability and Ethics；Towards Generalist Biomedical AI；Generative AI Tracker:A guide to the health systems and companies driving adoption；人工智能大模型賦能醫療健康產業白皮書；中國醫學生培養與學生發展調查報告美國醫院中的生成式 AI臨床文檔搜索與摘要患者與家屬通溝行政支持臨床決策支持37%22%19%11%11%來源：STAT，未盡研究說明：美國大型衛生系統公開披露的處于試點階段的生成式人工智能服務。不完全列舉，因為許多衛生系統選擇不在風險更

73、高的早期階段就分享試點情況。25未盡研究 看 DAO 2024“通用”基因編輯更“通用”的基因編輯工具，更“泛化”的適應癥，陸續進入臨床，人工智能加速臨床前研究。年底，全球首款 CRISPR 基因編輯藥物先后在英國與美國獲批，預示著藥物研發“可編輯”的時代，已經正式到來。它是技術、資本與監管合力創新的典范。第二場革命也早已醞釀，它的獲批開啟了下一個十年。它重塑著人們認識疾病與認識藥物的方式，它治療疾病的原因，而不是癥狀。只要它能在基因組的某個位置編輯，那么就有理由相信它的成功可以復制。何況測序硬件、基因組數據、人工智能算法的創新，仍在迅速擴展基因編輯的工具庫。2012 年，科學家 Emmanu

74、elle Charpentier 和 Jennifer A.Doudna 發現，CRISPR 系統可以精確定位并剪切任何物種的任何基因。2020年，兩人因此獲得了諾貝爾獎。張鋒證明了它在實驗室中的驚人能力。三位科學家各自迅速成立公司，改進技術，尋找應用場景。資本也積極響應。十年來，張鋒旗下公司至少達到了 7 家，Doudna 達到了 4 家，嘗試用它來滿足藥物遞送、臨床診斷、治療的需求，甚至農作物改良?；蚓庉嬍旮偹貳ditas創立Sherlock創立Pairwise創立Arbor創立xEditas上市Beam創立eGenesis 創立 Verve創立全球首款體內堿基編輯藥物臨床Chroma

75、創立Prime上市Prime上市Beam上市Proof創立Aera創立Prime編輯發現Base編輯發現CRISPR-Cas編輯發現xCRISPR-Cas編輯發現Caribou創立Intellia創立Intellia上市Crispr上市Crispr創立Scribe創立全球首例基因編輯藥物臨床全球首例基因編輯藥物獲批Mammoth創立CRISPR-Cas技術諾獎事件背后大佬 Doudna Charpentier 張峰 劉如謙 Church Joung來源：公開資料，未盡研究說明：基因編輯公司僅列舉以上 6 位創始人參與創立的，公司其他聯合創始人未列出。Doudna 在創立了 Editas 后離開

76、。2010201220142018202220162020202426未盡研究 看 DAO 2024CRISPR Therapeutics 贏得了競速的第一程。與它同時獲批的，還有藍鳥生物（Bluebird Bio）基于慢病毒載體的基因療法，也針對同一患者群體，但接到了 FDA 提示風險的黑框警告，獲批當日，股價暴跌 40%。醫藥市場的邏輯，已經徹底改變。單次給藥，終生治愈，意味著一旦獲批，就會完全占領市場，除非后來者效果更好，或者風險更低。第一款獲批的基因編輯藥物，邁出了重要但不完美的第一步。標準的 CRISPR-Cas9 方法，實質上是對靶向基因的破壞，相當于將“編輯”功能限定在“刪除”上

77、。正如只有很少的情況下，才能通過劃掉某幾個單詞，來糾正整個文本的錯誤，治療大多數遺傳性疾病，仍然需要更廣泛的“編輯”功能，增加或替換某些單詞。劉如謙先后發明了了基于 CRISPR 的堿基編輯（Base Editor）與先導編輯（Prime Editor），可以精準插入或替換單個或多個單詞。另一種缺陷是藥物的可及性。這款新藥非常昂貴，高達 220 萬美元。它需要從患者體內獲取細胞，然后在患者體外，用 CRISPR 工具編輯糾正它，再注入患者體內。為了給新細胞騰出位置，患者往往還需要先進行化療，破壞骨髓。整個流程環節復雜，難度巨大。降低成本的一種思路，是在更“通用”的細胞上，進行基因編輯，以便它們

78、可以用于治療許多不同的患者。但在體外生長和維持細胞安全穩定，成本高昂。更直接的思路是在患者體內編輯，難度在于 CRISPR 藥物必須被遞送到這些目標細胞。用于 mRNA 疫苗的 LNP 遞送技術在這里也有用武之地?？茖W家還在不斷嘗試新的遞送工具。目前，全球近百項涉及 CRISPR 疾病治療應用的重要研究正在進行或已經結束。美國占了絕大多數，中國居于第二。很多研究已經進入臨床。據藥明康德統計，中國的博雅輯因、邦耀生物、瑞風生物，同樣瞄準地中海貧血；本導基因與中因科技主要聚焦于眼部疾病。806040200美國中國英國意大利韓國西班牙德國瑞典加拿大瑞士841599866544來源：STAT CRIS

79、PR TRACKR，未盡研究說明：包括已經進入臨床試驗階段的項目，也包括醫療機構、學術機構針對具體疾病的臨床前研究，且論文發表于學術期刊、學術會議與公司公告，但不包括理論研究或文獻綜述。受披露等影響，并不代表世界上所有正在進行的研究。部分研究多國合作，重復統計。CRISPR 研究項目進展追蹤項目數量：個27未盡研究 看 DAO 2024大多數基因編輯臨床試驗，都聚焦于罕見病或遺傳病，它們多由基因問題導致。但這樣的患者往往分散、有限。收入捉襟見肘的企業，有時候不得不因外界風吹草動調整研發節奏。Church 嘗試將基因編輯動物的器官安全地移植到人類身上。2024 年，異種移植的嘗試還會繼續。今年年

80、初，諾獎得主Doudna暢想，在十年后，CRISPR編輯會適用于所有人，會先在農業世界中體驗它。而稍近未來的“FDA 批準治療鐮狀細胞病”已經實現。來源：Science.2023 Jan 20AI+CRISPR：下一個十年CRISPR 編輯正在進入 2.0 時代。這將主要由前述堿基編輯、先導編輯與表觀基因組編輯（Epigenome Editing）引領。機器學習也在發力，張鋒研究了新算法，搜索海量基因組數據，發現了 188 種新型CRISPR系統，豐富了工具庫。此前，研究人員確定了6種CRISPR系統，CRISPR-Cas9是最常用的一種。自然雜志選出了 2024 年最值得關注臨床試驗。其中，

81、Verve Therapeutics 首例進入臨床的體內的堿基編輯藥物，有望取代日常服用的降膽固醇藥物。Prime Medicine 計劃在明年尋求針對慢性肉芽腫病這一致死性遺傳疾病的臨床試驗。表觀基因編輯的 Tune Therapeutics，剛展示了樂觀的臨床前實驗數據。2024 年將是 CRISPR 編輯 2.0 時代的開端，大佬們的競速將鼓舞更多創新者涌入，無論它們成功，還是短暫失利，都在推動行業“編輯”出更精準、更安全、更便宜的藥物。主要參考：CRISPR technology:A decade of genome editing is only the beginning；CRIS

82、PR 2.0:a new wave of gene editors heads for clinical trial；CRISPR TRACKR:Follow the latest developments in genome editing更廣泛地治療疾病引入抗病或高產基因的作物療疾病改良的基因編輯工具批準更多的臨床實驗更快更便宜的測序在更多種類的植物和動物中嘗試多基因性狀工程成為神經退行性疾病和心血管疾病的預防性療法活細胞成像機器學習更多可供銷售的基于基因編輯的農作物體內編輯遞送技術改良FDA 批準治療鐮狀細胞病摘取豬器官供移植病人使用CRISPR 技術未來的方向稍近的未來更久的未來廣泛用

83、于耐旱抗病高產的農作物高營養價值的食物28未盡研究 看 DAO 2024中美風投再分岔最寒冷的冬天過去，中國與美國創投生態各自主導力量繼續分化和強化，中國風險資本開拓多元化資金補缺。2023 年，全球風投市場整體入冬，募資與投資金額雙雙下降。作為全球最大最活躍的兩大市場，中國與美國的創新生態已然迥異，不僅表現在投資方向上，還表現在資金來源上。形似的是，大玩家在塑造兩國的創新生態中，扮演了越來越重要的角色。在中國，城市主導下風投產業綜合體崛起，創新“南下西進”；在美國，科技巨頭圍繞自身產業布局，風險投資交易逆勢上揚。中國本土風投機構（VC）越來越難獲得美國有限合伙人（LP）的資金承諾（commi

84、tment count)。今年已經結束募集的中國風投基金，出資人來自美國的，較近十年來的峰值下降了約 90%。中國本土的初創企業也越來越難從美國風險投資基金那里獲得融資。今年 8 月，美國總統拜登簽署行政令，打著國家安全的名義，實施“反向 CFIUS”，限制美國企業投資“被關注國家”的半導體與微電子、人工智能與量子信息技術。中國 VC 難以獲得美國 LP 承諾150120906030020152016201720182019202020212022202312810210012412131985412來源：PitchBook，未盡研究說明：總部位于中國大陸與中國香港的風險投資機構，已經關閉、清

85、算或完全投資的基金數量。截至 2023 年 11 月 15 日?；饠盗浚簜€29未盡研究 看 DAO 2024中國的投資者與創業者也在奔赴中東，尋求募資來源多元化，蔚來汽車與小馬智行是其典型。但沙特等中東主權財富基金，自身轉型敘事色彩濃厚，與之磨合尚需時日。在第 28 屆聯合國氣候變化大會上，阿聯酋宣布要成立 300 億美元新氣候基金，把這筆錢花在能源轉型、工業脫碳以及氣候、技術等領域上。美國的初創企業并不好過。今年至少有 3200 家有融資記錄的初創公司倒閉，投向它們的 272 億美元風險資本打了水漂。軟銀和老虎環球等曾在熱錢洶涌時蓬勃發展的非傳統風投機構，已經從最活躍玩家的排名中消失了。來

86、自“七巨頭”的風險投資交易逆勢上揚，2023 年至今已經超過了 400 億美元，為歷年最高，其中，超過 240 億美元投向人工智能相關領域。微軟、谷歌、亞馬遜與英偉達是最活躍的企業巨頭。紅杉資本已將其美國和歐洲、中國、印度部門，拆分為三個獨立的實體。最近，美中戰略競爭特別委員會要求其提供十多年來在華投資限制領域的詳細信息。紀源資本、金沙江創投、高通創投和華登國際等多家知名跨境投資的風投機構也有類似境遇。中國本土風投市場已經是人民幣基金的天下，財政資金與產業資本主導市場。政府引導基金目標規模從2017 年的 9.5 萬億元人民幣提升至 2023 年年中的近 13 萬億。多地相繼印發創投基金與產業

87、基金發展管理辦法，官方“以投促引”正在進一步下沉，中西部省份新成立基金數量逆勢增長。南京、長沙與成都，成為中國風投生態成長性最高的城市。長期主義的社?；鹨灿H自下場，作為單一有限合伙人，在北京、上海出資設立專項創投基金。迪拜 底特律休斯頓休斯頓成都廣州蘇州香港杭州深圳上海北京南京羅利華盛頓特區紐約洛杉磯波士頓舊金山雅加達孟買柏林新加坡首爾東京倫敦班加羅爾低低 高 高發展程度成長性全球風投生態 Top50來源：Pitchbook，未盡研究說明：2017 年至 2023 年。機構募資、企業融資、上市退出金額等是規模（Size）指標，以及獨角獸企業數量，非傳統風投交易占比等成熟度（Maturity）

88、指標，反映了當地風投生態的發展程度。這些指標在不同時期內的增長勢頭，代表了當地風投生態的成長性。30未盡研究 看 DAO 2024這筆錢既盤活了初創企業，又反哺了產業巨頭。今年春天，英偉達加入了萬億美元市值俱樂部。二季度，該公司在早期創投市場出手了 8 次，三季度達到了 11 次，多數是人工智能初創企業，它們也是英偉達的客戶，搶購芯片相當于“返投”了英偉達。微軟公司至少投資了 8 家人工智能初創公司，它與OpenAI 的 100 億美元交易是今年規模最大的一輪。谷歌公司在人工智能領域達成了 16 筆交易，它旗下的風投機構 GV 達成了另外 13 筆交易。無論是城市主導，還是產業巨頭主導，都將推

89、動資金、人才與技術的流動與配置。關鍵在于防范行政僵化或市場壟斷帶來的創新效率下降，要讓傳統的市場化機構發揮積極作用。到目前為止，中國人民幣基金的硬科技投資，成果頗豐。2023 年，全球每個月上市募資規模最大的初創企業，絕大多數來自中國，其中大部分都是半導體或新能源等近年來中國投資最熱的硬科技領域。504030201002014201520162017201820192020202120222023七巨頭企業風投逆勢上漲來源：PitchBook，未盡研究說明：蘋果、特斯拉、英偉達、微軟、谷歌、亞馬遜與 Meta 及其旗下企業風險投資機構所投資的初創企業的風險融資總額。AI 相關既包括生成式人工智

90、能，也包括以往的專家模型等方向的投資。AI 相關其他 十億美元31未盡研究 看 DAO 202411 月在人民幣基金較少涉足的消費等領域，美元基金也仍有發揮空間。中國的消費互聯網創業者正在接管全球的購物車。今年，字節跳動收入超過騰訊，優勢在于全球擴張，它的競爭對手已是 Meta；Temu 與Shein 合計美國用戶，已經逼近亞馬遜，超越就在明年。中國民營企業新一波出海大潮正在泛起，尤其是創業者出海。中國在電商、新能源、機器人、游戲、網絡教育、AI 應用、生成式內容等方面具有優勢，如果能建立起游刃平行市場的業務架構，不愁吸引不到美元投資。美元資本呼吁對多元化投資的有限松綁。美國的“反向 CFIU

91、S”監管，交給了與中國往來密切的耶倫，執行細則已經進入起草階段，或在明年公布；美國國家風險投資協會（NVCA）警告說，過于嚴格的禁令，將讓美國在全球競爭中處于劣勢。2024 年，人工智能仍將是全球創新的主題，中國與美國會是競爭最激烈的兩個市場。風險資金將優先滿足這種“緊張平衡”，大玩家主導的創新生態仍將扮演重要角色。但在非排它競爭領域，多元化來源的資金將繼續在市場滲透，最寒冷的時候即將過去。參考：US Venture Capital Outlook、Global Markets Snapshot、Global VC Ecosystem Rankings、大中華區風險投資報告、2023 年前三季

92、度中國股權投資市場報告2023 年全球初創企業 IPO 退出當月前十大 IPO：企業總部所在地/所有100%80%60%40%20%01 月3 月2 月4 月6 月5 月8 月7 月10 月9 月來源：PitchBook，未盡研究說明：企業總部所在國家，而非企業上市地點。上市企業為風險投資或產業資本支持的初創企業。當月前十大 IPO 以當月上市企業募資規模排序。美國中國其他60501001007070505060609032未盡研究 看 DAO 2024Power Hungry Processing:WattsDriving the Cost of AI Deployment?ALEXANDR

93、A SASHA LUCCIONI and YACINE JERNITE,Hugging Face,Canada/USAEMMA STRUBELL,Carnegie Mellon University,Allen Institute for AI,USAFig.1.The tasks examined in our study and the average quantity of carbon emissions they produced(in g of2)for 1,000 queries.N.B.The y axis is in logarithmic scale.Recent year

94、s have seen a surge in the popularity of commercial AI products based on generative,multi-purpose AI systems promisinga unified approach to building machine learning(ML)models into technology.However,this ambition of“generality”comes at a steepcost to the environment,given the amount of energy these

95、 systems require and the amount of carbon that they emit.In this work,wepropose the first systematic comparison of the ongoing inference cost of various categories of ML systems,covering both task-specific(i.e.finetuned models that carry out a single task)and general-purpose models,(i.e.those traine

96、d for multiple tasks).We measuredeployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset usingthese models.We find that multi-purpose,generative architectures are orders of magnitude more expensive than task-specific systemsfor a var

97、iety of tasks,even when controlling for the number of model parameters.We conclude with a discussion around the currenttrend of deploying multi-purpose generative ML systems,and caution that their utility should be more intentionally weighed againstincreased costs in terms of energy and emissions.Al

98、l the data from our study can be accessed via an interactive demo to carry outfurther exploration and analysis.1INTRODUCTIONUnderstanding the environmental impacts of different industries is an important first step towards developing effectivestrategies to mitigate those impacts.For newer industries

99、 such as information and communication technologies(ICT)of which Artificial Intelligence(AI)and Machine Learning(ML)are considered to be a part of,more work is needed tounderstand the extent of their environmental impacts and the factors that influence it.Between 2017 and 2021,theAuthors addresses:A

100、lexandra Sasha Luccioni,sasha.luccionihuggingface.co;Yacine Jernite,Hugging Face,Canada/USA;Emma Strubell,CarnegieMellon University,Allen Institute for AI,USA.1arXiv:2311.16863v1 cs.LG 28 Nov 2023推理的碳足跡大模型訓練和推理的能源成本，以及碳排放帶來的環境成本，促進效率更高的模型訓練和部署。2024 年，我們可能會看到大模型參數數量的收益遞減。訓練一個千億參數級的模型，在一些性能上可能比一個萬億級參數

101、的模型產生的結果相差不大，但所需的計算能力能更有效地部署。而且在一些行業和使用場景下，百億或者十億參數級的模型，計算效率會更好。單一的龐大模型是笨重且昂貴的，而一個專家混合體可能會幾乎同樣有效，它由更小、更具體的模型集合組成，可能還包括多模態模型。大模型在推理階段的能耗，生成類任務比分類任務產生更多排放，多任務比單任務更多，生成圖像比生成語言更多，更精確的推理、更泛化的任務也產生更多排放。在自然語言處理和計算機視覺中都很常見在 5 種不同的模態中，選擇十個機器學習任務進行分析，可以大致分析出大模型在推理階段所產生的二氧化碳排放：大模型不同任務的碳排放模型碳排放：克二氧化碳，每千次推理來源：Hu

102、gging Face,未盡研究說明：在研究中檢查的任務，和它們產生的碳排放量。執行千次?？v軸是對數標度。文本分類標記分類抽取式問答掩碼語言建模圖像分類多任務文本對象檢測多任務抽取式問答文本生成總結圖像字母多任務總結圖像生成33未盡研究 看 DAO 2024值得注意的是，當模型變得更大，以追求智能的涌現、能力的泛化，不僅碳排放總量增加了，而且碳排放強度也增加了。似乎更多的智能來自更多的能源。不同的推理任務，平均消耗的能源（及其統計標準方差）差別很大。每千次圖片生成所帶來的能耗強度，是千次數文本分類的近 1500 倍。同一個模型家族，尺寸越大，不僅能耗及排放的總量越大，而且強度越大。如700億參數

103、模型的能耗強度，是 5.6 億能耗強度的近兩倍。從 GPT-3 之后，模型的規模越來越大，日益多任務和多模態，更多面向用戶的應用開發出來，而且推理的實時性和精確越來越強，所有這些，都意味著在通用人工智能的道路上走得越遠，消耗的能源越多，產生的碳排放越多。這些環境成本應該考慮在內。雖然更大的模型涌現出更多的智能，但是在 GPT-4 之后，繼續擴大模型，在訓練和推理的階段，由于能耗的指數型增長，大模型的邊際效益遞減，綜合成本收益是否劃算，是需要考慮的一個問題。為了解決碳排放問題，科技巨頭已經成為全球最大的綠電采購方。蘋果要求整個供應鏈 2030 年實現碳中和；微軟制定了實現負碳排放的目標2030

104、年碳中和，2050 年把歷史上的碳排放欠債一并償還；谷歌要在 2030 年實現 24/7 零碳電力。目前“小”模型正在大量出現，它們結合具體的使用場景進行訓練和部署，在具體功能上并不輸閉源大模型，比龐大的模型計算效率更高；而更多模型部署到邊緣側和設備終端，會讓推理更有效率。2024 年，應該是“小”模型的一年。注：坐標進行了對數處理參考文獻：Power Hungry Processing:Watts Driving the Cost of AI Deployment?Alexandra Sasha，Yacine Jernite,Emma Strubell，A systematic review

105、 of Green AI，Roberto Verdecchia,June Sallou,Lus Cruz多任務的模型比具體任務的模型產生更多的排放。模型排放，（克二氧化碳/千次推理）模型尺寸（參數量）模型排放（克二氧化碳）數據集Power Hungry Processing7Fig.2.The 5 modalities examined in our study,with the number of parameters of each model on the x axis and the average amountof carbon emitted for 1000 inferences

106、 on the y axis.NB:Both axes are in logarithmic scale.passenger vehicle5,whereas the least carbon-intensive text generation model(distilbert-base-uncased)generatesas much carbon as 0.0006 miles driven by a similar vehicle,i.e.6,833 times less.This can add up quickly when imagegeneration models such a

107、s DallE and MidJourney are deployed in user-facing applications and used by millions ofusers globally(we discuss this point further in Section 5).The(high-level)takeaway of this analysis is that even for models specifically trained to carry out a single task,there is a large level of variation both

108、within each task and an even larger one between tasks from different modalities.In essence,tasks that map both image and text inputs to categorical outputs are less energy-and carbon-intensivethan those that generate text or images.Making these distinctions can help inform policies seeking to mitiga

109、te theenvironmental impacts of AI,given that it is important to be aware of this variation,which can sometimes reach severalorders of magnitude.In the next section,we delve deeper into multi-purpose systems,which are meant to carry outseveral tasks concurrently,to better understand their environment

110、al impacts and how they compare to task-specificmodels.4.2The environmental cost of multi-purpose systemsThe second part of our analysis examines multi-task models of two types:decoder only,from the BLOOMz family,and sequence-to-sequence models from the FLAN-T5 family,with the goal of comparing ener

111、gy intensity and carbonemissions of models with differing numbers of parameters when applied to different tasks.To address this question,we selected a subset of 3 tasks text classification,extractive question answering,and summarization given theirdiversity and broad applicability in a variety of se

112、ttings,and compare the 8 zero-shot models of different sizes,based onthe same 3 datasets per task as described in Table 1.5See https:/www.epa.gov/energy/greenhouse-gases-equivalencies-calculator-calculations-and-references#miles for more details.8Luccioni et al4.2.1Emissions of task-specific and mul

113、ti-task architectures.To start our analysis,we examined how the choice of model and architecture type impacts emissions given a specifictask and dataset.For this analysis,we took the same 8 task-specific models described in Section 3.2 and compared theiremissions to the 8 multi-purpose models descri

114、bed above.Fig.3.Model emissions(measured in g2)and architecture type for each of the datasets from our analysis.The y axis is inlogarithmic scale,dot size is proportional to model size.In Figure 3,we plot the mean query emissions for each model on a dataset-by-dataset basis.We can see that forthe tw

115、o discriminative tasks,sentiment analysis(which includes SST 2,Rotten Tomatoes and IMDB datasets)andquestion answering(which encompasses SciQ,SQuAD and SQuAD v2)there is a clear distinction between task-specificdiscriminative models(in blue),which have less emissions than both multi-purpose sequence

116、-to-sequence(in yellow)and decoder-only generative models(in green).Given that the y axis in Figure 3 is in logarithmic scale,this indicatesthat the difference is several orders of magnitude-e.g.with the most efficient task-specific models emit 0.3g of2per1,000 inferences for extractive question ans

117、wering on a dataset like SciQ,multi-purpose models emit 10g for the sametask.This result follows intuitions derived from the model structures:while a task-specific model trained on binary textclassification will carry out a softmax on a two-category vector to predict a class,a multi-purpose model wi

118、ll generatepositive or negative,which logically requires more energy because the prediction is based on the models entirevocabulary.For the generative task,summarization(represented by the SAMsum,XSum and CNN-Daily Mail datasets),the task-specific and multi-purpose models are closer in terms of emis

119、sions:task-specific sequence-to-sequence modelsgenerate 4-10g of2for 1,000 inferences,while multi-purpose models emit 20-30g for the same task.The differenceappears to mostly come from model size all of the task-specific summarization models we looked at were 600 millionparameters at most,compared t

120、o the larger multi-purpose architectures,which attained the 11 billion parameters.We also carry out an evaluation of both the task-specific and multi-purpose models examined in our study toensure that they have comparable performance.For task-specific models,we used theevaluatelibrary 51 and theLM E

121、valuation Harness 14 for zero-shot models.Fundamentally speaking,it is hard to compare task-specific andmulti-purpose models using the same metrics,given that task-specific models have a much more constrained decision架構類型：具體任務 Seq2Seq具體任務編碼多任務解碼多任務 Seq2Seq8Luccioni et al4.2.1Emissions of task-specif

122、ic and multi-task architectures.To start our analysis,we examined how the choice of model and architecture type impacts emissions given a specifictask and dataset.For this analysis,we took the same 8 task-specific models described in Section 3.2 and compared theiremissions to the 8 multi-purpose mod

123、els described above.Fig.3.Model emissions(measured in g2)and architecture type for each of the datasets from our analysis.The y axis is inlogarithmic scale,dot size is proportional to model size.In Figure 3,we plot the mean query emissions for each model on a dataset-by-dataset basis.We can see that

124、 forthe two discriminative tasks,sentiment analysis(which includes SST 2,Rotten Tomatoes and IMDB datasets)andquestion answering(which encompasses SciQ,SQuAD and SQuAD v2)there is a clear distinction between task-specificdiscriminative models(in blue),which have less emissions than both multi-purpos

125、e sequence-to-sequence(in yellow)and decoder-only generative models(in green).Given that the y axis in Figure 3 is in logarithmic scale,this indicatesthat the difference is several orders of magnitude-e.g.with the most efficient task-specific models emit 0.3g of2per1,000 inferences for extractive qu

126、estion answering on a dataset like SciQ,multi-purpose models emit 10g for the sametask.This result follows intuitions derived from the model structures:while a task-specific model trained on binary textclassification will carry out a softmax on a two-category vector to predict a class,a multi-purpos

127、e model will generatepositive or negative,which logically requires more energy because the prediction is based on the models entirevocabulary.For the generative task,summarization(represented by the SAMsum,XSum and CNN-Daily Mail datasets),the task-specific and multi-purpose models are closer in ter

128、ms of emissions:task-specific sequence-to-sequence modelsgenerate 4-10g of2for 1,000 inferences,while multi-purpose models emit 20-30g for the same task.The differenceappears to mostly come from model size all of the task-specific summarization models we looked at were 600 millionparameters at most,

129、compared to the larger multi-purpose architectures,which attained the 11 billion parameters.We also carry out an evaluation of both the task-specific and multi-purpose models examined in our study toensure that they have comparable performance.For task-specific models,we used theevaluatelibrary 51 a

130、nd theLM Evaluation Harness 14 for zero-shot models.Fundamentally speaking,it is hard to compare task-specific andmulti-purpose models using the same metrics,given that task-specific models have a much more constrained decision文分類文生圖文生文圖生文圖分類模態：Power Hungry Processing7Fig.2.The 5 modalities examined

131、 in our study,with the number of parameters of each model on the x axis and the average amountof carbon emitted for 1000 inferences on the y axis.NB:Both axes are in logarithmic scale.passenger vehicle5,whereas the least carbon-intensive text generation model(distilbert-base-uncased)generatesas much

132、 carbon as 0.0006 miles driven by a similar vehicle,i.e.6,833 times less.This can add up quickly when imagegeneration models such as DallE and MidJourney are deployed in user-facing applications and used by millions ofusers globally(we discuss this point further in Section 5).The(high-level)takeaway

133、 of this analysis is that even for models specifically trained to carry out a single task,there is a large level of variation both within each task and an even larger one between tasks from different modalities.In essence,tasks that map both image and text inputs to categorical outputs are less ener

134、gy-and carbon-intensivethan those that generate text or images.Making these distinctions can help inform policies seeking to mitigate theenvironmental impacts of AI,given that it is important to be aware of this variation,which can sometimes reach severalorders of magnitude.In the next section,we de

135、lve deeper into multi-purpose systems,which are meant to carry outseveral tasks concurrently,to better understand their environmental impacts and how they compare to task-specificmodels.4.2The environmental cost of multi-purpose systemsThe second part of our analysis examines multi-task models of tw

136、o types:decoder only,from the BLOOMz family,and sequence-to-sequence models from the FLAN-T5 family,with the goal of comparing energy intensity and carbonemissions of models with differing numbers of parameters when applied to different tasks.To address this question,we selected a subset of 3 tasks

137、text classification,extractive question answering,and summarization given theirdiversity and broad applicability in a variety of settings,and compare the 8 zero-shot models of different sizes,based onthe same 3 datasets per task as described in Table 1.5See https:/www.epa.gov/energy/greenhouse-gases

138、-equivalencies-calculator-calculations-and-references#miles for more details.34未盡研究 看 DAO 2024結語巨頭準備繼續通吃。由屠龍少年成長為巨龍，它們中間歷史最長的蘋果，已經近 50 年。時間最短的如 Meta，已經近20 年。移動互聯時代，十年左右時間，就可以從初創企業長出一家科技巨頭。在生成式 AI 的技術浪潮中，會出現顛覆性的初創企業，以更快的速度成長為新的科技巨頭嗎？目前被人最看好的是 OpenAI，2015 年成立，8年之后估值已經在 900 億美元左右。它擁有獨特的企業架構，可盈利公司已經躋身估值

139、最高的非上市企業之列，但非盈利公司擁有盈利公司。從 OpenAI 的“董事會政變”事件中可以看出，微軟目前通過技術使用、云計算、投資等方式，一段時期以來左右著 OpenAI 的可盈利部分。OpenAI 的新董事會組建仍然沒有完成，其新一輪融資尋求估值為 900 億美元，新的股東結構和董事會組成，也會對 OpenAI 未來的發展產生影響。OpenAI 最初設立為一家非盈利公司，其目的就是為了不成為另一家硅谷的 Big Tech。它在利用資本，但最終不受資本控制，而是由一個捍衛 AGI for Humanity 使命的非盈利董事會行使“監護權”。值得注意的是，OpenAI 的競爭對手 Anthro

140、pic 也設立了帶有社會影響力色彩的治理結構。馬斯克創辦的 xAI 也注冊為一家贏利性共益企業（for-proft beneft corporation)。生成式人工智能時代，能否出現在技術、產品和創新都能與科技巨頭抗衡，而其社會影響力又大于科技巨頭的企業，這是非常值得期待的。這需要在新的技術條件下的企業治理結構的創新，在社會影響力與股東價值之間取得平衡。從目前來看，硅谷的科技巨頭和風險資本，也樂意投資這一類頗具技術顛覆性的企業。人們開始擔心已經贏得 IT 和互聯網競爭的這幾家科技巨頭，最終將贏得這場通用人工智能的競爭，而初創公司的成長空間已經非常有限。初創企業背后的科技巨頭科技巨頭投資者大模

141、型初創企業來源：CB insights，未盡研究。說明：截至 2023 年 11 月 27 日。包括來自科技巨頭旗下 M12 與 GV 等企業風投機構的投資。亞馬遜對 OpenAI 的投資指 AWS 參與了 OpenAI 的原始融資35未盡研究 看 DAO 2024顛覆性創新往往發生在初創公司。大公司并不缺乏好的創意，好的論文和專利，但一些研究表明，在技術采納和應用方面，與初創公司相比，卻效率較低。谷歌在與 OpenAI 的競爭中，充分體現出這一點。谷歌是全球高質量 AI 論文產出最多的地方，包括 Transformer 論文，但最終用 Transformer 做出最好模型的，卻是 OpenA

142、I。初創企業的生態富有活力，會在多個點上快速創新。大企業的 R&D 團隊與產品團隊之間的割裂是其致命弱點。而優秀的AI企業，研發與產品團隊總是一體的，所以能否做出產品，很快就會得出結果。而大企業這一過程比較遲緩，過于擔心失敗，或者在推向市場時，顧慮較多。但科技巨頭把手中掌握的最先進的基礎大模型，與其本來就已經主導市場的應用結合起來，會輕易碾壓做同類應用的初創 AI 企業，如在 SaaS 軟件領域。行業巨頭在生成式 AI 方面的投入轉型也非?？?，開源更讓許多創新變得沒有必要。因此，初創企業的生態位，很多會來自開源模型小型化過程，大模型的基礎能力與垂直領域結合的部位，行業深度中蘊藏的數據資源，以及

143、 AI 與硬件結合的產品與供應鏈能力?？萍季揞^們堅持認為，它們提供了創業和創新的平臺，如互聯網平臺和云計算平臺等，還有大量的開源工具，降低了創業門檻，幾個人就可以創辦一家企業，目前已經開始出現十個人的團隊就能創辦一家獨角獸企業?？萍季揞^也是風險資本的一個重要來源，它們對初創企業的收購，是風險資本和創始人團隊可以退出的機會，其作用已經相當于上市 IPO。而退出往往帶來豐厚的回報，這些資金中的大多數，又重新回到風險資本市場上去?？萍季揞^的資本力量，在創新生態中扮演日益重要的角色。微軟 CEO 納德拉認為，這一輪 AI 帶來的革命，不同于移動。移動帶來消費的繁榮，而 AI 是創意者和建造者（buil

144、der）的效率神器，它將顯著提升勞動生產率。英偉達的 CEO 黃仁勛認為，企業提高生產力，就會雇傭更多的人，把企業做得更大，或者進入更多的領域。這樣企業就會發展下去。但人們也會想起他的另一句話：買得越多，省得越多。DeepMind 創始人哈薩比斯認為，通用人工智能正在引發一場科學的范式革命，可以用來解決科學難題，改變科學發現的方式。OpenAI 創始人奧特曼相信通用人工智能將會實現生產力革命的“奇點”，未來的問題并不是社會財富的匱乏，而是如何分配已經極大豐裕了的社會財富。技術理想主義者則想到用技術好的一面對付技術不好的一面。OpenAI 首席科學家和聯合創始人蘇茨克沃正在研究超級對齊的技術，內

145、置于下一代超級智能之中。在不同的體制內，人工智能可能釋放生產力和破壞力的可能性、可控性、可控方式，將會有不同的表現。李飛飛所說的硅谷的 bro culture 及其所推動的技術加速主義，以及巨頭可能掌握超級人工智能，已經引發越來越多的焦慮。而大國在 AI 領域的競爭，讓這種加速無法放緩。國內監管、國際合作、以及中國與美國之間建立起人工智能的對話機制，成為目前試圖讓 AI 風險可控的初級框架。美國游戲公司 Epic 在一起反壟斷官司中初步勝訴了谷歌；英偉達對 GPU 供應的控制，包括英偉達在供應鏈等環節采取的一些排擠競爭對手的做法，正在引發一些國家的關注。技術從本質上來說是加速發展的。顛覆性的技術，只有一種增長方式，即指數型增長。但這種不斷加速的自動駕駛，仍然需要減速裝置。巨頭會繼續通吃嗎？如果 AI 最終讓資源和技術向巨頭們更加集中，它們將面對監管當局與社會的拷問，控制在少數巨頭手里的超級人工智能，對經濟增長與就業的好處在哪里？