拾象：LLM投資思考及OpenAI案例分享（2023）（48頁）.pdf

《拾象：LLM投資思考及OpenAI案例分享（2023）（48頁）.pdf》由會員分享，可在線閱讀，更多相關《拾象：LLM投資思考及OpenAI案例分享（2023）（48頁）.pdf（48頁珍藏版）》請在三個皮匠報告上搜索。

1、 LLM 投資思考及 OpenAI 案例分享2023 年 2 月拾象分享丨2023.32023 年 2 月01 關于 LLM 的關鍵判斷3判斷 1：OpenAI 是什么？通用計算機通用計算機搜索公有云GPU終端9:19:1GPT-5 會成為 Windows 95 級別的新一代通用計算機平臺操作系統9:19:19:19:15:3:25:3:2行業格局7:1:1:17:1:1:1影響格局的三股力量 I 信仰差異OpenAI-AGI、大廠、開源OpenAI 是全球唯一 AGI 堅定信仰者60%20%20%Foundation ModelsAI InfraKiller Apps行業價值環節行業價值環節

2、行業發展線行業發展線We are Here LLM-AI=Windows-PC,Apple-Mobile,AWS-Cloud,Tiktok-Short video OpenAI-Microsoft=Windows-IBM OpenAI-Azure/Nvidia=AWS-Cisco/DELL/EMC判斷 2 ：LLM 會拿走價值鏈的大頭5判斷 3：LLM 帶來了什么變化MobileMobile 時代LLM 時代 Location Touch Camera Audio input Video input Time spent x5 Expand user base x10 User behavio

3、r data ML 理解能力：采集更多非結構化數據 交互方式多元化 自然語言取代編程語言 生成能力：推理能力 Portal Search 推薦 Chat/AIGC：組織信息的效率和能力持續變強，每次變化都帶來更大更新商業模式升級，更簡潔+無限可能6判斷 4：LLM 的邊界是什么 OpenAI 是大腦，微軟是身體，多模態是眼睛耳朵 專有數據：是血液，能形成壁壘，比如私人助理比 LLM 更懂我 網絡效應：LLM 很難重構 WeChat 熟人網絡 規模效應：LLM 依賴高質量供應鏈，iPhone 做不了 Uber/Airbnb/DoorDash 機器人：LLM 有機會做掉虛擬機器人，提前布局物理機器

4、人有機會形成壁壘L2L2L4L41萬/月的個人助理 無限供給的 20 美元/月的大學生人類最強大腦7判斷 5：LLM 的下一步是 Action Action 的相關探索：給大模型的“腦子”裝上“手”。兩個路徑：Inflection、adept OpenAI Plugin Action 會重新組織 App/Saas 軟件生態，未來沒有 SaaS，只有 Service，LMO(Large Model Optimization)變得很重要ChatGPTChatGPT gets gets“eyes and earseyes and ears”with plugins with plugins2023

5、年 2 月02 AI Native 的應用會是什么樣AI Native 的應用會是什么樣 交互的重構：從用戶適應產品到產品適應用戶。每個用戶都有了 L2/L3 級別的自動駕駛、或一個 8000元月薪的助理 數據和信息的重構：從結構化數據到非結構化數據。數據是石油，LLM 讓煉油能力增強。擁有更多的非結構化數據具有先發優勢。服務的重構：從組織、撮合變成直接提供服務。發散性任務先被滿足，需要推理、推斷的任務后被滿足。反饋機制的重構：從功能迭代到模型迭代。用戶能教育、糾錯 AI，多輪嘗試，AI 真正做到自我學習?，F有軟件現有軟件AIAI NativeNative 軟件軟件有限 Input，用戶適應產

6、品站外搜索，多產品切換處理結構化數據服務撮合、促進交易人和人對話功能迭代無限 Input，產品適應用戶貼身助手、輔助駕駛處理非結構化數據直接提供服務人 VS 機器、機器 VS 機器模型迭代NowFuture92023 年 2 月03 大廠和獨角獸對LLM的應用情況11大部分老公司還沒有通過 LLM 產生可觀收入，還沒有最佳實踐誕生?，F在起步不算晚；真正被定價和推向用戶的只有 4 個產品；已有 LLM 集成的公司普遍在等待未來 6-8 個月窗口期驗證 AI 能力對 win rate、保護定價等方面的幫助。已有大廠和獨角獸對 LLM 的應用情況Source：根據市場公開信息整理12LLM 可以跟業

7、務場景自然結合，也可以服務整體戰略LLM 作為內部提效工具LLM 作為重點業務突破抓手LLM 與現有業務場景的自然結合LLM 作為公司戰略推進抓手將 LLM 集成進入審核系統，加快文字及照片審核效率。用 ChatGPT 結合公司代碼庫提高開發效率。大多數公司大多數公司客戶必須基于 Salesforce 的數據湖倉 Genie 使用 Einstein GPT，推動 Salesforce 占住數據云。Azure 成為了在 AI 方向最領先的超級計算云。CEO Jeff Lawson 宣揚 Twilio Segment 的消費者數據是客戶能喂給 LLM 的最重要私有數據之一。Zoom IQ for

8、Sales 添加了為銷售會議增加章節和整個會議摘要的能力，加速 Zoom 2.0 戰略。13 微軟最激進:認為 GPT-4 已經是 AGI 的一種形態，覺得 Office 365 Copilot 是 Enterprise-Ready 的?？傮w可以分成四派：頂級 CEO 對 LLM 還沒形成共識，特別是對 Enterprise-Ready 的 timing 判斷類型類型核心觀點核心觀點門外漢派門外漢派 Atlassian Atlassian 的的 Mike Mike 和和 Asana Asana 的的 Dustin Dustin 都直接承認自己是這個領域的學生，探索學習中。都直接承認自己是這個領

9、域的學生，探索學習中。AI AI 基因、穩扎穩打派基因、穩扎穩打派 Zoom Zoom 的的 Eric Eric 看看 AI AI 跟跟 1995 1995 年看到互聯網一樣興奮，而且年看到互聯網一樣興奮，而且 Zoom Zoom 一直是一直是 AI-First AI-First 公司，以前公司，以前的很多功能都用了的很多功能都用了 AIAI，比如降噪、虛擬背景等，先探索比如降噪、虛擬背景等，先探索 Zoom IQ for Sales Zoom IQ for Sales 和和 Virtual Agent Virtual Agent 這種能有機結合的場景；這種能有機結合的場景；Airbnb Ai

10、rbnb 的的 Brain Brain 認為認為 Airbnb Airbnb 不是最好的不是最好的 AI AI 公司，但將為公司，但將為 AI AI 設計出最好的界面，設計出最好的界面，LLM LLM 有助有助于自己用好評論數據做于自己用好評論數據做 SKU SKU 導購，但是覺得不用急，今年急著上導購，但是覺得不用急，今年急著上 LLM LLM 能力的公司就像去年記得能力的公司就像去年記得蹭加密貨幣的公司一樣。蹭加密貨幣的公司一樣。深刻理解深刻理解 AI AI 但是判斷但是判斷 Timing Timing 不不 Ready Ready 派派 Tw ilio Tw ilio 的的 Jeff J

11、eff 認為認為 LLM LLM 的數據就世界、公司、客戶三層，的數據就世界、公司、客戶三層，Segment Segment 占據了客戶這一層，但是占據了客戶這一層，但是 LLM LLM 還不還不 Enterprise-ReadyEnterprise-Ready，還需要未來幾年發展；還需要未來幾年發展；Box Box 也是在架構和非結構化數據上都可以服務也是在架構和非結構化數據上都可以服務 LLMLLM，潛在用例也想得比較清楚，但是認為目前行潛在用例也想得比較清楚，但是認為目前行業成本曲線、額外定價權來源都還不清晰，先謹慎入場。業成本曲線、額外定價權來源都還不清晰，先謹慎入場?？焖賴L試派快速嘗

12、試派 其他公司大部分都是此派，其中其他公司大部分都是此派，其中 HubspotHubspot、ZoomInfoZoomInfo 和和 W orkday W orkday 的的 CEO CEO 對數據資產的思對數據資產的思考更深刻?？几羁?。14Transformer 時代，Attention is all you need 過去 6 個月和未來 6 個月是爭奪用戶和開發者注意力的競爭期。微軟在制作炫酷的 Demo、大范圍 PR 和占據 AI 心智方面做得非常好，類似的例子還有 OpenAI 和 AGI、Runway 和視頻 AI。把 Demo 做好是個重要基本功。2023 年 2 月04 Op

13、enAI 研究 Key Takeaways Top-Down對 AGI 的堅定信仰：管理層“洗腦”、所見即所得、自上而下統一了 AGI 的路線圖；Bottom-Up 推動創新的機制：Alphago（deepmind）、ChatGPT 都是自下而上創新；夢想和期權都重要：OpenAI 平均薪酬是 120 萬美金；極高的人才密度：OpenAI 的每個人都是六邊形戰士。OpenAI 的組織活力OpenAI 里最重要的人是誰？Greg：大管家和沖鋒隊長，工程能力和基礎設施的打造者Ilya：DL 啟蒙者，幫 OpenAI 及時走上 Transformer 路線Wojiciech：攻堅手，親手放棄機器人探

14、索后打造 CodeXJohn Schulman：RLHF 的開創者Jan Leike：落地 instruct GPT,把 Alignment 帶到新高度Andrej：從 Tesla 回歸的創始成員和 CV 大牛，多模態的加速器Mira：新晉 CTO，AI 人機交互領域最重要的 PM 之一Lilian Weng：前沿技術和應用研究的橋梁Jakub Jakub PachockiPachocki：GPT-4預訓練的核心 LeadOpenAI GPT-4 團隊分工 開發開發 GPT-4 GPT-4 需要六個方向的研究團隊：需要六個方向的研究團隊：預訓練（Pretraining）、長上下文語義理解（Lo

15、ng context）、視覺理解（Vision）、強化學習和對齊（RL&alignment）、評估分析（Evaluation&analysis）、部署（Deployment）。這六個部分不分主次，缺一不可；成員并非只負責單個工作，而是在不同小組身兼數職；成員并非只負責單個工作，而是在不同小組身兼數職；GPT-4 GPT-4 團隊分工情況：團隊分工情況：Sam Altman 評價 Greg 是最好的 Recruiter頂尖科學家流向 OpenAI OpenAI 網羅了 Google Brain 和整個硅谷最好的 AI 人才喜歡從軟件和科學界招聘沒有 ML 背景的人；建立了幫助這些人過渡到 ML

16、工作行之有效的方法、以及具有自己鮮明特色的工程原則。2020 年開始，就有大量 Google Brain 的人才加入 OpenAI；Jan Leike（Alignment 負責人）、Co-Founder Alec Radford、以及 CoT 負責人等多個重要角色均來自 Google/Deepmind。加入加入 OpenAIOpenAI 的的 GoogleGoogle BrainBrain 核心成員核心成員 和 AWS/Google/Meta 等大廠交流起來都感覺到大公司?。篏oogle Cloud 上跑著七八個大模型，微軟則通過“大義滅親”解決了這個問題；Kevin Scott：Sam 的舊

17、識，微軟和 OpenAI 合作的主要原因；Scott Guthrie：真正把 OpenAI 接入微軟生態系統的人。微軟對 OpenAI 的支持遠大于 Google 對 DeepMind 的支持OpenAIOpenAI 走向大模型是一個漸進的過程走向大模型是一個漸進的過程產品的戰略影響推向市場的產品2015-20172015-20172012017 7-201-2019 92012019 9-20-202121YC YC 建立建立 AI Lab AI Lab 的規劃最終在的規劃最終在 15 15 年年 12 12 月變成了月變成了OpenAIOpenAI，它致力于將私營企業資源與學術界使命相結合

18、，以實現安全它致力于將私營企業資源與學術界使命相結合，以實現安全的的 AGIAGI公司變化產品的戰略影響2018 2018 年年 4 4 月，月，OpenAIOpenAI 發布憲章，全面投入發布憲章，全面投入 AGI AGI 并并確立使命為確立使命為“確保確保 AGI AGI 造福全人類造福全人類”產品的戰略影響推向市場的產品Apr.2017Apr.2017Unsupervised Unsupervised sentiment neuronsentiment neuron2018 2018 年年 4 4 月，月，OpenAIOpenAI 發布憲章，全面投入發布憲章，全面投入 AGI AGI 并

19、并確立使命為確立使命為“確保確保 AGI AGI 造福全人類造福全人類”2019 2019 年年 7 7 月，在月，在 YC YC 總裁總裁 Sam Altman Sam Altman 加入擔任加入擔任 CEO CEO 的的 4 4 個月后，個月后，OpenAIOpenAI 宣布接受微軟的宣布接受微軟的 10 10 億美億美元投資元投資“好的預測需要理解”更多資源分配給語言模型 轉向Transformer 和大規模計算與數據深度強化學習具有持續的可拓展性算力是唯一限制5-10 年實現 AGI 已有可能聚焦到強化學習、機器人技術和語言模型勇于壯士斷腕強調大規?？捎玫臄祿嗀ug.2018Aug.2

20、018OpenAIOpenAI Five FiveOct.2019Oct.2019Rubik CubeRubik Cube公司變化May.2017May.2017OpenAIOpenAI Baselines BaselinesDec.2016Dec.2016OpenAIOpenAI Universe UniverseApr.2016Apr.2016OpenAIOpenAI Gym Gym強化學習開發者社區影響力強化學習開發者社區影響力工程和研究能力并重工程和研究能力并重-強勁的強勁的 ML ML 工程基建工程基建公司變化2021 2021 年年 5 5 月，在月，在 GPT-3 API GPT

21、-3 API 吸引了大量開發者注意吸引了大量開發者注意和跑出一些爆款應用后，和跑出一些爆款應用后，OpenAIOpenAI 籌集了籌集了 1 1 億美元的億美元的 Startup Fund Startup Fund 用于投資早期用于投資早期 AI AI 公司公司2021 2021 年年 6 6 月，由于擔心過早放出月，由于擔心過早放出 GPT-3 GPT-3 可能讓通往可能讓通往 AGI AGI 的道路不再安全，的道路不再安全，11 11 名員工離開了名員工離開了 OpenAIOpenAI 創立創立 AnthropicAnthropicJun.2020Jun.2020GPT-3 APIGPT-

22、3 APIJan.2021Jan.2021DALL-E&CLIPDALL-E&CLIPAug.2021Aug.2021CodexCodex產品能力生態打法數據反饋積累產品能力生態打法數據反饋積累后置安全性后置安全性APIAPI作為緩解措施垃圾用例治理作為緩解措施垃圾用例治理AlignmentAlignment引入人類反饋讓模型真的有用規?；柧氁肴祟惙答佔屇Ｐ驼娴挠杏靡幠；柧毻葡蚴袌龅漠a品1.砍掉缺少成規模數據的項目，專注語言模型；2.找到了微軟作為大腿；3.糾結中建立商業化造血能力。對于企業客戶：Foundry對于開發者：model API對于用戶：ChatGPT Plus跟微軟、貝恩合

23、作 要建立匹配大模型的經營策略OpenAI 走向大模型是一個漸進的過程OpenAI 能夠實現 ChatGPT 成果路上的關鍵非共識選擇OpenAI 一直堅持“安全的 AGI”，但是路徑上逐漸聚焦于大語言模型關鍵決策：迅速、深度、堅定選擇了迅速、深度、堅定選擇了 Transformer Transformer 路線；路線；堅持走了從左到右自然語言生成路線，而不是自然語言理解路線；堅持走了從左到右自然語言生成路線，而不是自然語言理解路線；意識到了意識到了“大大”和和“規模規?！钡牧α?；的力量；GPT-3 GPT-3 后迅速引入了人類反饋。后迅速引入了人類反饋。OpenAI 的決策早期早期 ML E

24、ngineering ML Engineering 能能力和基礎設施建設沒有落后力和基礎設施建設沒有落后于行業于行業,甚至目前比甚至目前比 Google Google 內部的還好用。內部的還好用。從從 Unsupervised Unsupervised sentimentsentiment neuron neuron 工作工作開始開始,逐漸將精力和關注點逐漸將精力和關注點分配更多給語言模型上。分配更多給語言模型上。在行業對強化學習的效果充在行業對強化學習的效果充滿爭議的情況下，在滿爭議的情況下，在 Dota Dota 及之后的項目中堅持探索深及之后的項目中堅持探索深度強化學習。度強化學習。在語

25、言模型中堅持了僅有上在語言模型中堅持了僅有上文背景的文背景的 GPT GPT 式生成式路式生成式路線，沒有追隨線，沒有追隨 BERT BERT 狂潮狂潮陷入理解式路線。陷入理解式路線。團隊持續思考團隊持續思考 Scaling Scaling Law Law 的問題，在的問題，在 Transformer Transformer 基礎上押注基礎上押注大規模數據和算力。大規模數據和算力。在長期強調安全和使用無監在長期強調安全和使用無監督強化學習的情況下，在督強化學習的情況下，在 GPT-3 GPT-3 工作完成后迅速引工作完成后迅速引入人類反饋。入人類反饋。迅速和深度轉向迅速和深度轉向 Transf

26、ormerTransformer，沒有在，沒有在 CNN/RNN CNN/RNN 等上一代特征提等上一代特征提取器上浪費時間。取器上浪費時間。A I A I 的突破是一項研究工的突破是一項研究工作作,而非工程問題；而非工程問題；每個探索每個探索 A GI A GI 的公司在的公司在工程能力和基建并不會有工程能力和基建并不會有明顯差距。明顯差距。OpenA IOpenA I 的這個工作是的這個工作是優化別的任務時的副作優化別的任務時的副作用用,歪打正著歪打正著；語言模型不是通往語言模型不是通往 A GI A GI 的道路的道路。深度強化學習的效率非常深度強化學習的效率非常低；低；強化學習設置獎勵

27、函數非強化學習設置獎勵函數非常常 tricky tricky；它會陷入局部最優，并且它會陷入局部最優，并且通常難以穩定復現效果。通常難以穩定復現效果。BERT BERT 代表著未來，代表著未來，GPT GPT 只是基于只是基于 Tr ansfor mer Tr ansfor mer 的過渡性技術；的過渡性技術；GPT GPT 白白丟掉了下文的信白白丟掉了下文的信息，在許多自然語言理解任息，在許多自然語言理解任務上都難以和務上都難以和 BERT BERT 競爭。競爭。AI AI 的進步來源于算法的的進步來源于算法的創新創新;算力在過去算力在過去 10 10 年的進年的進步不一定在未來步不一定在未

28、來 10 10 年年持續。持續。隨 著 模 型 變 得 更 智 能隨 著 模 型 變 得 更 智 能,A lignment A lignment 問題可以自問題可以自動解決動解決,人類反饋多此一舉；人類反饋多此一舉；人類反饋違反了無監督的人類反饋違反了無監督的原教旨原教旨并且缺少可拓展性。并且缺少可拓展性。Transformer Transformer 徹底拋棄徹底拋棄了之前了之前 CNN CNN、RNN RNN 等網等網絡結構絡結構;前幾年統治前幾年統治 A I A I 進展的進展的 CVCV圈并不買賬圈并不買賬 TransformerTransformer。核心圈子內，沒落后于業核心圈子內

29、，沒落后于業界趨勢；界趨勢；創始人創始人 Greg Greg Brockman Brockman 是工程能手是工程能手和代碼狂人；和代碼狂人；OpenAIOpenAI 很早在很早在 Gym/Universe Gym/Universe 上就遭上就遭遇工程挑戰。遇工程挑戰。OpenAIOpenAI在研究中注重尋在研究中注重尋找找 Signs of Life Signs of Life；OpenAIOpenAI 想明白了理解與想明白了理解與預測是有聯系的，好的預預測是有聯系的，好的預測需要一定程度的理解，測需要一定程度的理解，這個工作印證了這一原則這個工作印證了這一原則。OpenAI OpenAI

30、的創始人的創始人 Ilya Ilya 和和 John John 分別是深度學分別是深度學習和強化學習領域的引習和強化學習領域的引領者，可以忽略某些質領者，可以忽略某些質疑；疑；John John 是是 PPO PPO、TRPO TRPO 等強化學習算法的發明等強化學習算法的發明者，它們就是要克服這者，它們就是要克服這些業界質疑的問題。些業界質疑的問題。一定的運氣，一定的運氣，Unsupervised Unsupervised sentiment neuron sentiment neuron 是是 BERT BERT 出現前的工作；出現前的工作；OpenAI OpenAI 瞄準的目標是瞄準的目

31、標是 AGIAGI，因此目標用例是自然，因此目標用例是自然語言生成語言生成,這恰好連帶解決這恰好連帶解決了自然語言理解問題了自然語言理解問題頂尖業界探索者逐漸形成共頂尖業界探索者逐漸形成共識識,OpenAI OpenAI 經過經過 Five Five 和和 Dota Dota 項目更加對數據和算項目更加對數據和算力的進步有信仰，提出了力的進步有信仰，提出了 Scaling LawScaling Law，并且引入，并且引入了足夠資源嘗試了足夠資源嘗試 GPT-3 GPT-3。OpenAI OpenAI 一直比同行更多強一直比同行更多強調安全，調安全，OpenAI OpenAI 從從 17 17

32、年年就和就和 Deepmind Deepmind 做了從少做了從少量人類反饋中優化強化學習量人類反饋中優化強化學習代理表現的工作；代理表現的工作；積累了強化學習人才和基建，積累了強化學習人才和基建，反應速度快，終極目標是讓反應速度快，終極目標是讓 AI AI 反饋反饋 AI AI。Transformer Transformer 是是 CapsNet CapsNet（由（由 Ilya Ilya 和導和導師師 Hinton Hinton 做出的重要工做出的重要工作）的近親，因為軟注意作）的近親，因為軟注意力機制跟力機制跟 協商路由有很多協商路由有很多理念相似點；理念相似點；有人認為有人認為 Ily

33、a Ilya 的的 Neural Neural GPU GPU 工作某種程度上啟發工作某種程度上啟發了了TransformerTransformer。2015-20162017-20182018-20192018-2019當時市場的主流認知OpenAI 的選擇原因2018-20192019-20202020-2021OpenAI 能夠實現 ChatGPT 成果路上的關鍵非共識選擇從技術和研究角度：OpenAI 在 17 年下半年迅速上了 Transformer 的車，新的公司能不能有這樣的敏感度？能不能把握住下一個 Transformer 級的變化（如果有的話）？從投資人角度：18 年是 Op

34、enAI 非共識最強的時候，在各項子任務 GPT-2 效果均不如 BERT 的情況下，把我們放回去愿不愿意投？從中國創業者角度：在沒有受科幻小說荼毒那么深的情況下，是否跟隨 OpenAI 和 Anthropic 的道路鼓吹 Al Safety，怎么建立我們自己的 Safe AGI 定義？最值得探討的 3 個問題：前 Transformer 時期：通過中間任務曲線救國，沒有泛用性。后 Transformer 時期：GPT vs.BERT，為何從反共識成為共識。GPT 時期：大模型展示出突顯能力，Scaling Law 是 Beta,OpenAl 的前沿探索是 Alpha。GPT 的發展之路是充分

35、運用算力，擺脫傳統思路，實現泛化通用能力的歷程 多個海外的大語言模型上均被觀察到具備舉一反三的能力多個海外的大語言模型上均被觀察到具備舉一反三的能力 模型參數達到模型參數達到 6565B/175B B/175B 時，就像人的時，就像人的 18/30 18/30 歲突然會有能力和心智上的突破歲突然會有能力和心智上的突破Alignment：大模型的社會化過程，AI Safety 的核心技術。多模態加入：大模型擁有“眼睛”，涌現出對物理世界的理解。模型與外部產品產生交互：大模型擁有“手”，改變外部產品的組織方式。探索智能邊界：算力與模型持續擴容，模型能力隨著 Scaling Law 涌現，逼近 AG

36、I。GPT 的未來：Alignment 和多模態能力疊加，探索智能邊界 InstructionInstruction tuningtuning 是目前主流的是目前主流的 AlignmentAlignment 方方式式 可以直接把對產品的要求說給產品聽，從而讓產品能夠理解并遵可以直接把對產品的要求說給產品聽，從而讓產品能夠理解并遵守要求（守要求（E.gE.g NewNew BingBing PromptPrompt）27OpenAI 的重要動作 和微軟更加深入的一體化合作：包括 office、teams、云、Surface（消費級終端）加入 AI 功能，E.g Microsoft 365 Cop

37、ilot 微軟可能推出新的 ToB/消費級的產品 OpenAI 是否會在 AGI 有重大作用的領域進行更大投入？Agent 能力：模型主動獲取數據 做自己的消費級終端 模型大拆小 Plugin 插件功能：與外部商業生態交互Plugin 能做什么：實時檢索信息、檢索知識庫信息、代替用戶執行操作Plugin 的重要影響：I.下游站點的價值有可能被削弱；II.傳統 SEO（Search Engine Optimization）未來可能成為 LMO(Large Model Optimization)；III.定義之后大模型與應用互聯的 api 標準，之后應用接入都會迎合這一標準；IV.解決原本知識時效

38、性差+胡說八道的問題。2023 年 2 月05 AI Infra Mapping&Case Study2930閉源 LLM模型層工具層數據標注合成數據模型監控與可觀測平臺向量搜索數據庫模型數據安全與可靠性模型試驗與評估模型大規模訓練模型實驗管理模型部署LLM+Action模型社區開源 LLM應用開發工具AI Infra Landscape31Anthropic 與 OpenAI 和 DeepMind（Google）并列成為目前 AI 前沿模型領域排名前三的公司：是其中唯一沒有與大廠深度綁定的創業公司。Anthropic 的大語言模型 Claude 是 OpenAI ChatGPT 最大的競爭對

39、手。公司成立于 2021 年 1 月，團隊目前 80 多人，融資額超過 13 億美元，最新估值 41 億美元。核心團隊來自 OpenAI，CEO Dario Amodei 曾是 OpenAI 的研究和安全 VP：Dario 認為 OpenAI 的大模型有很多安全問題未得到解決便急于商業化，促使他帶領 GPT-2 和 GPT-3 的核心作者們離開 OpenAI 創立 Anthropic，Anthropic 因此也十分注重 AI Safety，Anthropic 的愿景是構建可靠的、可解釋的和可操控的 AI 系統。已和 Google、Salesforce 達成戰略合作，使用 Google 提供的云

40、服務，并且集成到 Slack 中。案例研究：32全球最大的 AI/ML 社區和平臺，最重要的大模型基礎設施之一：早期靠 Transformers 模型庫和活躍的社區受到關注，現在已經成為 AI 模型的流量入口。用戶在 Hugging Face 托管和共享 AI/ML 模型和數據集，也可以構建、訓練和部署 ML 模型。Hugging Face 目前擁有 1,000 多名客戶，包括英特爾、高通、輝瑞和彭博社等。公司 2021 年收入約 1,000 萬美元。案例研究：33案例研究：Weights&Biases 聚焦于模型實驗管理環節，未來可能切入下游的模型監控領域。模型實驗管理+模型監控，是 AI/

41、ML 領域 Datadog 級別的生態位，有機會誕生出 AI/ML 時代的 Datadog，而 Weights&Biases 被賦予最高期待。大模型訓練的復雜程度和資源消耗程度使大模型企業對模型實驗管理工具的需求激增，作為模型實驗管理賽道的 top 1，Weights&Biases 是大模型企業的首選，未來 3-5 年內，Weights&Biases 還將持續享受大模型軍備競賽帶來的紅利。OpenAI、DeepMind、Facebook AI Research、Midjourney、Stability、Nvidia、Microsoft 等公司均為 W&B 的客戶商業化：2022 年 ARR 達

42、到 5 千萬美金，同比增長 150%，NDR 達到 190%，增長和留存表現十分優異。2023 年 2 月06 AI Application Mapping&Case Study 35 整體情況：工具 具體場景應用；To B To C。從功能看：語言 圖像 代碼 視頻 音頻 3D。從場景看：Sales&Marketing、客服/CRM/CEM、生產力工具是三大場景。AI Application Landscape36OpenAI Fund Portfolio Companies公司名稱公司名稱成立時間成立時間產品產品創始團隊背景創始團隊背景融資輪次融資輪次Diagram Diagram 202

43、2設計工具 Jordan Jordan SingerSinger：前 Square 產品設計師。種子輪Harvey Harvey 2022法律助理 Gabriel Gabriel PereyraPereyra：前 Meta 機器學習工程師、Stealth Startup 創始人。W inston W inston W einbergW einberg：前 OMelveny&Myers 律師事務所證券和反壟斷訴訟律師。種子輪Kick Kick 2021會計軟件 Conrad Conrad W adow skiW adow ski：前 Teachable 聯合創始人（公司于 2022 年以 2.5

44、 億美元被 Hotmart 收購）。種子輪Milo Milo 2023 家庭虛擬助手 Avni Patel Avni Patel ThompsonThompson：前阿迪達斯 Reebok 戰略總監、Poppy 創始人、papaya+post 聯合創始人。種子輪Mem Labs Mem Labs 2019筆記應用 Dennis Dennis X uX u：前 Yelp 產品經理。Kevin Kevin MoodyMoody：前 Google 產品經理、Seholo 創始人。A 輪Speak Speak 2016英語學習應用 Connor Connor Zw ickZw ick：前 coco c

45、ontroller CEO，Flashcards+創始人。Andrew Andrew HsuHsu：畢業于華盛頓大學和斯坦福大學。B 輪Descript Descript 2017音視頻編輯工具 Andrew Andrew MasonMason：前美國團購網站 Groupon 創始人、前 Detour 聯合創始人。C 輪Atomic Semi Atomic Semi 2023芯片制造 Jim Jim KellerKeller：著名芯片架構師，AI 芯片公司 Tenstorrent CEO，曾在英特爾、AMD、蘋果和特斯拉任職。Sam Sam ZeloofZeloof：畢業于卡內基梅隆大學。種子

46、輪qqbot.devqqbot.dev2023編程開發工具 Dan Dan RobinsonRobinson：前 Heap CTO。種子輪AnysphereAnysphere 2022 AI 應用開發工具 ArvidArvid Lunnemark Lunnemark：2022 年畢業于麻省理工數學與計算機科學專業。SualehSualeh Asif Asif：2022 年畢業于麻省理工數學與計算機科學專業。種子輪Cursor Cursor 2023代碼編輯器 Aman Sanger Aman Sanger：2022 年畢業于麻省理工學院數學與計算機科學專業，前 Abelian AI 聯合創始人

47、。Michael TruellMichael Truell：2022 年畢業于麻省理工學院數學與計算機科學專業。種子輪EdgeDBEdgeDB 2019開源數據庫 YuryYury SelivanovSelivanov：前 MagicStack 聯合創始人及 CEO。Elvis Elvis PranskevichusPranskevichus：前 MagicStack 聯合創始人及 CTO。A 輪1X1X2014人形機器人 BerntBernt yvindyvind BrnichBrnich：前 Data Response 工程師。A 輪37一款文生圖模型及應用：產品搭載在 Discord 上

48、，用戶通過與 Midjourney bot 進行對話式交互，提交 Prompt（文本提示詞）來獲得想要的圖片。MidJourney 目前擁有超 1000 萬社區成員，年營收約為 1 億美元，并具有很強的盈利能力。團隊目前僅 20 多人。核心用戶群：產品設計師（玩具、墻紙等）；圖片設計師（網站、廣告、PPT、Logo、插圖等）；游戲設計師（游戲場景、角色、道具等）、工業設計師、自媒體創作者、藝術愛好者等等；Midjourney 也服務大型廣告、影視、品牌公司的廣告創意部門。Case Study：38由前 Adobe CTO 創立的AI 營銷內容生成工具。Typeface 能夠學習客戶企業的“數據

49、”，用戶將企業的風格、logo 等信息導入 Typeface 供模型學習，基于這些專有數據，Typeface 可以輸出更個性化、滿足企業實際需求的內容，做到讓 AI“更懂用戶”。Typeface 十分強調對客戶數據的保護：每個用戶都有獨有的托管和 AI 模型、并且同樂原創檢測、品牌契合度檢測和文字上的語法檢測等功能。案例研究：39Pilot AI 是一款面向銷售人員的人工智能工具，使用 AI 技術自動將每一個銷售電話變成詳細的筆記和結構化數據，并將結構化數據直接同步到 CRM。Pilot AI 解決了以往銷售代表需要花費很長時間查看通話記錄以提取關鍵信息輸入至 CRM。對應場景：Pilot A

50、I 使用 AI 從銷售電話中提取信息，生成注釋并在電話結束后填充進 CRM。注釋包括摘要、銷售人員在線提出的任何問題、潛在客戶的回答及細節。據創始人 Maxwell Lu 介紹，客戶使用 Pilot AI 在他們的 CRM 中填寫 15 個不同的字段，取代了需要代表長達 20 分鐘的通話后撰寫流程。案例研究：40Neeva 定位于隱私型、無廣告 AI 搜索引擎。由前谷歌廣告和商務高級副總裁 Sridhar Ramaswamy 創立。Neeva 的用戶交互方式與 ChatGPT 類似，通過搜索直接得到答案；可解釋性好，內容來源標注清晰；用戶得到的搜索的結果除了來自公開搜索的信息外，也有用戶在各個

51、平臺留存的信息，以及本地信息。商業模式：訂閱制。案例研究：41個性化 AI 聊天機器人：用戶在 Character 根據個人偏好定制 AI 角色并和它聊天。ChatGPT 已經證明了人們對對話 AI 的狂熱和粘性，而 Character.ai 在此基礎上加入個性化、UGC 兩大武器，有了比 ChatGPT 更豐富的使用場景，也講了一個下一代 AI 全民應用的故事，自 2022 年 9 月發布后的兩個月內，用戶共創建了 35 萬個角色，12 月初-12 月中，用戶日活又翻了三倍，我們了解到目前 Character.ai 的月活躍用戶數在小幾十萬的量級。Character.ai 是目前個性化 AI

52、 聊天機器人賽道技術能力最強的團隊：創始人 Noam Shazeer 是 Transformer 作者之一，聯合創始人 Daniel de Freitas 領導了 Meena 和 LaMDA 的開發。Character.ai 的行業啟發在于：隨著高性能大模型的使用門檻進一步降低，未來 AI 應用層的顛覆式創新或許不在技術，而是產品設計維度的絕妙想法。案例研究：42PixelVibePixelVibe AI AIPixelVibe 是一家動畫人工智能公司，用戶可以使用它制作虛擬世界的各種要素。PixelVibe AI 幫助創作者快速構思和創建游戲需要的動畫要素，使用 AI 技術創造人物、風景、服

53、裝等。核心用戶：游戲玩家、藝術創作者（動畫、音樂視頻、社交媒體）、營銷廣告。核心用戶：游戲玩家、藝術創作者（動畫、音樂視頻、社交媒體）、營銷廣告。案例研究：2023 年 2 月07 訓練和推理環節分析 AI 分布式計算的市場主要由芯片(55-75%)、內存(10-20%)和互聯設備（10-20%）三部分組成。售賣分布式計算系統主要有兩種商業模式，服務器供應商和云計算服務商。分布式計算的價值流向（55%-75%）按現有格局推理終局，Server Vendors 拿走 1/3，云計算拿走 2/3；Server Vendors 有 Dell、浪潮 這類傳統 Vendors 拿走 75%的市場份額，N

54、VIDIA 也會自售服務器。初創公司有做生意賺個辛苦錢的機會，沒有大機會；云計算規模和利潤誘人，但四家科技巨頭寡頭壟斷，初創公司機會渺茫。AI 分布式計算：云計算服務商寡頭壟斷，Server Vendors 有部分機會芯片：推理需求未來將占算力大頭 推理需求未來將占算力大頭：訓練需求可能隨著模型訓練量擴大帶來的邊際回報降低而最終會有上限，而推理需求隨著推理成本的下降和更多SaaS 集成而指數上升。推理芯片有需要預判未來主流推理，目前有在云端（OpenAI）和邊緣端（Apple）兩條路徑二級視角：終局云端利好Nvidia 和Azure，終局為邊緣端利好蘋果和臺積電；一級視角：終局云端利好ASIC

55、 和RISCV CPU，終局為邊緣端將利好FPGA 和類似Apple Silicon 的SoC 芯片研發公司。初創芯片需要劍走偏鋒，也需要大模型長期技術路徑穩定。內存：主流內存技術已被寡頭壟斷 主流內存技術被美光、三星、海力士三家寡頭壟斷；新型內存技術距離商用還有五年以上時間，研究優先級不高?；ヂ撛O備：初創公司有望通過片間通訊打破壟斷 當前互聯設備主要是網關公司的 Server-to-Server 網線，NVLINK 和 Chiplet 開辟片間通訊的新路徑 Chiplet 主要由臺積電引領超近距離的片間通訊，曾助力 Apple Silicon 和 AMD 取得巨大成功。Intel、AMD 19 年提出 CXL 想復刻 NVLINK 成功，初創公司有望追上。