復旦大學：2023大模型時代的危與機（38頁）.pdf

《復旦大學：2023大模型時代的危與機（38頁）.pdf》由會員分享，可在線閱讀，更多相關《復旦大學：2023大模型時代的危與機（38頁）.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、1張奇復旦大學大模型時代的危與機ChatGPT仿佛電影中的AI就在眼前22ChatGPT給公眾展現出來的是無所不能34語言模型預訓練完成后，仍然需要大量標注數據https:/ low latency(92%的涌現能力是這兩個度量下出現的：隨著模型規模提升，如果將度量從非線性/不連續的度量（圖 2CD）換成線性/連續的度量（圖 2EF），具有有平滑的、連續的、可預測的性能提升。LLM 涌現能力的兩個決定性屬性：1.敏銳性，從不存在到存在似乎只是瞬間的過渡；2.不可預測性，在看似不可預見的模型規模內過渡。9不能迷信和依賴任務能力涌現大模型認知10大模型認知不能迷信和依賴任務能力涌現11大模型是否真

2、的具備推理能力仍然有待討論大模型認知Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4,Arxiv 2023ChatGPT和GPT-4都擅長解決著名的邏輯推理閱讀理解基準，但在處理分布外數據集方面很困難。它們在需要邏輯推理的自然語言推理任務上的性能仍有待提高。2022年新創建數據集合人工創建的分布外數據12不是所有場景下都必須要使用千億大模型語言知識語言知識世界知識世界知識大模型認知https:/arxiv.org/abs/2011.04946語言學任務語言學任務：詞性、句法、組塊：詞性、句法、組塊語義任務語義任務：語義：

3、語義匹配匹配、關系抽取等、關系抽取等世界知識任務：指代消解世界知識任務：指代消解猴子吃了那個香蕉，因為猴子吃了那個香蕉，因為它它餓餓了了猴子吃了那個香蕉，因為猴子吃了那個香蕉，因為它它熟透熟透了了13同一個時代沒有什么黑科技當前時代機器學習基礎理論是什么？模型：學習什么樣的模型策略：按照什么樣的準則學習或選擇最優的模型算法：學習模型的具體計算方法數據：高質量、大規模訓練數據13ChatGPT真正做的事情文字接龍14什么是自然語言處理？自然語自什么是自然語言處理？自己然在然函數ff什么是自然語言處理？自然語言處理旨在探索實現.ENDENDf概率如何得到的？15f大量高質量互聯網無監督數據預訓練語

4、言模型數千種針對特定任務的有監督訓練數據指令微調人類反饋大量對話文本以及真實回答用戶輸入測試訓練大模型真正展現了什么能力？16超強的文本建模能力：25K英文單詞的理解和生成能力多任務統一學習范式：將所有NLP任務統一到生成式多任務學習框架任務泛化能力：數千種任務統一框架學習后，部分無標注數據任務上效果很好Chung et al.Scaling Instruction-Finetuned Language Models,arxivChung et al.Scaling Instruction-Finetuned Language Models,Arxiv Oct.202217機遇在哪里？小模型時

5、代的工作流程18甲方提出需求轉換為機器學習問題產品經理研發標注數據訓練模型模型評測模型部署N個小模型小模型時代的難點19任務開發成本高、時間周期長相同任務的微小需求變化，需要30%-70%的重新開發成本，無法產品化模型開發和維護成本高高水平算法研究員稀缺將來會演變成什么樣子？20大規模語言模型構建通用能力注入特定任務使用圖書互聯網大模型百科閱讀理解情感分析信息抽取分類任務指令構造任務數據結果任務范式發生巨大變化21大模型【句子輸入】，上述文字表達了褒義和貶義傾向？使用自然語言對模型進行訓練和使用【文章輸入】，上述文章中包含哪些公司主體？【文章輸入】，從上述文章提取2022年公司主營業務收入【數

6、據】，根據上述數據，書寫2023年第一季度財報摘要【財報輸入】，從上述財報，輸出核心提示大模型優勢22非常少量算法研究員新任務可以快速訓練，并且不需要模型重新部署低成本產品化可以應用于哪些場景銀行23NLP搜索/問答/文本解析場景一:信貸輔助決策 業務部門:風險/公司/信等場景二:公司債業務審核業務部門:投行場景三，智能客服業務部門:遠程銀行/信用卡等場景四:企業知識庫建設業務部門，科技部門財務報告自動化解析公司輿情數據智能挖據信貸流水材料智能處理宏觀行業景氣度分析風險事件傳導分析募集債券說明書智能審核審計報告自動化比對智能客戶服務工單數據處理多元營銷輔助企業內部數據NLP-抽取/OCR/表格

7、解折NLP-分類/情感/實體識別/事件標簽NLP-表格解折/OCRNLP-抽取/事件標簽/專家知識NLP-事件/專家知識NLP-抽取/審核/比對NLP-抽取/比對NLP-多輪對話NLP-分類/聚類/0CR/估感NLP-分類/聚類/實體/情感銀行應用方式24大模型【句子輸入】，上述文字表達了褒義和貶義傾向？【文章輸入】，上述文章中包含哪些公司主體？【文章輸入】，從上述文章提取2022年公司主營業務收入【數據】，根據上述數據，書寫2023年第一季度財報摘要【財報輸入】，從上述財報，輸出核心提示實體識別情感分析事件抽取聚類問題回答對話系統語義匹配分類增加一個新任務時怎么辦？25大模型【句子輸入】，上

8、述文本是關于信用卡信用卡還是貸款貸款業務？甲方提出需求轉換為機器學習問題產品經理研發產生訓練數據大模型時代的自然語言處理研究變化26大模型時代從單個小任務的研究，轉向一類問題統一框架研究挑戰：贏者通吃，不緊跟步伐就會造成代差，并且不容易彌補對話交互方式，使得先發優勢更加明顯，用戶數據無法獲取的情況下，追趕代價更大機遇：NLP從手工作坊轉向蒸汽機時代，人工智能的Iphone時代來臨面向B端私有化部署的小模型大模型時代的NLP研究重點27領域大模型-對話、摘要、改寫、NLP任務集成等1B-50B模型族大模型可控文本生成大模型隱私大模型魯棒性評測與提升超小規模任務模型構建1M-50M-是否可以脫離深

9、度神經網絡？大模型推理能力構建大模型可解釋性因果機制與大模型融合中文開源大模型族1-20B28怎么搞？不同的業務類型差別很大29模型需求穩定，模型數量少，目前效果較好模型需求穩定，但效果亟待提升模型需求穩定、模型數量大模型需求不穩定大模型的長距離建模能力，解決歧義問題大模型的統一任務建模能力，解決模型模型數量多、管理難問題大模型的領域和任務泛化能力，解決領域遷移問題特別提醒：大多數情況下仍然依賴一定數量的訓練數據小模型不能解決的問題AIGC：對話、問題、生成等如何搞30如何搞31Megatron-DeepSpeedNVIDIA/Megatron-LM如何搞32GPT-1GPT-2GPT-3（1

10、750億）（15億）（1億）DavinciCodexInstructGPTCode-davinci-001Text-davinci-001Code-davinci-002Text-davinci-002Text-davinci-003ChatGPTRLHFRLHF指令微調代碼生成基礎大模型訓練指令微調代碼生成基于強化學習的人類反饋學習長距離語言建模能力理解人類指令能力回答符合人類習慣的能力如何搞33大模型需要：1.好的基礎語言模型2.任務訓練數據要足夠3.任務訓練方法要合適如何搞341.基礎語言模型選擇中英文能力、Code能力、模型大小任務相關文本增強2.任務數據構造任務種類、指令構造、數據構

11、造3.類人回答Award函數選擇、Award函數訓練如何搞350.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%ACE 2005AnatEMbc2gmbc4chemdbc5cdrBroad Tweet CorpusCoNLL 2003FindVehicleGENIA_NERHarveyNERmit-moviemit-restaurantMultiNERDncbiOntonotesTweetNER7WikiANN en命名實體識別對比LLM-IEBERTGPT 3.5Task:NERPlease list all

12、entity words in the text that fit the category.Output format is(word1,type1),(word2,type2).Option:location,else,organization,personText:Germany s representative to the European Union s veterinary committee Werner Zwingmann said on Wednesday consumers should buy sheepmeat from countries other than Britain until the scientific advice was clearer.Answer:(Germany,location),(European Union,organization),(Werner Zwingmann,person),(Britain,location)InstructUIE:Multi-task Instruction Tuning for Unified Information Extraction36不要神話和擬人化大模型依然是統計機器學習范疇37C端 大模型B端 小模型38謝謝！