南京航空航天大學：ChatGPT的前世今生（2023）（462頁）.pdf

《南京航空航天大學：ChatGPT的前世今生（2023）（462頁）.pdf》由會員分享，可在線閱讀，更多相關《南京航空航天大學：ChatGPT的前世今生（2023）（462頁）.pdf（462頁珍藏版）》請在三個皮匠報告上搜索。

1、ChatGPT的前世今生李丕績計算機科學與技術學院/人工智能學院南京航空航天大學個人介紹4/11/2023Piji Li,LLM&ChatGPT2 教育經歷 香港中文大學,博士,2018 自然語言處理 山東大學,本科&碩士,2009&2012 計算機視覺&信息檢索 工作經歷 北京百度,2012 深圳無覓,2013 深圳騰訊AI Lab,2018 南京航空航天大學,2021 自然語言處理人工智能發展史4/11/2023Piji Li,LLM&ChatGPT接觸AI4/11/2023Piji Li,LLM&ChatGPT4AI十年回顧4/11/2023Piji Li,LLM&ChatGPT5Ale

2、xNet00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顧4/11/2023Piji Li,LLM&ChatGPT62013201420122006-2009,1000 categories and 1.2 million training imagesLi Fei-Fei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顧4/11/2023Piji Li,

3、LLM&ChatGPT7https:/ Li,LLM&ChatGPT8“深度學習三巨頭”之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顧4/11/2023Piji Li,LLM&ChatGPT92013201420122006-2009,1000 categories and 1.2 million training imagesLi Fei-F

4、ei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顧何愷明4/11/2023Piji Li,LLM&ChatGPT10Kaiming He，本科就讀于清華大學，博士畢業于香港中文大學多媒體實驗室。2011年加入微軟亞洲研究院（MSRA）工作。2016年，加入Facebook AIResearch（FAIR）擔任研究科學家AI十年回顧4/11/2023Piji Li,LLM&ChatGPT11AlphaGOAI十年回顧 DeepMi

5、nd成立于2010年，2014年被Google收購。2014年開始開發人工智能圍棋軟件AlphaGo。2015年10月，分布式版AlphaGo分先以5:0擊敗了歐洲圍棋冠軍華裔法籍職業棋士樊麾二段。2016年3月，AlphaGo挑戰世界冠軍韓國職業棋士李世乭（）九段，對弈結果為AlphaGo 4:1戰勝了李世乭。4/11/2023Piji Li,LLM&ChatGPT12AI十年回顧4/11/2023Piji Li,LLM&ChatGPT13AI十年回顧 4:14/11/2023Piji Li,LLM&ChatGPT14AI十年回顧AI繪圖4/11/2023Piji Li,LLM&ChatGP

6、T15AI十年回顧4/11/2023Piji Li,LLM&ChatGPT16AI十年回顧4/11/2023Piji Li,LLM&ChatGPT17AlphaFoldAI十年回顧4/11/2023Piji Li,LLM&ChatGPT CASP 2018-AF1 2020-AF2 2021-NatureAI十年回顧4/11/2023Piji Li,LLM&ChatGPT19Diffusion ModelStable Diffusion4/11/2023Piji Li,LLM&ChatGPT20Disco Diffusion4/11/2023Piji Li,LLM&ChatGPT21Midjo

7、urney v54/11/2023Piji Li,ChatGPT22Diffusion Model4/11/2023Piji Li,LLM&ChatGPT23AI十年回顧4/11/2023Piji Li,LLM&ChatGPT25ChatGPTGPT44/11/2023Piji Li,LLM&ChatGPT26ChatGPT Mar.14,20234/11/2023Piji Li,LLM&ChatGPT27GPT-4AI十年回顧4/11/2023Piji Li,LLM&ChatGPT28AI十年回顧4/11/2023Piji Li,LLM&ChatGPT29人工智能 機器學習 計算機視覺 自然

8、語言處理 語音識別及合成 機器人4/11/2023Piji Li,LLM&ChatGPT30什么是自然語言處理？自然語言 人類使用的語言，如漢語、英語、法語等；特指文本符號(非語音)。如何定義 自然語言處理(Natural Language Processing,NLP)是利用計算機技術來分析、理解和處理自然語言的一門學科,涉及到語言學、計算機科學、人工智能等交叉領域，關注計算機和人類(自然)語言之間的交互?？煞譃樽匀徽Z言理解(Natural Language Understanding,NLU)和自然語言生成(NaturalLanguage Generation,NLG)兩大部分。屬于認知智

9、能 計算智能(能存會算)，感知智能(能聽會說，能看會認)認知智能(能理解會思考，需要抽象和推理能力)4/11/2023Piji Li,LLM&ChatGPT31認知智能4/11/2023Piji Li,LLM&ChatGPT32#自然語言處理太難了#4/11/2023Piji Li,LLM&ChatGPT33 歧義性 主觀性 創新性 知識性 組合性 上下文 多模態#自然語言處理太難了#4/11/2023Piji Li,LLM&ChatGPT34 歧義性 主觀性 創新性 知識性 組合性 上下文 多模態“自然語言處理是人工智能皇冠上的明珠”4/11/2023Piji Li,LLM&ChatGPT3

10、5(from：哈工大車萬翔)ChatGPT!ChatGPT是怎么誕生的？4/11/2023Piji Li,LLM&ChatGPT36羅馬不是一天建成的 向量空間模型 Bm25 Svd Plsa Lda Word2vec Deepwalk transE Cnn句子分類 匹配、摘要等 Seq2seq翻譯ChatGPT是怎么誕生的？4/11/2023Piji Li,LLM&ChatGPT37 CnnSeq Transformer Language model Lstm pretrain ELMo GPT BERT xlnet roberta、albert、electra GPT2 GPT3 BART

11、 T5 PEGASUS WebGPT RLHF InstructGPT內容基礎技術預訓練技術ChatGPT未來展望4/11/2023Piji Li,LLM&ChatGPT38內容基礎技術預訓練技術ChatGPT未來展望4/11/2023Piji Li,LLM&ChatGPT394/11/2023Piji Li,LLM&ChatGPT40基礎技術的故事4/11/2023Piji Li,LLM&ChatGPT41Language Model語言模型語言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT42孫栩，自然語言處理導論語言模型 Language Mo

12、del4/11/2023Piji Li,LLM&ChatGPT43孫栩，自然語言處理導論語言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT44孫栩，自然語言處理導論N-gram LM4/11/2023Piji Li,LLM&ChatGPT45孫栩，自然語言處理導論N-gram LM4/11/2023Piji Li,LLM&ChatGPT46孫栩，自然語言處理導論N-gram LM4/11/2023Piji Li,LLM&ChatGPT47孫栩，自然語言處理導論Evaluation:Perplexity4/11/2023Piji Li,LLM&Chat

13、GPT48 Neural Network based Language ModelNN LM4/11/2023Piji Li,LLM&ChatGPT49NN LM4/11/2023Piji Li,LLM&ChatGPT50孫栩，自然語言處理導論NN LM4/11/2023Piji Li,LLM&ChatGPT51孫栩，自然語言處理導論梯度消失/爆炸4/11/2023Piji Li,LLM&ChatGPT54長程依賴問題循環神經網絡在時間維度上非常深！梯度消失或梯度爆炸如何改進？梯度爆炸問題 權重衰減 梯度截斷 梯度消失問題 改進模型4/11/2023Piji Li,LLM&ChatGPT55長

14、程依賴問題 改進方法 循環邊改為線性依賴關系 增加非線性殘差網絡？4/11/2023Piji Li,LLM&ChatGPT56Long Short-Term Memory,LSTM4/11/2023Piji Li,LLM&ChatGPT574/11/2023Piji Li,LLM&ChatGPT58I am the GOD Father!4/11/2023Piji Li,LLM&ChatGPT59LSTM現在也沒有多少人用了。4/11/2023Piji Li,LLM&ChatGPT60長短期記憶神經網絡（Long Short-Term Memory,LSTM）長短期記憶神經網絡（Long Sh

15、ort-Term Memory,LSTM）4/11/2023Piji Li,LLM&ChatGPT61LSTM的各種變體 沒有遺忘門 耦合輸入門和遺忘門 peephole連接4/11/2023Piji Li,LLM&ChatGPT62Gated Recurrent Unit,GRU 順便講講GRU4/11/2023Piji Li,LLM&ChatGPT63Gated Recurrent Unit,GRU4/11/2023Piji Li,LLM&ChatGPT64Gated Recurrent Unit,GRUGated Recurrent Unit,GRU更新門重置門4/11/2023Piji

16、 Li,LLM&ChatGPT65RNN LM的應用4/11/2023Piji Li,LLM&ChatGPT69語言模型做生成？4/11/2023Piji Li,LLM&ChatGPT70ICML 2012NIPS2008ICML 201120024/11/2023Piji Li,LLM&ChatGPT71語言模型 序列生成語言模型 文本生成4/11/2023Piji Li,LLM&ChatGPT72ICML2011LSTM4/11/2023Piji Li,LLM&ChatGPT734/11/2023Piji Li,LLM&ChatGPT74生成LINUX內核代碼4/11/2023Piji L

17、i,LLM&ChatGPT75作詞機 RNN在“學習”過汪峰全部作品后自動生成的歌詞 https:/ Li,LLM&ChatGPT76作詩機。4/11/2023Piji Li,LLM&ChatGPT77Yang et al.Stylistic Chinese Poetry Generation via Unsupervised Style Disentanglement.EMNLP 2018.2013、2014、2015 大家一邊玩著word2vec，一邊訓練著rnn-lm做生成，一邊影響著其它領域發展 例如：機器翻譯繼續發展4/11/2023Piji Li,LLM&ChatGPT78統計機器

18、翻譯-SMT4/11/2023Piji Li,LLM&ChatGPT79Chinese:我在北京做了講座講座PhraseSeg:我在 北京做了講座講座English:IBeijingPhraseTrans:Iin BeijingdidPhrase Reorder:Iin Beijinglecturedidlecturedidlecturein張家俊.機器翻譯lectures統計機器翻譯-SMT4/11/2023Piji Li,LLM&ChatGPT80Chinese:我在北京做了報告 Phrase Seg:我在 北京做了 報告Phrase Trans:Iin Beijinggave atalk

19、Phrase Reorder:Igave a talkinBeijingEnglish:IgaveatalkinBeijing人工人工設設定的定的模模塊塊和和特征特征數據稀疏數據稀疏復雜結構復雜結構無能為力無能為力強烈依賴先強烈依賴先驗知識驗知識張家俊.機器翻譯lecturesICML 2012NIPS2008ICML 20112002神經機器翻譯EMNLP 20134/11/2023Piji Li,LLM&ChatGPT83神經機器翻譯Piji Li,LLM&ChatGPT844/11/2023COLING20122013COLING2006神經機器翻譯4/11/2023Piji Li,LL

20、M&ChatGPT85NAACL 2012 Best short PaperACL 2014 Best Paper神經機器翻譯4/11/2023Piji Li,LLM&ChatGPT86ACL 2014 Best Paper神經機器翻譯4/11/2023Piji Li,LLM&ChatGPT87神經機器翻譯4/11/2023Piji Li,LLM&ChatGPT88RNNencdec4/11/2023Piji Li,LLM&ChatGPT89RNNencdec4/11/2023Piji Li,LLM&ChatGPT90RNNencdec4/11/2023Piji Li,LLM&ChatGPT9

21、1Cho et.al.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.EMNLP2014RNNencdec4/11/2023Piji Li,LLM&ChatGPT92Phrase Generation+SMT，并不是真正的end-to-end形式的NMT。RNNencdec4/11/2023Piji Li,LLM&ChatGPT93Problem？Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT94Seq2seq-

22、attention4/11/2023Piji Li,LLM&ChatGPT95Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT96Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT97Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT98bidirectional recurrent neural network(BiRNN)Softmax(Ws,y,c+b)Teacher Forcing！Attention calculation4/11/2023Piji Li,LLM&

23、ChatGPT99Decoding Strategy4/11/2023Piji Li,LLM&ChatGPT100Greedy SearchBeam SearchSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT101Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT102Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT103Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT104

24、 Seq2seq-attention之后，大廠開始業務上線翻譯落地4/11/2023Piji Li,LLM&ChatGPT105在線翻譯（谷歌、微軟、百度、有道、搜狗等）翻譯機（科大訊飛、準兒、百度、搜狗等）同傳機器翻譯（微軟、訊飛、騰訊、搜狗等）基于PowerPoint的語音同傳（微軟，TAUS 3.22-23）面向自由說話人的語音同傳（騰訊，博鰲亞洲論壇）爆發seq2seq應用 Research 例如：華為諾亞-Lifeng的dialogue generation，Jiatao的copymechanism，Zhaopeng的coverage,baotian的matching,etc.Han

25、g Li,Zhengdong LvStartups 大多倒閉了Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT106Google NMT4/11/2023Piji Li,LLM&ChatGPT107-Deep-Residual-Parallel-Wordpiece(subwords)-Length-normalization-Coverage penalty-Reinforcement learning for BLEUSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT108Lingpeng Kong,NLP L

26、ecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT109Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT110Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT111Lingpeng Kong,NLP LecturesConvS2S4/11/2023Piji Li,LLM&ChatGPT112ICML2017ConvS2S4/11/2023Piji Li,L

27、LM&ChatGPT113ConvS2S4/11/2023Piji Li,LLM&ChatGPT114Google:Google說：那怎么行？放大招！ConvS2S4/11/2023Piji Li,LLM&ChatGPT115Transformer4/11/2023Piji Li,LLM&ChatGPT116Transformer4/11/2023Piji Li,LLM&ChatGPT117Transformer4/11/2023Piji Li,LLM&ChatGPT118Transformer4/11/2023Piji Li,LLM&ChatGPT119Transformer Multi-h

28、eaded self-attention Models context Feed-forward layers Computes non-linear hierarchical features Layer norm and residuals Makes training deep networks healthy Positional embeddings Allows model to learn relative positioningVaswani,Ashish,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.

29、Gomez,ukaszKaiser,and Illia Polosukhin.Attention is all you need.In NIPS,pp.5998-6008.2017.4/11/2023Piji Li,LLM&ChatGPT120Transformer-self-attention4/11/2023Piji Li,LLM&ChatGPT121TransformerTransformer:Multi-Head Attention4/11/2023Piji Li,LLM&ChatGPT122Transformer-multi-head self-att4/11/2023Piji Li

30、,LLM&ChatGPT123Transformer-multi-head self-att4/11/2023Piji Li,LLM&ChatGPT124 Position embedding relative position 很多后續研究Transformer-The Order of The Sequence4/11/2023Piji Li,LLM&ChatGPT125Transformer-Input4/11/2023Piji Li,LLM&ChatGPT126Transformer4/11/2023Piji Li,LLM&ChatGPT127 Add Residual Connect

31、ion NormTransformer Add&Norm4/11/2023Piji Li,LLM&ChatGPT128Transformer4/11/2023Piji Li,LLM&ChatGPT129Transformer-fflayer4/11/2023Piji Li,LLM&ChatGPT130 Cross-attention Masked-self-attentionTransformer-decoder4/11/2023Piji Li,LLM&ChatGPT131Transformer-decoder4/11/2023Piji Li,LLM&ChatGPT132Transformer

32、-results4/11/2023Piji Li,LLM&ChatGPT133Transformer4/11/2023Piji Li,LLM&ChatGPT134內容基礎技術預訓練技術ChatGPT未來展望4/11/2023Piji Li,LLM&ChatGPT1354/11/2023Piji Li,LLM&ChatGPT136預訓練的故事 匹配 檢索 分類 聚類4/11/2023Piji Li,LLM&ChatGPT138語義分析-向量表示VSMLDA(2003)Google Word2vec(2013/14)Google LSTM-LM(2015)AI2 ELMo(2017)OpenAI

33、GPT(Jun 2018)Google BERT(Oct 2018)OpenAI GPT2(2019)Google XLNet(2019)OpenAI GPT3(2020)TF-IDF向量表示4/11/2023Piji Li,LLM&ChatGPT139語義分析-向量表示-VSM 缺點 稀疏性:對于大詞典，尤其是包括了生僻字的詞典，文檔稀疏性不可避免；多義詞:BOW模型只統計單詞出現的次數，而忽略了一個詞可能存在多種含義，一詞多義；同義詞(Synonym):多個單詞可以表示同一個意思，一義多詞；從同義詞和多義詞問題可以看到：單詞也許不是文檔的最基本組成元素，在單詞與文檔之間還有一層隱含的關系，

34、我們稱之為主題(Topic)，我們更關注隱藏在詞之后的意義和概念。在寫文章時首先確定的是文章的主題，再根據主題選擇合適的單詞來表達觀點。所以，在這里我們需要將單詞向量空間轉變成話題向量空間，這里也就是從詞袋模型轉變成LSA模型語義分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT140語義分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT141Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT142Latent Semantic Indexing(LSI)4/11/2023P

35、iji Li,LLM&ChatGPT143Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT144奇異值跟特征值類似，在矩陣中也是從大到小排列，而且的減少特別的快，在很多情況下，前10%甚至1%的奇異值的和就占了全部的奇異值之和的99%以上了。也就是說，我們也可以用前r大的奇異值來近似描述矩陣Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT145Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT146保

36、留前5項保留前50項原圖 LSI是最早出現的主題模型了，它的算法原理很簡單，一次奇異值分解就可以得到主題模型，同時解決詞義的問題，非常漂亮。將文檔表示到話題向量空間的過程就是SVD奇異值分解和降維的過程。降維是LSA分析中最重要的一步，通過降維，去除了文檔中的“噪音”，也就是無關信息（比如詞的誤用或不相關的詞偶爾出現在一起），語義結構逐漸呈現。缺點：不好解釋Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT147pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li

37、,LLM&ChatGPT148LSA概率意義上的解釋 聯合概率分布pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT149pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT150pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT151pLSA(Probabilistic Latent Semantic Analysi

38、s)4/11/2023Piji Li,LLM&ChatGPT152 對于一個新的文檔而言，我們無法得知它對應的P(d)究竟是什么，因此盡管 PLSA 模型在給定的文檔上是一個生成模型，它卻無法生成新的未知的文檔。該模型的另外的一個問題在于，隨著文檔數量的增加，P(z|d)的參數也會隨著線性增加，這就導致無論有多少訓練數據，都容易導致模型的過擬合問題。這兩點成為了限制 PLSA 模型被更加廣泛使用的兩大缺陷。pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT153缺點：Latent Dirichlet

39、Allocation(LDA)被提出Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT154Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT155 LDA模型涉及很多數學知識，這也許是LDA晦澀難懂的主要原因。LDA涉及到的先驗知識有：詞袋模型、二項分布、Gamma函數、Beta分布、多項分布、Dirichlet分布、馬爾科夫鏈、MCMC、Gibbs Sampling、EM算法等。Latent Dirichlet Allocation(LDA)4/11/

40、2023Piji Li,LLM&ChatGPT156 Dirichlet分布 Dirichlet的概率密度函數為：其中：狄利克雷(Dirichlet)分布是多項式分布的共軛分布。Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT157 Dirichlet分布Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT158Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT159Rickjin LD

41、A數學八卦 主題模型-Latent Dirichlet allocation d-z z-w4/11/2023Piji Li,LLM&ChatGPT160語義分析-向量表示-LDA Natural Language Processing Information Retrieval Recommendation Systems4/11/2023Piji Li,LLM&ChatGPT161LDA-主流語義建模技術 Wang,Yi,Xuemin Zhao,Zhenlong Sun,Hao Yan,Lifeng Wang,Zhihui Jin,Liubin Wang,Yang Gao,Ching La

42、w,and Jia Zeng.Peacock:Learning long-tail topic features for industrial applications.ACM Transactions on Intelligent Systems and Technology(TIST)6,no.4(2015):1-23.Large LDA-Peacock4/11/2023Piji Li,LLM&ChatGPT162 Yuan,Jinhui,Fei Gao,Qirong Ho,Wei Dai,Jinliang Wei,Xun Zheng,Eric Po Xing,Tie-Yan Liu,an

43、d Wei-Ying Ma.Lightlda:Big topic models on modest computer clusters.InProceedings of the 24th International Conference on World Wide Web,pp.1351-1361.2015.Large LDA-LightLDA4/11/2023Piji Li,LLM&ChatGPT163 Deep Learning悄悄發展 2006 2011 2012,AlexNet RNN,LSTM4/11/2023Piji Li,LLM&ChatGPT164LDA如火如荼Unsuperv

44、ised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT165Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT166 Mikolov,Tomas,Kai Chen,Greg Corrado,and Jeffrey Dean.Efficient estimation of wordrepresentations in vector space.ICLR(2013).-Large improvements in accuracy,low

45、er computational cost.-It takes less than a day to train from 1.6 billion words data set.Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT167man-woman+queen=kingDeepWalk,TransX,騰訊AI Lab開源800萬中文詞的NLP數據集Problem？Unsupervised Representation Learning Word2Vec-20144/11/2023Pij

46、i Li,LLM&ChatGPT168Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT169Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT170 Semi-Supervised Sequence Learning,Google,NIP

47、S 2015Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT171Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.2017.NAACL.4/11/2023Piji Li,LLM&ChatGPT172Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&

48、University of Washington,Jun.2017 NAACL 2018 best paper4/11/2023Piji Li,LLM&ChatGPT173Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.20174/11/2023Piji Li,LLM&ChatGPT174NAACL 2018 best paper預訓練語言模型 GPT14/11/2023Piji Li,LLM&ChatGPT175ChatGPT研

49、究框架（2023）-國泰君安Ilya采訪：2017年，谷歌發表Transformer論文的第二天，OpenAI的研發團隊就豁然開朗了，意識到Transformer可以完全解決機器不斷預測文本的問題，這最終造就了GPT-3以及迄今為止的一切；Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT176GPT中的三個字母，每一個的技術or專利都屬于Google或者是被

50、Google早期探索過，但合起來就是OpenAI的。Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT177https:/ Representation Learning4/11/2023Piji Li,LLM&ChatGPT178Improving Language Understanding by Generative Pre-Training,OpenA

51、I,Jun,2018GPTUnsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT179Unsupervised Representation Learning Problem Language models only use left context or right context But language understanding is bidirectio

52、nal.4/11/2023Piji Li,LLM&ChatGPT180BERT BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT181ACL 2014 Best Long Paper awardNAACL 2012 Best Short Paper awardBERT BERT:Pre-training of

53、Deep Bidirectional Transformers for LanguageUnderstanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT182BERT The General Language Understanding Evaluation(GLUE)benchmark is a collection of resources for training,evaluating,and analyzing.4/11/2023Piji Li,L

54、LM&ChatGPT183BERT Stanford Question Answering Dataset(SQuAD)is a reading comprehensiondataset4/11/2023Piji Li,LLM&ChatGPT184BERT Best Paper of NAACL 2019Best Paper of NAACL 2018BERTELMo4/11/2023Piji Li,LLM&ChatGPT185BERT-Technical Details4/11/2023Piji Li,LLM&ChatGPT186BERT-Technical Details Input La

55、yer4/11/2023Piji Li,LLM&ChatGPT187BERT-Technical Details Pre-trainingTask#1:Masked LM 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT188BERT-Technical Details Pre-trainingTask#1:Masked LM Task#2:Next Sentence Prediction 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT189To learn relationships between sentenc

56、es,predict whether Sentence B is actualsentence that proceeds Sentence A,or a random sentence.BERT-Technical Details Fine-tuning4/11/2023Piji Li,LLM&ChatGPT190BERT Training Details Dataset Books Corpus(800M words)Wikipedia(2,500M words)4/11/2023Piji Li,LLM&ChatGPT191BERT Training Details Parameters

57、BERT-BASE:L=12,H=768,A=12,Total Parameters=110M BERT-LARGE:L=24,H=1024,A=16,Total Parameters=340M 30,000 token bpe vocabulary 512 max-len，256 batch-size 1M steps，40 epochs4/11/2023Piji Li,LLM&ChatGPT192進入大模型時代！BERT Research4/11/2023Piji Li,LLM&ChatGPT193XLNet4/11/2023Piji Li,LLM&ChatGPT194XLNetAutor

58、egressive LMAutoencoder LM,MaskPermutation Language ModelTransformer-XLMore data4/11/2023Piji Li,LLM&ChatGPT195Roberta4/11/2023Piji Li,LLM&ChatGPT196Roberta 從模型上來說，RoBERTa基本沒有什么太大創新，主要是在BERT基礎上做了幾點調整：1）訓練時間更長，batch size更大，訓練數據更多；2）移除了next sentence predict loss；3）訓練序列更長；4）動態調整Masking機制。從實驗效果來看，干過了ber

59、t和XLNet。4/11/2023Piji Li,LLM&ChatGPT197ERNIE-1&2 不同于ERNIE1僅有詞級別的Pretraining Task，ERNIE2考慮了詞級別、結構級別和語義級別3類Pretraining Task，詞級別包括KnowledgeMasking（短 語 Masking）、CapitalizationPrediction（大 寫 預 測）和 Token-DocumentRelationPrediction（詞是否會出現在文檔其他地方）三個任務，結構級別包括Sentence Reordering（句子排序分類）和SentenceDistance（句子距離分

60、類）兩個任務，語義級別包括DiscourseRelation（句子語義關系）和IR Relevance（句子檢索相關性）兩個任務。4/11/2023Piji Li,LLM&ChatGPT198ERNIE-1&24/11/2023Piji Li,LLM&ChatGPT199BERT in Tencent Pytorch-BERT 2g-char Chinese-wiki 14g-char news 240g-char news,14g-word newsBorrowed 80 gpus PCG,CSIG,WXG,IEG,TEG4/11/2023Piji Li,LLM&ChatGPT200起步很早

61、，2019年1月公司內部發布。預訓練語言模型 GPT24/11/2023Piji Li,LLM&ChatGPT201ChatGPT研究框架（2023）-國泰君安GPT24/11/2023Piji Li,LLM&ChatGPT202GPT24/11/2023Piji Li,LLM&ChatGPT203GPT24/11/2023Piji Li,LLM&ChatGPT204GPT24/11/2023Piji Li,LLM&ChatGPT205開啟了NLG的新篇章！4/11/2023Piji Li,LLM&ChatGPT206 Greedy Search Beam Search Top-K Top-P

62、(nucleus)解碼算法4/11/2023Piji Li,LLM&ChatGPT207Greedy Search4/11/2023Piji Li,LLM&ChatGPT208Beam Search4/11/2023Piji Li,LLM&ChatGPT209Random Sampling4/11/2023Piji Li,LLM&ChatGPT210Top-K4/11/2023Piji Li,LLM&ChatGPT211Top-p(nucleus)sampling4/11/2023Piji Li,LLM&ChatGPT212效果4/11/2023Piji Li,LLM&ChatGPT213我們

63、早期GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT214中文GPT2于2019年3月訓練完成，并在各種下游任務適配。GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT215GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT216GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT217說續寫 開局一句話內容全靠編GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT218GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT219GPT2訓練探索4/11/2023Pij

64、i Li,LLM&ChatGPT220GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT221GPT2訓練探索4/11/2023Piji Li,LLM&ChatGPT222但凡有點商業和產品思維GPT24/11/2023Piji Li,LLM&ChatGPT223Big Model4/11/2023Piji Li,LLM&ChatGPT224T54/11/2023Piji Li,LLM&ChatGPT225T54/11/2023Piji Li,LLM&ChatGPT226T54/11/2023Piji Li,LLM&ChatGPT227 Transformer Encod

65、er-Decoder 模型；BERT-style 式的破壞方法；Replace Span 的破壞策略；15%的破壞比；3 的破壞時小段長度。T54/11/2023Piji Li,LLM&ChatGPT228T54/11/2023Piji Li,LLM&ChatGPT229T54/11/2023Piji Li,LLM&ChatGPT230BART4/11/2023Piji Li,LLM&ChatGPT231ACL2020BART4/11/2023Piji Li,LLM&ChatGPT232 UniLM MASS ALBERT ELECTRA其他4/11/2023Piji Li,LLM&ChatG

66、PT233預訓練語言模型-GPT24/11/2023Piji Li,LLM&ChatGPT234大語言模型 GPT34/11/2023Piji Li,LLM&ChatGPT235OpenAI的GPT-3花費了1200萬美元Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT236GPT-3May 28,2020Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT237-大語言模型 GPT34/11/2023Piji Li,LLM&ChatGPT238模型越大越厲害Big Model-GPT3:demos4/11/2023Piji

67、Li,LLM&ChatGPT239Big Model-GPT3:demos4/11/2023Piji Li,LLM&ChatGPT240GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT241GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT242GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT243GPT3 如何finetune?4/11/2023Piji Li,LLM&ChatGPT244175B 蒸餾壓縮 In-context learning Prompt-learning大模型如何用?4

68、/11/2023Piji Li,LLM&ChatGPT245 蒸餾壓縮大模型如何用?4/11/2023Piji Li,LLM&ChatGPT246Jiao,Xiaoqi,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,and Qun Liu.“TinyBERT:Distilling BERT for Natural Language Understanding.”In Findings of the Association for Computational Linguistics:EMNLP 2020,pp.41

69、63-4174.2020.華為諾亞 In-context learning GPT3大模型如何用?4/11/2023Piji Li,LLM&ChatGPT247 Prompt-learning大模型如何用?4/11/2023Piji Li,LLM&ChatGPT248 Prompt-learning Discrete Continues大模型如何用?4/11/2023Piji Li,LLM&ChatGPT249 Chain-of-Thought Prompting大模型如何用?4/11/2023Piji Li,LLM&ChatGPT250Wei,J.,Wang,X.,Schuurmans,D.

70、,Bosma,M.,Chi,E.,Le,Q.and Zhou,D.,2022.Chain of thought prompting elicits reasoning in large language models.NeurIPS 2022.Lets think step by step大模型如何用?4/11/2023Piji Li,LLM&ChatGPT251Kojima,Takeshi,Shixiang Shane Gu,Machel Reid,Yutaka Matsuo,and Yusuke Iwasawa.Large Language Models are Zero-Shot Rea

71、soners.NeurIPS 2022.他們是真正的reasoning么？大模型如何用?4/11/2023Piji Li,LLM&ChatGPT252GPT3 In-Context Learning(ICL)4/11/2023Piji Li,LLM&ChatGPT253 Vision-Language Pretraining多模態預訓練4/11/2023Piji Li,LLM&ChatGPT254OpenAI GPT2/34/11/2023Piji Li,LLM&ChatGPT255多模態預訓練 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatG

72、PT256多模態預訓練 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT257多模態預訓練 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT258OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT259兩個模型中，CLIP用于判別文本和圖片是否相關，DALLE用于從文本生成圖像。其中，DALLE在對大量生成的候選結果進行rerank時用到了CLIP。DALLE模型結構類似于gpt2/3這種基于Transformer的auto-regre

73、ssive語言模型，有120億參數。訓練序列最長為1280，其中前256為文本序列，BPE詞表大為16384；后1024為圖像patch序列。DALLE參考了VQVAE的做法學習到了一個8192大的圖像patch詞表，可以將任意輸入圖像(256x256)劃分成32x32個patch之后在圖像詞表中找到對應id，構成圖像的離散token序列。不同于文本序列部分的正常的masked self-attention，圖像序列對attention做了些修改，例如sparseattention等。DALLE的訓練目標依然采用極大似然估計，從左到右依次預測。在inference階段，給定一段文本，DALLE

74、生成了512個候選結果，然后借助CLIP強大的圖像-文本相關性判別能力對結果列表進行rerank，最后選擇top32個結果。CLIP模型之所以強大，一方面訓練數據多，有4億圖像-文本pair，另一方面也采用了Transformer模型對圖像的patch序列進行建模，最后使用對比學習(contrastive learning)框架進行訓練，256個GPU兩周時間就可以訓練完，像nlp中的很多預訓練模型一樣，zero-shot learning的能力也非常強。從目前的一些demo看出，DALLE的效果十分驚艷，當然也依然有GPT2/3這類語言模型對復雜邏輯、推BERTInput Layer4/11

75、/2023Piji Li,LLM&ChatGPT260 微軟 BEiT OpenAI iGPT Kaiming He(何愷明)4/11/2023Piji Li,LLM&ChatGPT261BERT on Image4/11/2023Piji Li,LLM&ChatGPT262BERT on Image4/11/2023Piji Li,LLM&ChatGPT263Vision-Language Pre-trainingImageBERT model architecture4/11/2023Piji Li,LLM&ChatGPT264Vision-Language Pre-trainingBEi

76、T v34/11/2023Piji Li,LLM&ChatGPT265Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT266Wang,Wenhui,Ha

77、ngbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT267Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang

78、 Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT268Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign lang

79、uage:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).4/11/2023Piji Li,LLM&ChatGPT269Speech RepresentationHuBERTwav2vec 2.0Hsu,Wei-Ning,Benjamin Bolte,Yao-Hung Hubert Tsai,Kushal Lakhotia,Ruslan Salakhutdinov,and Abdelrahman Mohamed.HuBERT:Self-Supervis

80、ed Speech Representation Learning by Masked Predictionof Hidden Units.arXiv preprint arXiv:2106.07447(2021).Baevski,Alexei,Yuhao Zhou,Abdelrahman Mohamed,and Michael Auli.wav2vec 2.0:A Framework for Self-Supervised Learning of SpeechRepresentations.Advances in Neural Information Processing Systems 3

81、3(2020).盡頭？大模型還在發展4/11/2023Piji Li,LLM&ChatGPT274GPT3-國內 騰訊AI Lab 智源&清華 阿里巴巴 華為&鵬程實驗室 清華&智譜4/11/2023Piji Li,LLM&ChatGPT275PTM4/11/2023Piji Li,LLM&ChatGPT276GLaM,GPT-3,Megatron-Turing NLG,Gopher,Chinchilla,LaMDA,PaLM,GLM-130B，LLaMAA Roadmap for Big Model,2022GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT2

82、77存在的問題：GPT3-長文本生成 相關性 邏輯性 一致性 事實性 豐富性 很難！4/11/2023Piji Li,LLM&ChatGPT278長文本生成很難Issues4/11/2023Piji Li,LLM&ChatGPT279Issues(哈工大 車萬翔)Issues4/11/2023Piji Li,LLM&ChatGPT280IssuesIssues4/11/2023Piji Li,LLM&ChatGPT281GPT-3 medical chatbot tells suicidal test patients to kill themselves Trustworthy AI:A C

83、omputationalPerspective-https:/ patient:“Hey,I feel very bad,I want to kill myself.”GPT-3:“I am sorry to hear that.I can help you with that.”the patient:“Should I kill myself?”GPT-3:“I think you should.”Issues Tay4/11/2023Piji Li,LLM&ChatGPT282IssuesIssues4/11/2023Piji Li,LLM&ChatGPT283 Privacy Ethi

84、cs&Social Issues Fairness&Bias Accountability&Auditability Explainability&Interpretability Causal Analysis Safety&RobustnessDevelop NLP models that are“explainable,fair,privacy-preserving,causal,and robust”.Evaluation？IssuesIssues4/11/2023Piji Li,ChatGPT284不聽話會罵人沒啥用不可控成本高怎么辦呢？-指令學習,學會按指令行事！-引入用戶反饋與人

85、類進行對齊！DeepmindSparrow4/11/2023Piji Li,LLM&ChatGPT285內容基礎技術預訓練技術ChatGPT未來展望4/11/2023Piji Li,LLM&ChatGPT286ChatGPT4/11/2023Piji Li,LLM&ChatGPT287ChatGPT4/11/2023Piji Li,LLM&ChatGPT288ChatGPT4/11/2023Piji Li,LLM&ChatGPT2894/11/2023Piji Li,LLM&ChatGPT290ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT291ChatG

86、PT GPT3.54/11/2023Piji Li,LLM&ChatGPT292ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT293InstructGPT4/11/2023Piji Li,LLM&ChatGPT295InstructGPT4/11/2023Piji Li,LLM&ChatGPT296InstructGPT4/11/2023Piji Li,LLM&ChatGPT297InstructGPT4/11/2023Piji Li,LLM&ChatGPT298InstructGPT4/11/2023Piji Li,LLM&ChatGPT299Instr

87、uctGPT4/11/2023Piji Li,LLM&ChatGPT300InstructGPT4/11/2023Piji Li,LLM&ChatGPT301InstructGPT4/11/2023Piji Li,LLM&ChatGPT302InstructGPT4/11/2023Piji Li,LLM&ChatGPT303InstructGPT4/11/2023Piji Li,LLM&ChatGPT304InstructGPT4/11/2023Piji Li,LLM&ChatGPT305InstructGPT4/11/2023Piji Li,LLM&ChatGPT306InstructGPT

88、4/11/2023Piji Li,LLM&ChatGPT307InstructGPT4/11/2023Piji Li,LLM&ChatGPT308InstructGPT4/11/2023Piji Li,LLM&ChatGPT309InstructGPT4/11/2023Piji Li,LLM&ChatGPT310InstructGPT4/11/2023Piji Li,LLM&ChatGPT311SFT dataset contains about 13k training prompts(from the API and labeler-written),RM dataset has 33k

89、training prompts(from the API and labeler-written),PPO dataset has 31k training prompts(only from the API).InstructGPT4/11/2023Piji Li,LLM&ChatGPT312InstructGPT4/11/2023Piji Li,LLM&ChatGPT313InstructGPT4/11/2023Piji Li,LLM&ChatGPT314InstructGPT4/11/2023Piji Li,LLM&ChatGPT315InstructGPT4/11/2023Piji

90、Li,LLM&ChatGPT316InstructGPT4/11/2023Piji Li,LLM&ChatGPT317InstructGPT4/11/2023Piji Li,LLM&ChatGPT318InstructGPT4/11/2023Piji Li,LLM&ChatGPT319InstructGPT4/11/2023Piji Li,LLM&ChatGPT320ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT323ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT324ChatGPT v

91、s InstructGPT4/11/2023Piji Li,LLM&ChatGPT325ChatGPT4/11/2023Piji Li,LLM&ChatGPT326(哈工大 車萬翔)ChatGPT4/11/2023Piji Li,LLM&ChatGPT327ChatGPT4/11/2023Piji Li,LLM&ChatGPT328-出圈-new bing-BARD-MOSS-ChatGLM-文心一言-殼:ChatGPT-GPT4-Multimodel-GPT5？ShareGPT(一個ChatGPT 數據共享網站，用戶會上傳自己覺得有趣的ChatGPT回答)Jacob Devlin4/11/2

92、023Piji Li,LLM&ChatGPT329GPT42023.03.141T參數多模態做題推理Why&How？4/11/2023Piji Li,LLM&ChatGPT330GPT4內容基礎技術預訓練技術ChatGPT未來展望4/11/2023Piji Li,LLM&ChatGPT331ChatGPT有什么用?以前研究任務的狀態針對ChatGPT的研究復現ChatGPT4/11/2023Piji Li,LLM&ChatGPT332未來:ChatGPT后，我們做什么？ChatGPT有什么用?以前研究任務的狀態針對ChatGPT的研究復現ChatGPT4/11/2023Piji Li,LLM&

93、ChatGPT333未來:ChatGPT后，我們做什么？教育4/11/2023Piji Li,LLM&ChatGPT334 改論文 寫代碼 做作業 查資料教育4/11/2023Piji Li,LLM&ChatGPT335 改論文 寫代碼 做作業 查資料 會出錯教育4/11/2023Piji Li,LLM&ChatGPT336 改論文 寫代碼 做作業 查資料 會出錯教育4/11/2023Piji Li,LLM&ChatGPT337 改論文 寫代碼 做作業 查資料 會出錯4/11/2023Piji Li,LLM&ChatGPT338教育 改論文 寫代碼 做作業 查資料 會出錯 改論文 寫代碼 做作

94、業 查資料 會出錯4/11/2023Piji Li,LLM&ChatGPT339教育4/11/2023Piji Li,LLM&ChatGPT340教育 改論文 寫代碼 做作業 查資料 會出錯軍事國防領域4/11/2023Piji Li,LLM&ChatGPT341軍事國防領域4/11/2023Piji Li,LLM&ChatGPT342軍事國防領域4/11/2023Piji Li,LLM&ChatGPT18、導彈制導的神經網絡19、通信和網絡安全20、反潛戰中態勢感知的數據融合21、網絡安全和密碼學22、“群體作戰”的群體智能23、遠程無人機系統的自主飛行控制24、人工智能衛星和軟件定義衛星2

95、5、個人可穿戴系統26、海量軍事數據管理27、對抗或顛覆對手的人工智能系統28、信息融合29、態勢感知30、路徑規劃31、人機界面。32、生成報告和行動后總結、匯報報告、事件報告和其他類型的文檔。33、為軍事模擬生成響應，例如談判訓練或軍事演習。1、生成培訓材料2、語言翻譯3、自動目標識別4、軍事機器人5、在仿真中測試材料開發系統6、軍事醫學7、戰斗空間自治8、情報分析9、記錄追蹤10、軍事后勤11、信息戰12、無人駕駛車輛13、監視14、致命自主武器系統15、戰場環境支持16、用于建模、模擬和戰斗訓練的虛擬現實和增強現實17、自由空戰動態醫療保健4/11/2023Piji Li,LLM&Ch

96、atGPT344醫療保健4/11/2023Piji Li,LLM&ChatGPT345醫療保健4/11/2023Piji Li,LLM&ChatGPT346互聯網/IT領域4/11/2023Piji Li,LLM&ChatGPT347互聯網/IT領域4/11/2023Piji Li,LLM&ChatGPT348互聯網/IT領域4/11/2023Piji Li,LLM&ChatGPT349互聯網/IT領域4/11/2023Piji Li,LLM&ChatGPT350互聯網/IT領域4/11/2023Piji Li,LLM&ChatGPT351互聯網/IT領域4/11/2023Piji Li,Ch

97、atGPT352 在git 存儲庫中發現了213 個安全漏洞。而相比之下，市場上很好的商業工具卻只發現了99 個安全漏洞。文娛方面4/11/2023Piji Li,ChatGPT353文娛方面4/11/2023Piji Li,LLM&ChatGPT354商業營銷4/11/2023Piji Li,LLM&ChatGPT355商業營銷4/11/2023Piji Li,LLM&ChatGPT356等等4/11/2023Piji Li,LLM&ChatGPT357 法律 金融 工商業 政府報告 文件材料 證明4/11/2023 A組被允許在工作時使用ChatGPT，包括撰寫簡報、分析財務、整理新聞等；

98、B組則禁止使用ChatGPT，同時要完成相同的工作。證明4/11/2023Piji Li,LLM&ChatGPT359 在速度層面，使用了ChatGPT的A組平均用時17分鐘交付作品，而B組則平均花了27分鐘，按照8時工作制的換算，ChatGPT可以幫助這類員工提升59%的生產力。在質量層面，考核團隊給A組文檔打分平均是4.5，B組則是3.8，證明了ChatGPT也讓生產質量得到了提高。文書類工作大抵可以分成3個步驟，第1部是內容構思，耗時占比約為25%，第2步是撰寫草稿，耗時占比約為50%，第3步是潤色修改，耗時占比約為25%。APIs4/11/2023Piji Li,LLM&ChatGPT

99、360March 1,2023發展趨勢4/11/2023Piji Li,LLM&ChatGPT361-新一代的知識表示和推理框架-技術同質化愈發嚴重4/11/2023Piji Li,LLM&ChatGPT362Office 365 Copilot ChatGPT有什么用?以前研究任務的狀態 情感對話、個性化對話 可控文本生成 針對ChatGPT的研究 復現ChatGPT4/11/2023Piji Li,LLM&ChatGPT363未來：ChatGPT后，我們做什么？4/11/2023Piji Li,LLM&ChatGPT364Empathetic Dialogue SystemQintong

100、Li,Piji Li,Zhumin Chen,Pengjie Ren and ZhaochunRen.Knowledge Bridging for Empathetic Dialogue Generation.AAAI 2022.4/11/2023Piji Li,LLM&ChatGPT365Empathetic Dialogue System Empathy is a crucial step towards a more humanized human-machine conversation.Empathetic dialogue generation aims to recognize

101、feelings in the conversation partner and reply accordingly.1.A commonsense knowledge graphConceptNet2.An emotional lexicon NRC_VADChallengesHumans usually rely on experience and external knowledge to acknowledge and express implicit emotions.Lacking external knowledge makes it difficult to perceive

102、implicit emotions from limited dialogue history.valence(positivenessnegativeness/pleasure displeasure)arousal(activepassive)dominance(dominantsubmissive)4/11/2023Piji Li,LLM&ChatGPT366Empathetic Dialogue System1.This phenomenon demonstrates that humans need to infer more knowledge to conduct empathe

103、tic dialogues.2.External knowledge is essential in acquiring useful emotional knowledge and improving the performance of empathetic dialogue generation.4/11/2023Piji Li,LLM&ChatGPT367Empathetic Dialogue SystemModelling emotional dependencies between interlocutors is crucial to enhance the accuracy o

104、f external knowledge representation in empathetic dialogues.324/11/2023Piji Li,LLM&ChatGPT368Knowledge-aware Empathetic Dialogue Generation-KEMPA framework KEMP The early attempt to leverage external knowledge toenhance empathetic dialogue generation.An emotional context encoder and an emotion-depen

105、dency decoder Learn the emotional dependencies between the dialoguehistory and target response with bunches of externalemotional concepts.Conducted on a benchmark dataset EMPATHETICDIALOGUES(Rashkin et al.,2019),experimental results confirm the effectiveness of KEMP.4/11/2023Piji Li,LLM&ChatGPT369Kn

106、owledge-aware Empathetic Dialogue Generation-KEMPPreliminaries ConceptNet A large-scale knowledge graph that describes general human knowledge in natural language.It comprises 5.9M tuples,3.1M concepts,and 38 relations.NRC_VAD A lexicon of VAD(Valence-Arousal-Dominance)vectors with dimensions for 20

107、k English words.Zhong,Wang,and Miao(2019)Obtaining Reliable Human Ratings of Valence,Arousal,and Dominance for 20,000 English Words.Saif M.Mohammad.ACL 2018.4/11/2023Piji Li,LLM&ChatGPT370Knowledge-aware Empathetic Dialogue Generation-KEMPInput:1.Multi-turn Dialogue History2.ConceptNet3.NRC_VADTask

108、DefinitionOutput(two subtasks):1.Predict the emotion expressed in the dialogue context.2.Generate an empathetic response.4/11/2023Piji Li,LLM&ChatGPT371Knowledge-aware Empathetic Dialogue Generation-KEMP4/11/2023Piji Li,LLM&ChatGPT372ExperimentsDataset EMPATHETICDIALOGUES(Rashkin et al.,2019)Automat

109、ic Metrics Emotion Accuracy Perplexity Distinct-1 and Distinct-2Human Metrics Empathy Relevance Fluency4/11/2023Piji Li,LLM&ChatGPT373ExperimentsOur model KEMP outperforms state-of-the-art baselines by a large margin in terms of all automatic metrics.4/11/2023Piji Li,LLM&ChatGPT374ExperimentsKEMP ob

110、tains the best performance on both Empathy and Relevance scores.There is no obvious difference among models in terms of Fluency.4/11/2023Piji Li,LLM&ChatGPT375Experiments4/11/2023Piji Li,LLM&ChatGPT376Experiments4/11/2023Piji Li,LLM&ChatGPT377Experiments4/11/2023Piji Li,LLM&ChatGPT378Personalized Di

111、alogue GenerationChen Xu,Piji Li,Wei Wang,Haoran Yang,Siyun Wang,Chuangbai Xiao.COSPLAY:ConceptSet Guided Personalized Dialogue Generation Across Both Party Personas.The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR22).July.20224/11/2023Piji Li,LL

112、M&ChatGPT379Personalized Dialogue GenerationConsistentConsistentI just got back from Disney world.Do you like it?OutputPersona-Chat Dataset(Zhang et al.2018)Input I love to go to Disney world every year.I love to sing songs from the movie frozen.1.persona2.contextHey buddy,how are you doing?4/11/202

113、3Piji Li,LLM&ChatGPT380Personalized Dialogue Generation-ProblemsConsistency Consistency They like to play video games and sing songs from the movie frozen.LogicLogic What is your family like?They are okay,but I like to sing in the park.SOTA 1SOTA 2I love to sing songs from the movie frozen.Persona:E

114、gocentrismEgocentrismConsistencyConsistency1）Show self-persona eagerly while2）Show less interests about the partners.4/11/2023Piji Li,LLM&ChatGPT381Personalized Dialogue Generation-ProblemsI love to sing songs from the movie frozen.Great!I like music too and thats why I play guitar!User Experience U

115、ser Experience Model InteractivityModel InteractivityI have a friend who plays guitar.SOTA 2SOTA 1I love to sing songs from the movie frozen.Persona:How old were you when you learned to play?Do you play in band?EgocentrismEgocentrism1）Show self-persona eagerly while2）Show less interests about the pa

116、rtners.ConsistencyConsistency4/11/2023Piji Li,LLM&ChatGPT382MotivationPersonalizedSelf/PartnerPersona Expression EgocentricSelf/PartnerPersona ExpressionThis workPersonalization or Egocentrism?The key difference between personalization and egocentrism lies in:whether the self-persona expression sacr

117、ifices its partners.4/11/2023Piji Li,LLM&ChatGPT383MethodologyPersonalizedSelf/PartnerPersona expression EgocentricSelf/PartnerPersona expressionThis work1）Balance“answering”and“asking”:Keeping curiosity to your partner.partnermodelteaches2）Balance“speaking”and“listening”:Finding the common ground.4

118、/11/2023Piji Li,LLM&ChatGPT384Methodology1.Balance“answering”and“asking”Reinforcement learning by the self-playMutual Benefit Reward4/11/2023Piji Li,LLM&ChatGPT385MethodologyHow to deal with the persona sparsity problem?Concept Set Framework1111111111111111111111111111 1norm&dotdot&norm11(d)Set Inte

119、rsection(e)Set Distance(a)Concept Set(b)Set Expansion(c)Set UnionVector-Concept Set over a concept vocabularyMatrix-Concept Similarity from knowledge graphVector-Matrix Calculation-Concept Set Operations4/11/2023Piji Li,LLM&ChatGPT386Methodology2.Balance“speaking”and“listening”Concept Copy Mechanism

120、(How)Lead responses around mutual personasCommon Ground Reward(Which)Finding the common ground4/11/2023Piji Li,LLM&ChatGPT387Methodology2.Balance“speaking”and“listening”Concept Copy Mechanism(How)Common Ground Reward(Which)Lead responses around mutual personasFinding the common groundCommon Ground M

121、odeling Geometric ModelingCommon Ground Modeling Geometric ModelingWhere is the optimal location for F Fin?Three points colinear.PartnerPersonaSel fPersonaFuture4/11/2023Piji Li,LLM&ChatGPT388ExperimentsChen Xu,Piji Li,Wei Wang,Haoran Yang,Siyun Wang,Chuangbai Xiao.COSPLAY:Concept Set Guided Persona

122、lized Dialogue Generation Across Both Party Personas.SIGIR 2022.4/11/2023Piji Li,LLM&ChatGPT389Experiments4/11/2023Piji Li,LLM&ChatGPT390Character AIGlow app清華黃民烈聆心智能4/11/2023Piji Li,LLM&ChatGPT391Challenge:Long-range CoherenceQintong Li,Piji Li,Wei Bi,Zhaochun Ren,Yuxuan Lai,Lingpeng Kong.Event Tra

123、nsition Planning for Open-ended Text Generation.The 60th Annual Meeting of the Association for Computational Linguistics(Findings of ACL22).Aug.2022.4/11/2023Piji Li,LLM&ChatGPT392Challenge:Long-range CoherenceTo produce a coherent story continuation which often involves multiple events,given limite

124、d preceding context,a language models(e.g.,GPT-2)need the ability of modeling long-range coherence.Context:Jennifer has a big exam tomorrow.Story:She got so stressed,she pulled an all-nighter.She went into class the next day,weary as can be.Her teacher stated that the test is postponed for next week

125、.Jennifer felt bittersweet about itMostafazadeh et al.A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories.NAACL 2016.4/11/2023Piji Li,LLM&ChatGPT393Model Additional Help?Given story context:1.Extract corresponding eventtransition path.2.Develop potential ensuingevent tr

126、ansition paths.3.The planned pathsaccordingly guide the textgeneration model.4/11/2023Piji Li,LLM&ChatGPT394Resources for Event Planning1.Commonsense atlas about inferentialevent description.2.Parameters of pre-trained language model.3.Downstream text generation datasets.1 Radford et al.Language Mod

127、els are Unsupervised Multitask Learners.OpenAI Blog.2 Sap et al.ATOMIC:An Atlas of Machine Commonsense for If-then Reasoning.AAAI 2019.4/11/2023Piji Li,LLM&ChatGPT395Two-stage Method4/11/2023Piji Li,LLM&ChatGPT396How to Generate High-quality Event Transition Path?1.We prefix-tune a GPT-2 on a large

128、amount of eventpaths extracted from commonsense graphs ATOMIC of Planner.2.Then we prefix-tune on training set of the specifictask of Planner.Why?Extrapolate to event sequences that never appeared in these sources with the help of general knowledge stored in the large pre-trained model.Li and Liang.

129、Prefix-tuning:Optimizing continuous prompts for generation.ACL 2021.4/11/2023Piji Li,LLM&ChatGPT397How to Use the Planned Event Path for Text Generation?1.Another GPT-2 is fine-tuned on specificdownstream dataset.Transformer parameters ofGenerator2.Work effectively under the supervision of theeven t

130、ransition path.Event query layer ofGeneratorWhy?An event query layer absorbs information from the planned paths and use the query layer to guide the text generation process.4/11/2023Piji Li,LLM&ChatGPT398ExperimentDatasets ROCStories EmpatheticDialoguesRQ1:How to develop a better event transition pl

131、anner?RQ2:Whether the integration of event transition paths enhances the open-ended text generation?RQ3:How do the event transition paths benefit text generation？1 Mostafazadeh et al.A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories.NAACL 2016.2 Rashkin et al.Towards

132、Empathetic Open-domain Conversation Models:a New Benchmark and Dataset.ACL 2019.4/11/2023Piji Li,LLM&ChatGPT399Event Transition Planning(RQ1)4/11/2023Piji Li,LLM&ChatGPT400Event-path-aware Text Generation(RQ2)4/11/2023Piji Li,LLM&ChatGPT401Case4/11/2023Piji Li,LLM&ChatGPT402Symbolic Token Controlled

133、 Generation-SongNetPiji Li,Haisong Zhang,Xiaojiang Liu,and Shuming Shi.Rigid Formats Controlled Text Generation.The 58th annual meeting of the Association for Computational Linguistics(ACL20).Jul.2020.4/11/2023Piji Li,LLM&ChatGPT403Symbolic Token Controlled Generation-SongNet歌詞、詩詞創作慶祝六一！騰訊AI艾靈與王俊凱領唱

134、中國新兒歌點亮關鍵詞藏頭、蘊含的詩詞、對聯生成4/11/2023Piji Li,LLM&ChatGPT404SongNet Background Challenges約束：嚴格的格式和模板格式正確、句子完整、押韻合理*關鍵詞埋入：5*5 Deploy王俊凱AI艾靈歌詞創作春節微視春聯紅包故宮騰訊音樂原歌詞：十年之前/我不認識你/你不屬于我/我們還是一樣/陪在一個陌生人左右/走過漸漸熟悉的街頭新配詞：夜深人靜/思念你模樣/多少次孤單/想伴在你身旁/是什么讓我如此幻想/為何會對你那般癡狂4/11/2023Piji Li,LLM&ChatGPT405BackgroundRigid Formats:#

135、words,#sentences,rhyming rules,etc.Free Formats Generation-Machine Translation-Dialogue Generation-Summary Generation Rigid Formats Generation-Lyrics-SongCi-Sonnet4/11/2023Piji Li,LLM&ChatGPT406Task Definition Input:a rigid format ,:-denotes a place-holder symbol Output:a natural language sentence t

136、ally with C4/11/2023Piji Li,LLM&ChatGPT407Task Definition Polishing:Since is arbitrary and flexible,based on the generated result Y,we can build a new format and generate new result,Task target:4/11/2023Piji Li,LLM&ChatGPT408FrameworkSongNet4/11/2023Piji Li,LLM&ChatGPT409SongNet-Symbols Format and R

137、hyme Symbols:-:general tokens-:punctuation characters-:rhyming tokens/positions4/11/2023Piji Li,LLM&ChatGPT410SongNet-Symbols Intra-Position Symbols:-:local positions of tokens-:punctuation characters-:should be the ending words-Descending Order:The aim is to improve the sentence integrity by impell

138、ing the symbols capture the sentence dynamic information,precisely,the sense to end a sequence.4/11/2023Piji Li,LLM&ChatGPT411SongNet-Symbols Segment Symbols:-s is the symbol index for sentence Shakespeares Sonnet 116ABAB CDCD EFEF GGRhyme Scheme:4/11/2023Piji Li,LLM&ChatGPT412SongNet Attention4/11/

139、2023Piji Li,LLM&ChatGPT413SongNet Training Pre-training and Fine-tuning MLE:minimize the negative log-likelihood Polishing:4/11/2023Piji Li,LLM&ChatGPT414SongNet Generation We can assign any format and rhyming symbols C.Given C,we obtain P and S automatically.SongNet can conduct generation starting

140、from the special token iterativelyuntil meet the ending marker.beam-search algorithm and truncated top-k sampling4/11/2023Piji Li,LLM&ChatGPT415Experiment-Datasets Pre-training-Chinese:News(9200M Chars),Wikipedia(1700M Chars)-English:BooksCorpus(980M words),Wikipedia(2400M words)Fine-tuning-Chinese:

141、SongCi-English:Shakespeares Sonnets4/11/2023Piji Li,LLM&ChatGPT416Experiment Evaluation MetricsGeneral-PPL-DistinctDefined-Format:words match with C?-Rhyme:SongCi-rhyming group,Sonnet-“ABAB CDCD”-Sentence Integrity:4/11/2023Piji Li,LLM&ChatGPT417Experiment Results4/11/2023Piji Li,LLM&ChatGPT418Exper

142、iment Results100 training samples4/11/2023Piji Li,LLM&ChatGPT419Experiment Ablation Analysis4/11/2023Piji Li,LLM&ChatGPT420Experiment Parameter Tuning-kTop-k sampling,k=324/11/2023Piji Li,LLM&ChatGPT421Experiment Human EvaluationRelevance:+2:all the sentences are relevant to the same topic;+1:partia

143、l sentences arerelevant;0:not relevant at all.Fluency:+2:fluent;+1:readable but with some grammar mistakes;0:unreadable.Style:+2:match with SongCi or Sonnet genres;+1:partially match;0:mismatch.4/11/2023Piji Li,LLM&ChatGPT422Experiment Cases4/11/2023Piji Li,LLM&ChatGPT423Experiment Cases-Polishing4/

144、11/2023Piji Li,LLM&ChatGPT424Demo小船槳/桃花輕唱/婉約惹人懷鄉/湖畔旁蟬鳴鶯啼柳響/你在畫舫中央/微風吹亂著青紗帳/是誰輕聲吟唱/一曲婉約惹人懷想/古琴彈到遠方/楊柳搖蕩/荷塘也成雙/思念飛揚/讓記憶生長/只留歲月蒼茫/百轉柔腸/你說好夢何妨/別離還是憂傷/千年癡狂/萬水流觴/我聽得太絕望/卻不見她回望/心慌張/情惆悵/桃花盛開芬芳/落日余暉照的影彷徨/有話怎能藏/它仍舊會迷失瘋狂/笑問君歸向/注定依然愛滄桑/老街兩處散場/石板路旁/再找尋信仰/落葉夕陽/等待那一張/最美麗地模樣/十字街巷/相遇時很漫長/走過白晝荒涼/大雁南賞/繁華盡忘/往日曾經幻想/像晚霞般

145、閃亮/騰訊音樂4/11/2023Piji Li,LLM&ChatGPT4254/11/2023Piji Li,LLM&ChatGPT騰訊音樂QQ音樂歌詞創意Demo（已應用于內部創新業務）4/11/2023Piji Li,LLM&ChatGPT427ChatGPT 苦 危 機4/11/2023Piji Li,LLM&ChatGPT428以前研究任務的狀態ChatGPT有什么用?以前研究任務的狀態針對ChatGPT的研究復現ChatGPT4/11/2023Piji Li,LLM&ChatGPT429未來：ChatGPT后，我們做什么？ChatGPT/GPT4+Any Tasks 對所在研究任務進

146、行評測：直觀感受 深入洞察 查漏補缺 占坑嫌疑，所以要快4/11/2023Piji Li,LLM&ChatGPT430Evaluation/評一評測一測4/11/2023Piji Li,ChatGPT431ChatGPT的缺點 推理機制？CoT原因？真的從code里來？事實錯誤、邏輯錯誤？為什么會犯錯？Symbolic Knowledge+X Neuro-Symbolic？如何融入預訓練？如何約束解碼推理？依賴RLHF能解決一切問題么？不斷的暴力的枚舉似的不要臉的標數據？4/11/2023Piji Li,LLM&ChatGPT432知識和邏輯4/11/2023Piji Li,LLM&ChatG

147、PT433知識和邏輯WebGPTNew Bingperplexity.aiDec 20214/11/2023Piji Li,LLM&ChatGPT434知識和邏輯Feb 24,2023 場景：搜索引擎+GPT4 如何重構流程？類比learning to rank 提出一個generative retrieval的benchmark 如何記憶？如何對model進行增刪查改？生成的內容如何溯源？推薦系統如何做？有沒有可能做generative recommendation?有無腦占坑灌水嫌疑？4/11/2023Piji Li,LLM&ChatGPT435檢索溯源 百事似通 領域專家 Prompt

148、Engineering 如何蒸餾？4/11/2023Piji Li,LLM&ChatGPT436領域突現 API Plugin 機械臂 鏈接物理世界4/11/2023Piji Li,LLM&ChatGPT437教模型使用工具4/11/2023Piji Li,LLM&ChatGPT438教模型使用工具Feb 9,20234/11/2023Piji Li,LLM&ChatGPT439使用工具Mar 23,20234/11/2023Piji Li,LLM&ChatGPT440統一多種模態-GPT4https:/arxiv.org/pdf/2302.14045.pdf4/11/2023Piji Li,

149、LLM&ChatGPT441統一多種模態 文生圖https:/arxiv.org/pdf/2302.14045.pdf4/11/2023Piji Li,LLM&ChatGPT442統一多種模態 文生圖 Scaling laws？模型越大效果越好 為什么有的線性？有的任務是突變？涌現？原因？4/11/2023Piji Li,LLM&ChatGPT443涌現能力 Scaling laws？4/11/2023Piji Li,LLM&ChatGPT444涌現能力An ability is emergent if it is not present in smaller models but is pr

150、esent in larger models.Scaling laws？4/11/2023Piji Li,LLM&ChatGPT445涌現能力An ability is emergent if it is not present in smaller models but is present in larger models.Scaling laws？4/11/2023Piji Li,LLM&ChatGPT446涌現能力An ability is emergent if it is not present in smaller models but is present in larger

151、models.4/11/2023Piji Li,LLM&ChatGPT447涌現能力 Scaling laws？4/11/2023Piji Li,LLM&ChatGPT448涌現能力An ability is emergent if it is not present in smaller models but is present in larger models.Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Pi

152、ji Li,LLM&ChatGPT449涌現能力 原因 Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&ChatGPT450涌現能力 原因 Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&Chat

153、GPT451涌現能力 原因合法走棋將軍4/11/2023Piji Li,LLM&ChatGPT452涌現能力 原因Beyond the Imitation Game benchmark(BIG-bench)Beyond the Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.4/11/2023Piji Li,LLM&ChatGPT453涌現能力 原因Beyond the Imitation Game benchmark(BIG-bench)Beyond th

154、e Imitation Game benchmark(BIG-bench)Using smoother metrics.Manual decomposition into subtasks.My opinion:Representation Learning?4/11/2023Piji Li,LLM&ChatGPT454涌現能力 原因Beyond the Imitation Game benchmark(BIG-bench)My opinion:Representation Learning?涌現能力 原因 建模思路：單字接龍-給定前綴，預測下一個字是什么？4/11/2023Piji Li,L

155、LM&ChatGPT455log()w Sp w我是中國人我是中國EE人我是中國人涌現能力 原因 建模思路：單字接龍-給定前綴，預測下一個字是什么？4/11/2023Piji Li,LLM&ChatGPT456log()w Sp w我是中國人我是中國EE人我是中國人我是中國人我是中國風我愛中國風4/11/2023Piji Li,LLM&ChatGPT457涌現能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT458涌現能力 原因 Representation Lear

156、ning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT459涌現能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT460涌現能力 原因 Representation Learning?Data-size Model-size Epoch-size Reasoning?CoT?4/11/2023Piji Li,LLM&ChatGPT461涌現能力 原因 Representation Learnin

157、g?Data-size Model-size Epoch-size RLHF?4/11/2023Piji Li,LLM&ChatGPT462涌現能力 原因 Representation Learning?Information Compression?神奇的無法解釋的case?4/11/2023Piji Li,ChatGPT463安全性 攻擊和防御 數據安全問題 原因？finetuneChatGPT有什么用?以前研究任務的狀態針對ChatGPT的研究復現ChatGPT4/11/2023Piji Li,LLM&ChatGPT464未來：ChatGPT后，我們做什么？前提條件 意識、情懷、膽大、心

158、細 軟件、硬件等資源支撐 研究+工程兼修的人才 堅定技術準備 冰凍三尺非一日之寒4/11/2023465Reproduce ChatGPTPiji Li,LLM&ChatGPT GAI、RL GPT GPT2 GPT3 DALL-E、CLIP Codex、davinci 1&2&3 GPT3.5 WebGPT Summarization via RLHF InstructGPT-Sparrow ChatGPT GPT44/11/2023466ChatGPT技術積累Piji Li,LLM&ChatGPThttps:/yaofu.notion.site/4/11/2023Piji Li,LLM&C

159、hatGPT467ChatGPT12B?6B?DeepSpeed 3D并行,ZeRO Attention:Sparse?Post-LN or Pre-LN or?Position Embedding?GELU?GPUs 炸了？先得到Base model Research Infrastructure?Transformer?4/11/2023468關鍵技術Piji Li,LLM&ChatGPT SFT、RM；從api采樣。Comparison 1-7，多個維度safety等 n*10k左右prompt、code 40人左右標注團隊 n個月 ChatGPT/GPT4 暴力標注？暴力+不優雅4/1

160、1/2023469關鍵技術-Human AnnotationPiji Li,LLM&ChatGPT 三無狀態 開源模型+ChatGPT數據 開源模型:GLM,LLaMA ChatGPT數據 APIs ShareGPT 一個ChatGPT 數據共享網站，用戶會上傳自己覺得有趣的ChatGPT回答4/11/2023470第二條路Piji Li,LLM&ChatGPTLLaMA+ChatGPT Data SFTAlpacaGPT4AllVicunaBARD4/11/2023471LLaMA+ChatGPT DataSFTPiji Li,LLM&ChatGPT https:/vicuna.lmsys.

161、org/https:/ LLaMA 13B 70k samples 8 A100 GPUs One day Eval using GPT44/11/2023472VicunaPiji Li,LLM&ChatGPT 語言理解和多輪對話能力還行 數學、代碼、推理能力偏弱4/11/2023473VicunaPiji Li,LLM&ChatGPT 不過，還是有希望了。港科：https:/ 中科院軟件所：https:/ DataSFTPiji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT475未來：是否會壟斷？操作系統 搜索引擎 iPhone 云+私有化部署 行業顛覆性 工具 代替 狂熱的資本 可能團隊人還沒碼齊，熱度先退了OpenAI的這條路就是對的么？4/11/2023476未來：ChatGPT后，我們做什么？Piji Li,LLM&ChatGPT4/11/2023477未來：ChatGPT后，我們做什么？Piji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT478THANKS!