?語?模型與??智能的未來-金小剛.pdf

1、語模型與智能的未來解碼語模型2022年1130，Chat GPT橫空出世，在全球范圍內成為討論熱點。根據Similarweb的數據，2023年1，平均每天約有1300萬獨訪客使Chat GPT，累計戶超1億，創下了互聯最快破億應的記錄，超過了之前TikTok9個破億的速度。商業模式的勝利讓Google的股價2天跌2000億美。美國賓夕法尼亞學發現，Chat GPT能夠通過該校商管理碩MBA課程的期末考試。Chat GPT還成功通過了歌的編程試，拿到了年薪18.3萬美元的L3程師offer。圍觀Chat GPT，究竟在圍觀什么？訓練技術 算力+系統數據數據Chat GPT2022.模型結構 Tr

2、ansformer（2017，attention）、GPT2（2019，Text in，Text out統一NLP任務）、GPT3（2020，大模型能力提升）Bert（2018，大模型預訓練、FLAN（2022，指令微調，學會人類指令）、RLHF（2022，基于人類反饋，學習人類偏好）Chat GPT，LLM，是程化的成功GPT 系列：DALLE：圖Sora：視頻（將時拉到 60 秒）游戲科技，才是孕育LLM的搖籃。以硬件為代表的算，以游戲為代表的消費市場，以AI為代表的創新，三者實現了良性循環。在openAI發布的技術檔中，更是直接使minecraft作為案例。2016年，openAI成之初

3、就選擇了要素復雜的游戲DOTA2作為訓練環境。2018年成功打造出openAI Five戰勝DOTA2世界冠軍戰隊。收購的第個公司是家游戲公司Global Illumination。擁抱AI普惠公眾的時代語模型，是繼數據庫、搜索引擎之后的“全新代知識表示和調式”，將會極改善類與專業能之間的交互式。知識表示式調式研究領域代表應代表公司關系數據庫SQL數據庫DBMSOracleMicrosoft互聯關鍵詞信息檢索搜索引擎GoogleMicrosoft模型然語然語理解LLM1.交互的重構低頻、靈活、復雜的戶需求（以前通過低代碼實現）能通過和 LLM 交互來解決。戶輸也從有限變成限，且限靈活。2.數據

4、和信息重構們常說數據是油，LLM明顯把煉油能增強了。3.服務的重構 種是AI有能直接提供服務。設計師、旅規劃這類發散性服務能先被滿，律師咨詢（Donotpay）等需要推斷、推理的服務后被滿。此外還有情感陪伴和知識問答服務等；第種是 AI 能讓消費決策到交易發的鏈路變短。4.反饋機制的重構以成模型為基座的產品，不僅能通過context learning的能讓戶多輪嘗試，糾正輸出結果，還能根據戶產的數據和反饋迭代模型Accenture：AI伙伴：從知識到智識的新。智能體：AI互聯的態系統?？臻g計算：發掘虛擬實感的價值。機互通：技術解碼類意圖。打敗你的不是AI，是會AI的成式智能將影響各業四成的作時

5、間，提900種不同類型作的產出效率，并在全球范圍內創造少萬億美元的經濟價值。斯坦福學計算機科學家及未來研究所期負責Roy Amara：“阿瑪拉定律”：We tend to overestimate the effect of a technology in the short run and underestimate the effect in the long run.我們總是估項科技所帶來的短期效益，卻低估它的期影響。反思智能的本質 ChatGPT，超越了當下的些對話機器，讓家看到了的智能在然語理解領域（NLP）的曙光。疑Chat GPT具有劃時代的意義，是智能研究繼AlphaGo之后的

6、個程碑。Chat GPT為代表的語模型給公眾展現了豐富的知識。學富五車Turing機的局限性LLM，其算法思想依然是連接主義，其標是擬合函數，但該模型屬于箱模型，存在過擬合問題不可避免。全球的AI實驗室都在瘋狂地開展AI競賽，開發和部署更強的AI，沒有任何可以理解、預測、控制這些AI，連它們的創造者都不能。關注智能安全 語模型作為種具，其成的內容是件私密的事情，旦有將私密的內容公開發布，那么責任應當在于發布者。利成式智能產品提供聊天和本、圖像、聲成等服務的組織和個，承擔該產品成內容產者的責任。人工智能的倫理，本質上還是依然是人的倫理，是生產大模型的背后的公司的價值觀的體現。需要預防人工智能廣泛使用后加劇社會的極化，帶來更大治理隱患。我們社會需要尋找一種平衡，既能確保生成內容算法的合規性，又能給予技術創新足夠的空間。展望智能的未來AI 步隨流覓溪源，到源頭卻惘然。始信真源尋不到，倚筇隨處弄潺湲。(宋)朱 熹