學生論壇-親測有效的幾種研究選題方式-啟元實驗室.pdf

《學生論壇-親測有效的幾種研究選題方式-啟元實驗室.pdf》由會員分享，可在線閱讀，更多相關《學生論壇-親測有效的幾種研究選題方式-啟元實驗室.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、親測有效的幾種研究選題方式王 碩CCMT 2024三種選題方式2“先發制人”：選擇一個全新的研究問題，或者用創新的方法解決現有的難題，開辟新的方向“后發制人”：根據當前主流方法中的不足，提出有針對性的優化或改進策略，或者擴展已有思想的應用場景，實現新的突破“移花接木”：借鑒其他領域的思想或方法，如計算機科學的其他分支、甚至是跨學科的理論，來解決本領域的難題“先發制人”不拘泥于現有的研究框架，開辟全新的領域，或者提出全新的方法 遵從第一性原理：一個最基本的命題或者假設，不能被省略，也不能被違反3全新的領域2014年神經機器翻譯出現自回歸的生成范式基本確定全新的方法2017年Transformer

2、出現奠定大模型的模型基礎優勢競爭不激烈，好做挑戰觀點難以服人新技術探索空間大舉例：使用大模型做狼人殺游戲 研究動機：大模型是否具備群體博弈的能力4Idea形成的過程遇到的挑戰使用大模型玩游戲專注于文字冒險游戲多模態模型能力欠佳研究群體博弈游戲，狼人殺 or 誰是臥底單人游戲已有TextWorld等前人工作開源模型能力不足沒有成熟的GPT API服務GPT-3.5也無法保證游戲的順利完成回合數多了之后超出GPT-3.5窗口大小舉例：使用大模型做狼人殺游戲 技術挑戰：從頭搭建狼人殺模擬平臺，有很多工程工作需要耐心處理5開發日志平臺效果舉例：使用大模型做狼人殺游戲 實驗發現：大模型在游戲過程中已經可

3、以在一定程度上表現出類似人類的行為6信任關系的涌現歷史經驗的影響“后發制人”分析當前最好的、或者最具代表性的方法存在的問題是什么“先發制人”需要克服萬難的信念感，“后發制人”需要“敵進我退”的靈活性7針對當前方法不足做改進優勢目標明確一般超過基線方法即可挑戰基線方法往往很強同期工作往往很快解決KV-Cache過大的問題舉例：面向生成式任務的LoRA組合方法 研究動機：組合訓練好的LoRA模塊，實現模型能力的快速擴展 前人方法：為每個LoRA模塊分配一個組合權重，權重是人工設定的或學習得到的8手工設定組合權重Few-Shot方式學習組合權重舉例：面向生成式任務的LoRA組合方法 前期觀察：現有工

4、作多數在分類任務上進行的實驗，在生成式任務上表現如何？猜想假設：對于生成式任務，不同類型的token對各個LoRA模塊的依賴程度是變化的9現有工作實驗結果猜想：生成式任務需要動態組合權重舉例：面向生成式任務的LoRA組合方法 方法設計：增加一個參數量很小的融合模塊，以Few-Shot的方式學習動態組合權重 新增成本：融合模塊參數量僅為LoRA模塊的0.2%，僅需200個樣本訓練10方法設計舉例：面向生成式任務的LoRA組合方法 實驗分析，這個方法確實可以再生成式任務上學習到有效的LoRA組合模式11可視化分析舉例：面向生成式任務的LoRA組合方法 實驗發現，在生成式任務上，動態組合權重可以明顯

5、提升方法的組合效果12與前人工作對比消融實驗“移花接木”相信“它山之石可以攻玉”，廣泛閱讀其他領域的前沿工作/經典工作，汲取靈感13AI其他領域計算機學科其他領域計算機視覺強化學習機器人圖神經網絡算法與數據結構數據庫系統軟件工程操作系統舉例1：受Git版本管理啟發的模型參數壓縮 相信“它山之石可以攻玉”，廣泛閱讀其他領域的前沿工作/經典工作，汲取靈感14Git版本管理v1V2v3v4v5v6v1存儲所有版本存儲版本增量查閱文件系統資料舉例1：受Git版本管理啟發的模型參數壓縮 借鑒差分編碼（Delta Encoding）思想，實現對模型的版本管理15Git版本管理存儲N個模型存儲1個主干模型和

6、N個Delta模型舉例1：受Git版本管理啟發的模型參數壓縮 方法設計：基于觀察到的差值矩陣的低秩特性，使用高位寬編碼特征值較大的參數，使用低位寬編碼特征值較小的參數，實現混合精度壓縮16對Delta參數進行混合精度壓縮模型壓縮：low-bit或者low-rankDelta壓縮和模型壓縮有什么不同？Delta參數具有明顯的低秩特性（長尾分布）混合精度Delta壓縮舉例1：受Git版本管理啟發的模型參數壓縮 實驗發現：混合精度壓縮方法平均可以達到與壓縮前模型可比的效果17實驗結果數學評測代碼評測Chat評測多模態評測舉例1：受Git版本管理啟發的模型參數壓縮 實驗發現：與傳統PEFT方法相比，各

7、有利弊18實驗結果優勢方法效果好不足只能節省推理成本不能節省訓練成本舉例1：受Git版本管理啟發的模型參數壓縮 實驗發現：在多租戶等需要部署多個模型的場景下，可以有效節約成本19實現Triton算子提升硬件兼容性節省Memory舉例2：LLMMapReduce:基于分治思想的長序列理解框架 優勢：長度可擴展，不受限于模型本身窗口大小，理論上支持任意長度輸入 劣勢：將一個完整的長文檔切分為多個片段，可能會破壞跨片段的關鍵信息，導致模型根據某個片段“斷章取義”，產生錯誤結論20LLMMapReduce技術挑戰跨片段依賴（Inter-Chunk Dependency）：多個片段的信息相互依賴，綜合起

8、來，才能產生一個完整的答案比如，我們要總結一個事件的時間脈絡，需要從很多個片段中提取關鍵的信息，才能形成一個完整的時間線跨片段沖突（Inter-Chunk Conflict）：多個片段的信息存在沖突，看不同的片段時可能得出不同的結論比如，我們要問一位導演一生最偉大的作品是什么，在看他青年時期片段時，得出的是青年時的最大成就，而在看老年時期的片段，又會得出不同的結論結構化通信協議Structured Information Protocol上下文置信度校準In-Context Confidence Calibration 結構化通信協議：模型在處理每個片段時，不是僅僅輸出中間答案，而是輸出結構體

9、，包含豐富的相關信息 上下文置信度校準：為了讓模型在處理不同片段時具有一致的置信度評估標準21LLMMapReduceLonLong g T Te ex xt tChChu un nk ks sM apM ap StStagage eCoCol ll la ap psese S St ta ag ge eM M a appepped dR Re es sulult ts sC Co ol ll la apspse ed dR Re es sulult ts sExExt tr ra ac ct te ed d I In nf fo or rm m a at ti i o on nRaRat t

10、i i o on na al le eM aM ap pp pe ed dR Re esusul lt t 1 1A An nswsw e er rCoCon nf fi i d de en nc ce e S Sc co or re eLLMLLMChChu un nk k 1 1O RO RNONO INFINFO O R RM M A AT TIOIO N NDRODRO P PS Splpli i t tReRed du uc ce e S St ta ag ge eExExt tr ra ac ct te ed d I In nf fo or rm m a at ti i o on

11、nRaRat ti i o on na al le eM aM ap pp pe ed dR Re esusul lt t 2 2A An nswsw e er rCoCon nf fi i d de en nc ce e S Sc co or re eLLMLLMChChu un nk k 2 2O RO RNONO INFINFO O R RM M A AT TIOIO N NDRODRO P PExExt tr ra ac ct te ed d I In nf fo or rm m a at ti i o on nRaRat ti i o on na al le eM aM ap pp

12、pe ed dR Re esusul lt t N NA An nswsw e er rCoCon nf fi i d de en nc ce e S Sc co or re eLLMLLMChChu un nk k N NO RO RNONO INFINFO O R RM M A AT TIOIO N NDRODRO P PExExt tr ra ac ct te ed d I In nf fo or rm m a at ti i o on nRaRat ti i o on na al le eC Co ol ll la ap psesed dR Re esusul lt t 1 1A An

13、 nswsw e er rCoCon nf fi i d de en nc ce e S Sc co or re eLLMLLMM aM ap pp pe ed d R Re esusul lt tGrGro ou up p1 1O RO RNONO INFINFO O R RM M A AT TIOIO N NDRODRO P PExExt tr ra ac ct te ed d I In nf fo or rm m a at ti i o on nRaRat ti i o on na al le eC Co ol ll la ap psesed dR Re esusul lt t K KA

14、 An nswsw e er rCoCon nf fi i d de en nc ce e S Sc co or re eLLMLLMM aM ap pp pe ed d R Re esusul lt tGrGro ou up p K KO RO RNONO INFINFO O R RM M A AT TIOIO N NDRODRO P PRaRat ti i o on na al le eFiFi n na al lA An nswsw e er rA An nswsw e er rLLMLLM舉例2：LLMMapReduce:基于分治思想的長序列理解框架 Baseline：閉源模型、開源模型、其他分治框架（LongAgent&Chain-of-Agents）22InfiniteBench評測結果舉例2：LLMMapReduce:基于分治思想的長序列理解框架 超長序列（1280K token）評測&效率評測231280K NIAH推理速度評測舉例2：LLMMapReduce:基于分治思想的長序列理解框架請各位老師同學批評指正24