沈春旭 微信 -LLM在推薦場景中落地的經驗與思考.pdf

《沈春旭 微信 -LLM在推薦場景中落地的經驗與思考.pdf》由會員分享，可在線閱讀，更多相關《沈春旭 微信 -LLM在推薦場景中落地的經驗與思考.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、LLM在推薦在推薦場場景中落地的景中落地的經驗經驗與思考與思考沈春旭沈春旭 微信事業群微信事業群-微信技術團隊微信技術團隊Data Fun|2024年年10月月目錄目錄p 推薦研發現狀p LLM特征增強p LLM推薦架構設計p ID協同-LLM語義聯合建模展示一、推薦系統研發現狀一、推薦系統研發現狀p 推薦系統背景信息過載信息過載-信息流信息流/廣告廣告/電商，例：電商，例：*電商場景：十億級商品*視頻場景：億級短視頻*新聞場景：千萬級文章*直播場景：百萬級直播間奶粉紙尿片育兒資訊購買域內相似性跨域相似性推薦用戶歷史行為檢索：用戶歷史行為檢索：*單域推薦*跨域推薦，例：帶貨-短視頻*全域推薦，

2、例：微信搜廣推場景*冷啟動：用戶側/物品側推薦系統工作流：推薦系統工作流：*采集“用戶-物品”交互*商品理解，例：多模態信息*用戶理解，例：歷史偏好*個性化推薦結果展示系統側系統側開放世界開放世界物品庫用戶反饋推薦系統DB交互歷史推理訓練一、推薦系統研發現狀一、推薦系統研發現狀p 推薦系統背景物品索引用戶索引核心思想：協同過濾核心思想：協同過濾（Collaborative filteringCollaborative filtering）主流范式：主流范式：IDID為核心的序列建模為核心的序列建模交互矩陣高度稀疏唯一標志符+稠密向量 95%參數量特征融入、長尾、冷啟動用戶偏好擬合+深度網絡5%

3、參數量欠擬合、復用性Images from:Deep Interest Network for Click-Through Rate Prediction用戶-物品傾向分預估一、推薦系統研發現狀一、推薦系統研發現狀p 推薦系統如何從LLM中受益？大語言模型：十億級以上參數、智能涌現*基礎能力：豐富的開放世界知識 特征增強*指令精調：高效的多域適配能力 全域建模*上下文學習：卓越的Few-shot推理方式 冷啟動/長尾*思維鏈/規劃：強大的文本理解能力 復雜興趣建模、可解釋推薦語言模型組件適配推薦系統已有先例：模型結構學習模式任務范式表征學習Transformer/self-AttentionT

4、ask-specific/prompt商品理解、知識表征預訓練、后訓練、指令精調一、推薦系統研發現狀一、推薦系統研發現狀p LLM推薦系統進展推薦推薦系統系統LLMLLMLLMLLM知識表征用于推薦知識表征用于推薦LLMLLM個性化感知個性化感知用于推薦用于推薦理解/推理Images from:PALR:Personalization Aware LLMs for Recommendation減小候選推理/理解交互數據/用戶屬性/物品屬性指令模板指令精調Images from:Towards Open-World Recommendation with KnowledgeAugmentatio

5、n from Large Language Models一、推薦系統研發現狀一、推薦系統研發現狀p LLMLLM推薦系統推薦系統進展：進展：Images from:Knowledge Adaptation from Large Language Model toRecommendation for Practical Industrial ApplicationLLMLLM模型架構用于推薦模型架構用于推薦輸入文本物品表征推薦LossFrozen LLM +Trainable SeqRecFrozen LLM +Trainable SeqRecLLMLLM知識知識/訓練流程用于推薦訓練流程用于推

6、薦Images from:HLLM:Enhancing Sequential Recommendations via Hierarchical LargeLanguage Models for Item and User Modeling精調階段，從短序列拓展到長序列目錄目錄p 推薦研發現狀p LLM特征增強p LLM推薦架構設計p ID協同-LLM語義聯合建模二、二、LLMLLM As As 推薦系統增強組件推薦系統增強組件工業界推薦召回工業界推薦召回/精排以精排以IDID建模為主建模為主目標：利用LLM對物品進行知識表征，緩解冷啟動，提高分發現狀：原始文本信息存在不連貫、噪聲、冗余，表征效

7、果差例1：短視頻場景例2：直播場景描述描述：要持續的學習，才能保障持續的成功#演講#正能量#奮斗#標簽標簽：演講 正能量OCROCR：才能保障持續的成功 但是你的家族 缺少一個光宗耀祖的人詳情詳情：成功不是你贏了多少人，勝過多少人，而是你幫助了多少人，影響了多少人，成就了多少人。沒有任何成功能夠比幫助他人成功來得更有意義。賺錢的行業有很多，但是沒有任何一個行業比幫助別人更有意義，更有價值。當你成長的速度跟不上你愛人的時候，婚姻就會出現問題。當你成長的速度跟不上你孩子的時候，教育就會出現問題 略開播描述開播描述：新號開播，福利多多類目類目：知識教學、課程教育ASRASR：改革之后，好像以前說要背

8、誦這些所謂的英語的一些固定的搭配，包括是法則呀，包括這個所謂的語法等等。后來老師說我們新教改之后沒有這些考題了，是吧？那么對應的接下來以后的英語考試的方向也變成理解型的學習，頒變成了應用層面上的學習。所以在這個角度上，我們應該如何去學習英語。#高中那么多老師，可能你也會聽到很多不同的方向的答案。那么，這些不同的答案讓大家可能有所迷惑，到底應該聽哪個不聽哪個？來，各位朋友，我們學英語呢，其實你并不需要直接去聽不同老師給你的所謂的答案、建議啊，方向之類的。我們一定要通過思考，用思考這個角度，去解決英語學習中的各種各種問題。#只要大家去多思考了，實際上很多問題都能夠去規避掉。首先，我們就要看一下新課

9、標教材改革之后的一個方向是怎么描述的。我們接下來對考生考察的是詞法、句法以及語篇知識的掌握和應用。你看，以前我們講的是要記住這些詞法、句法，現在我們講的是綜合運用。略二、二、LLMLLM As As 推薦系統增強組件推薦系統增強組件p LLM知識抽取-表征流程：用戶/物品ID內容池示例庫7B7B指令模板1.5B1.5B知識表達工程實現考量工程實現考量/特點特點：知識表征微信語料*文本來源多樣*LLM推理準確、高并發*知識表征向量支持變長維度1.知識表達:指令模板+模型Few-Shot推理：2.知識表征:域內語料+Matryoshka表征學習精調：指令模板：理解能力(摘要、主題、關鍵實體、內容領

10、域)；推理能力(內容風格、潛在受眾等)Few-Shot推理：降低small-LLM幻覺、提高魯棒性和并發量方法0-Shot1-Shot3-Shot5-ShotImp.(%)+10.53%+31.58%+43.16%模型精調：域內高質量語料精調BGE-base模型表征拓展：引入MatryoshkaRL生成高質量多維度知識向量指標/128RetrievalSTSRerankingClusteringAVG.AVG.Imp.(%)21.06%4.04%2.94%6.89%8.73%基線：BGE-base模型增加128-dim投影頭，無監督對比訓練。二、二、LLMLLM As As 推薦系統增強組件推

11、薦系統增強組件p LLM知識表征緊鄰檢索效果：物品側物品側t-SNE可視化對比(以標簽為以標簽為label)label)：用戶用戶側側t-SNE可視化對比(以消費畫像為以消費畫像為label)label)：methodmethod Recall10Recall10基線+3-shot LLM+17.24%+finetune BGE+9.75%原始文本0-shot LLM輸出3-shot LLM輸出基線：原始文本+1.5B 0-shot LLM+BGE Base with PCA 64dimmethodmethod Recall10Recall10基線+3-shot LLM+14.16%+fine

12、tune BGE+8.49%原始文本0-shot LLM輸出3-shot LLM輸出二、二、LLMLLM As As 推薦系統增強組件推薦系統增強組件p LLM知識表征注入線上ID模型：EmbeddingEmbedding表征對齊問題：表征對齊問題：協同側表征協同側表征推薦增益表征推薦增益表征LLMLLM側表征側表征*噪聲角度：ID表征、LLM表征生成原理不同，直接融合潛在造成噪聲累計，引入更大偏差*信息論角度：ID表征主導模型，導致訓練推理環節LLM表征信息丟失；協同語義潛在抑制文本語義1.有監督：聯合訓練2.無監督：表征對齊Images from:Towards Open-World Re

13、commendation with KnowledgeAugmentation from Large Language ModelsImages from:Representation Learning with Large Language Modelsfor Recommendation*端到端優化*MoE信息過濾*推薦損失優化ID表征、LLM表征存在梯度分歧；潛在導致負遷移*無法處理ID冷啟動問題*長尾ID表征學習不充分，正樣本對(ID-emb,LLM-emb)置信度低*Embedding維度需要對齊二、二、LLMLLM As As 推薦系統增強組件推薦系統增強組件p LLM知識表征注入

14、線上ID模型：GNNGNN元路徑UUIUIIUIIUIIIUMLP元路徑拓展：元路徑拓展：*語義邊 I2I：相似內容關聯推薦*語義邊U2I：開放知識下的”用戶-物品”匹配*語義邊U2U：開放知識下的”用戶-用戶”鏈接*共享ID表征；增加U2I交互圖邊連接緩解稀疏；增加I2I、U2U拓展交互圖，緩解冷啟動UU熱度近鄰表征替代熱度近鄰表征替代(以以IDID為例為例)：UILLM知識表征表征池活躍？ID LUT是否TopN近鄰列表推薦模型高熱ID過濾高熱ID語義表征池化*TopK語義相似檢索，顯示降噪*自主感知，活躍用戶/物品采用充分訓練的ID Embedding建模；長尾/冷啟動通過語義相似索引T

15、opK近鄰列表，池化表征替換欠充分的ID表征*直接用于推理階段，無需訓練目錄目錄p 推薦研發現狀p LLM特征增強p LLM推薦架構設計p ID協同-LLM語義聯合建模三、三、LLMLLM推薦系統架構優化推薦系統架構優化大語言模型大語言模型&垂直領域大語言模型垂直領域大語言模型 (示例：示例：LLaMALLaMA生態生態)微信生態微信生態&信息流個性化推薦子場景信息流個性化推薦子場景Images from:https:/llmbook-zh.github.io/內容資訊/視頻/直播社交朋友/社群商業服務/廣告/商業訂閱號視頻號看一看搜一搜直播聽一聽朋友圈小程序服務號購物游戲廣告微信三、三、LL

16、MLLM推薦系統架構優化推薦系統架構優化p LLM訓練PPL適配推薦：自然語言推薦系統數據層數據層騰訊成立于1998年，總部位于中國深圳。公司一直秉承科技向善的宗旨。我們的通信和社交服務連接全球逾10億人，幫助他們與親友聯系，暢享便捷的出行、支付和娛樂生活。騰訊發行多款風靡全球的電子游戲及其他優質數字內容，為全球用戶帶來豐富的互動娛樂體驗。騰訊還提供云計算、廣告、金融科技等一系列企業服務，支持合作伙伴實現數字化轉型。Item0OpenAI的Sora注定死路一條！Yann LeCun火力全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美 國 工 程 院 院 士|賈 玲 的

17、 面 相 都 變 了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火MoE實測結果出爐，網友：OpenAI越來越沒護城河了 Item4.略粒度粒度：詞牌順序：順序：詞牌位置預處理：預處理：文本塊去重粒度粒度：用戶側-物品、物品側-詞牌順序：順序：時間戳(Timeline)經驗：經驗：用戶維度海量Item文本重復，直接建模違背LLM數據清洗規則，效果差預訓練（預訓練（Pre-trainPre-train）后訓練（后訓練（Post-trainPost-train）精調（精調（FinetuningFinetuning）基座模型10T Toke

18、n48K上下文感知語料配比、模型架構目的：卓越的信息捕獲和推理能力挑戰1：微信每天產生千億交互，文本化后Token達 100T以上；簡化模型結構、損失計算挑戰2：不同場景數據占比差異懸殊；物品側文本化長度差異較大；例：短視頻交互是圖文交互100+倍；分場景數據抽樣、Item側文本長度規范化挑戰3：對比語料模式，推薦LLM需要采用分層”Item-User”架構；推薦損失函數是否融入長文本模型10B Token1281M上下文感知精調模型30K Token 指令精調T Token 領域精調階梯長度躍遷語料、混合采樣目的：激活模型處理長文本能力同時，維持現有通用處理能力挑戰1：LLM長文本感知能力可

19、以處理推薦側Item維度文本；然而，推薦領域的長度感知在User維度；用戶建模維度長序列感知，更換推薦損失挑戰2：對比物品側的文本序列、用戶側的物品序列；位置編碼含義存在差異；用戶建模是否需要裝配時間戳sideinfo挑戰3：ID量級巨大，本階段融入成本巨大任務感知、領域感知目的：強化模型在特定任務、特定領域中的泛化能力挑戰1：業務模型，精準推薦需要裝配ID信息，ID表征&LLM表征對齊問題挑戰2：多個業務模型繼承訓練基座；繼承的時間間隔、繼承方式存在哪些影響挑戰3：模型參數量大，業務上線的工程考量挑戰4：PPL的兼容性、模塊可拓展性，迭代友好性三、三、LLMLLM推薦系統架構優化推薦系統架構

20、優化p 推薦LLM預訓練：Item0OpenAI的Sora注定死路一條！Yann LeCun火力全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美國工程院院士|賈玲的面相都變了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火MoE實測結果出爐，網友：OpenAI越來越沒護城河了 Item4.略多場景交互序列文本化多場景交互序列文本化(10K(10K以內以內)100TTokensS I-0 I-1 I-2 I-3 I-m ES I-0 I-1 I-2 I-3 I-m E Item 建模TokenEmb、Scratc

21、h、LLM、DistillE0 E1 E2 E3 E4 E5 EmUser 建模TokenEmb、Scratch、LLM、DistillE0 E1 E2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征1.模型結構適配2.損失函數適配ItemItem建模：建模：CMMLU、CEval挑選模型；開放知識存儲在詞表征、語義層 PCA、Distill、Scratch權衡模型復雜度(上線壓力)與模型精度示例Qwen2系列LLM配置配置隱層維度隱層維度層數層數中間層中間層上下文上下文0.5B89624486432K1.5B153628896032K7B35842818944128K72B81928

22、029568128K57B-A4B3584 282560 x6464KUserUser建模：建模：等價序列建模；Item表征與Token表征存在本質區別，預訓練LLM的增益未知Use側序列模式學習（Next Token Prediction）:Item側物品表示學習（Option）:注：通常不添加損失函數，Item側存在BatchxSeqLen條文本;生成式或者對比式損失壓力巨大=Batch內采樣或Token粒度ssl=1exp 1,1 /21exp 1,2 /Item 粒度三、三、LLMLLM推薦系統架構優化推薦系統架構優化p 推薦LLM后訓練/精調 長序列：Item0OpenAI的Sora

23、注定死路一條！Yann LeCun火力全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美國工程院院士|賈玲的面相都變了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火MoE實測結果出爐，網友：OpenAI越來越沒護城河了 Item4.略長短序列混合采樣（長短序列混合采樣（110K110K）100TTokensS I-0 I-1 I-2 I-3 I-m ES I-0 I-1 I-2 I-3 I-m E Item 建模TokenEmb、Scratch、LLM、DistillE0 E1 E2 E3 E4 E5 EmUs

24、er 建模TokenEmb、Scratch、LLM、DistillE0 E1 E2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征1.ID長序列感知 2.文本長序列感知Image from:SIMImage from:LongAlign 通用檢索：通用檢索：匹配長序列中的TopK高關聯Item精準匹配：精準匹配：端到端訓練感知短序列信息注：應用Packing進行長短文本混合訓練，準確度比Shuffle提高3-4%，速度提升15%三、三、LLMLLM推薦系統架構優化推薦系統架構優化p 推薦LLM模型架構-后訓練/精調：Item0OpenAI的Sora注定死路一條！Yann LeCun火力

25、全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美國工程院院士|賈玲的面相都變了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火MoE實測結果出爐，網友：OpenAI越來越沒護城河了 Item4.略業務交互數據精調業務交互數據精調S I-0 I-1 I-2 I-3 I-m ES I-0 I-1 I-2 I-3 I-m E Item 建模TokenEmb、Scratch、LLM、DistillE0 E1 E2 E3 E4 E5 EmUser 建模TokenEmb、Scratch、LLM、DistillE0 E1 E

26、2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征業務屬性參數服務器 P.SAdapter對齊p 精準推薦*工業推薦系統各模塊仍以標識符建模為核心*精調階段，對齊業務目標，擬合稀疏交互矩陣；純文本學習協同信號存在信息瓶頸，容易出現強泛化，低精度*模型集成角度：語義泛化、語義協同、標識符協同p 非均勻：時間序列的交互數據p 對齊業務目標：推薦BPR損失BPR=+1 log 1 文本序列交互序列indextimeCLS絕對距離相對距離相對距離三、三、LLMLLM推薦系統架構優化推薦系統架構優化p 推薦推薦LLMLLM 業務落地模式：業務落地模式：E0 E1 E2 E3 E4 E5 EnUs

27、er 模塊E0 E1 E2 E3 E4 E5 En決策模塊0/1用戶歷史序列表征候選Item表征E0 E1 E2 E3 E4 E5 EmUser 模塊E0 E1 E2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征用戶歷史序列表征En候選Item表征決策模塊0/1訓練階段推理階段業務落地精調模型特征庫用戶物品天時ID+用戶交互序列文本ID+物品文本Redis注：推理環節，支持屏蔽ID，只輸出LLM語義協同表征，用于冷啟動場景召回層(表征檢索)排序層(特征增強)UIIUI原始特征用戶表征物品表征推薦模型EmbeddingEdge目錄目錄p 推薦研發現狀p LLM特征增強p LLM推薦架構

28、設計p ID協同-LLM語義聯合建模四、四、IDID協同協同&LLM&LLM語義聯合建模語義聯合建模p 工業推薦系統存儲的協同知識：Image from:Deep Neural Networks for YouTube RecommendationsIDID為核心的工業推薦系統為核心的工業推薦系統p 信息存儲信息存儲工業推薦系統經過長期的迭代與優化，依托于海量的交互數據進行訓練。在ID表征中，蘊含了豐富的場景信息和協同信息。p 多視角表征多視角表征團隊所承擔任務各異，不同場景可能需要維護多種工業推薦算法。因此，同一ID能夠從多個視角獲取信息表征，從而豐富其特征表達和應用潛力。p LLMLLM知

29、識拓展知識拓展工程存儲的考量下，相較于推薦系統的迭代周期，推薦LLM的訓練語料尤為短暫。通過引入在線用戶ID和物品ID的表征，可以有效拓展推薦LLM的知識邊界，潛在提升推薦精度四、四、IDID協同協同&LLM&LLM語義聯合建模語義聯合建模p 物品側ID協同信息注入LLM預訓練：Item0OpenAI的Sora注定死路一條！Yann LeCun火力全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美國工程院院士|賈玲的面相都變了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火MoE實測結果出爐，網友：OpenAI越

30、來越沒護城河了 Item4.略線上推薦系統線上推薦系統Item-IDItem-ID協同表征注入協同表征注入S I-0 I-1 I-2 I-3 I-m ES I-0 I-1 I-2 I-3 I-m E Item 建模(TOKES)E0 E1 E2 E3 E4 E5 EmUser 建模（ITEM）E0 E1 E2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征idid線上推薦系統EmbAdapter融合禁止梯度優化p Adapter 融合方案p 效果對比 AdapterAUCRecall100基線id-emb,llm-emb從頭訓Transformer*+1.27%+8.69%蒸餾PLMD

31、istill-PLM(*)+2.77%+24.32%ID表征Tokens表征*ID表征作為Item表征生成的全局參考*Item附屬的Tokens生成，參考序列前Tokens信息和全局ID信息*訓練和推理過程中，ID embedding不進行梯度優化四、ID協同&LLM語義聯合建模p 用戶側ID協同信息注入LLM預訓練：Item0OpenAI的Sora注定死路一條！Yann LeCun火力全開怒噴：這種實現方式“完全沒有現實意義 Item1碩士學歷黃仁勛，當選美國工程院院士|賈玲的面相都變了？Item2E4SRec:連接序列推薦與LLM的橋梁(WWW24)Item3開源大模型超越GPT-4！爆火

32、MoE實測結果出爐，網友：OpenAI越來越沒護城河了 Item4.略線上推薦系統線上推薦系統User-IDUser-ID協同表征注入協同表征注入S I-0 I-1 I-2 I-3 I-m ES I-0 I-1 I-2 I-3 I-m E Item 建模(TOKES)E0 E1 E2 E3 E4 E5 EmUser 建模（ITEM）E0 E1 E2 E3 E4 E5 Em聚合模塊通用用戶表征序列用戶表征UIDUID線上推薦系統Emb P0 P1 Pt P0 P1 Ptp Prefix Tuning融合方案p 效果對比(精調參數僅0.34%)AdapterAUCRecall100基線llm-emb；item_seqConcat預訓練凍結；ID表征+序列表征+0.74%+3.35%Prefix預訓練Item凍結；User精調+1.09%+6.63%UID表征交互序列*UID表征引導User模型生成更精準的用戶表征 (Conditional-based)*多維度UID表征，采用Bi-view,提取更全面的用戶信息*應用于精調階段；僅更新前綴參數;禁止梯度優化前綴 Prefix