信息流場景下的AIGC實踐.pdf

《信息流場景下的AIGC實踐.pdf》由會員分享，可在線閱讀，更多相關《信息流場景下的AIGC實踐.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、信息流場景下的AIGC實踐劉輝-騰訊-算法工程師DataFunSummit#2023DataFun#page#信息流場景下的AIGC實踐sDataFunQQ瀏覽器BEB上57信息流場景：信息流場景中最先展示給搜金網北京國安官當部監練色-用戶的就是內容的標題和封面圖，吸引人的標題和封面圖是用戶消費內容的基礎。個性化的標題生成自動封面圖合成共訴王發量S品5上#page#01個性化的標題生成DataFunSummit#2023DataFun#page#標題生成0測覽器DataFun.。標題生成：對于給定文章生成一條和文章匹配的標題，一般要求流暢、和文章相關、不能出現事實錯誤。直接在標題生成數據集上學

2、習一個Seg2Seg模型。標題文章#page#標題生成0測覽器DataFun.，標題生成：對于給定文章生成一條和文章匹配的標題，一般要求流暢、和文章相關、不能出現事實錯誤。，直接在標題生成數據集上學習一個Seg2seg模型。某種風格的標題生成模型文章ctr高的標題訓練集中的標題都是某種風格的標題，在這種訓練集的基礎上直接訓練。學習一個分類器，使用強化學習指導某種風格的標題生成。#page#個性化的標題生成0測覽器DataFun.個性化標題生成：使用用戶內容以及一些個性化的信息生成針對不同用戶或者不同應用場景的標題。推薦場景：在推薦中，根據用戶興趣，針對不標題1同用戶或者群體生成個性化的標題。用

3、戶興趣搜索場景：基于用戶的搜索query生成query相關的標題。文章標題2搜索query創作者平臺：模仿創作者歷史的標題創作風格生成和創作者歷史風格一致的標題。作者風格問題難點：標題3場景表示：用戶興趣、搜索query、作者風格等等顯式或者隱式的信息如何表示？交互設計：場景表示獲取之后如何和文章或者標題交互生成個性化的標題？#page#Q瀏覽器DataFun.基于關鍵詞的標題生成News Articleduupsoespupooousdseusyphotogenicdshes.Anaestheticllypleasingdishhowever.doesntmeanitwilstandthet

4、estoftim.factitsnotunoonorfoodtrendstobalthehypeoneyearand場景表示：使用關鍵詞表示場景。deoutthenextFrombroccoicofetowfoodhereare1fodtresthatyokelywontseein201915sontenceswth307wrdsareabbrevated fom here搜索場景：Tag、興趣點、用戶畫像；n2018.restaurantsamovertheusdecked itwasagoodldeatoplace goldfooneveytingfromcecreamtochickenw

5、isopizarestigiepensvefoodend搜索推薦：query、query關鍵詞提??；ForempletheAinswoNewYorCltyses1.0owoofgoldcoveredchkeKeyphrasesMulti-Headlines10foodtrondsbowl foodgitterfoodSthegitterfexttrend7KeyphraseKeyphrase-awareHeadineGeneratonModGeneraton ModelDiverse，Controllable，and Keyphrase-Aware:A Corpus and Method fo

6、r News Multi-Headliine Generatiion#page#0測覽器DataFun.基于關鍵詞的標題生成交互設計 Article+Keyphrase在Decoder端新增加一個子層用于Keyphrase和Headline之間的交互 Keyphrase-filtered Article在Encoder的輸出側直接進行article和keyphrase的交互的得到Filtered-ArticlePointwiseXenc=MutiHead(Xkey Xenc，Xene）Feed ForPointwsFeed FonFeed ForwArticlArticleArticle（a）

7、ArideOnly（b）Artide+Keyphrase（KeyphrseflteredAride#page#sDataFun.QQ瀏覽器基于關鍵詞的標題生成交互設計PointwiseFeed Forward Stack Fusing2PointwiseMulti-Head新增加一個子層，但是并不直接和Feed ForwardAttentionKeyphrase交互，而是和Filtered-ArticleAridleMuti-HeadMulti-Head牛Article交互：AttentionAttentionFiltered-ArticeX=MuHead(xxox）Multi-HeadFil

8、tered-ArticleMulti-HeadSelf-AttentionSelf-AttentionHeadline Addition FusingHeadline（d） Stack Fusing（e）Addition Fusing對Ariticle和Filtered-Article做point-wiseaddition交互#page#DataFunQQ瀏覽器基于關鍵詞的標題生成交互設計 Parallel FusingPointwise分別單獨和Article和Filtered-Article交互，然后對交互結果Feed Forward做pointer-wise additionMulti-

9、HeaMulti-Head牛AttentAttentionX=MHeadxxxMulti-Headx=MultiHead(xFiltered-ArticeTBCArticeHeadlin（Paarallel Fusing#page#DataFunQQ瀏覽器基于關鍵詞的標題生成實驗效果ROUGE-1ROUGE-2ROUGE-LDistinct-2Distinct-1MehodK=1K3K=lK3K=lK3K=3K3K=3K=3K3K3K=3PT-GEN33.6639.82415919.8022.6023.8432.9636.7338.330.1250.0760.2150.14331.2034.5

10、214.8216.5217.1728.2331.0432.250.126SEASS35.980.1120.0690.19138.9143.8045.7221.8525.3126.6935.3239.6541.380.1100.0590.1830.111Transformer+Copy42.0945.4026.7028.1338.3642.980.139BASE47.2124.1041.330.1310.0740.22345.8347.8926.6228.2841.7743.710.1820.1110.3130.213BASE+Diverse39.4441.3220.8233.3039.380.

11、294BASE+Filter43.8921.8123.6037.120.3780.6370.57543.5347.0729.4444.670.12149.0825.2727.8139.5042.760.1930.3090.218BASE+KEY27.3944.3047.3649.4625.9829.1140.2442.48Lttb0.2350.1560.3850.290BASE+AddFuse43.7447.2849.6925.2027.5629.4939.4142.5044.770.2610.1770.4300.333BASE+ ParallelFuse43.9747.6349.7425.3

12、227.9029.6939.6042.9644.970.2010.1270.3320.237BASE+StackFuse43.1246.8224.6627.0928.9138.9142.1844.370.1900.4470.350BASE+AddFuse +KEY49.160.276BASE + ParallelFuse + KEY43.0947.7049.8424.9228.0829.8239.0043.0845.120.2060.1300.3370.24229.9443.8747.7149.9625.5028.0539.9443.2745.430.2420.1600.3920.293BAS

13、E+StackFuse +KEY#page#測覽器：DataFun.基于歷史點擊序列的個性化標題生成Cick Probability歷史點擊序列本Dot推薦系統中，往往使用歷史點擊序列作為總要Click Predictor特征用于候選item的ctr預估。User Encoder場景表示：如果基于歷史點擊序列針對每個用NewsNewsNewsNews戶生成個性化的標題，也能夠提高候選item的.Encoder：Encoder1apo50Encoderctr。AClicked NewsCandidate NewsPENS:Adataset and generiic framework for p

14、ersonaliized news headline generatior#page#覽器DataFun.基于歷史點擊序列的個性化標題生成s pointer-generator network Attention Distribution e=tanh（Wh+W+bm）d=softmax(e） Vocab Distribution h=ZchRonb=sofmax(v（Vls，h+b)+） Genertion probability江三（電機機機制修修修制Pen=(w.A+ws+wx+b）P(w)=PeRoe)+（1-Pe）Sour#page#覽器DataFun.基于歷史點擊序列的個性化標題生

15、成使用userembedding來表示用戶點擊風格：作為decoderhiddenstate的初始化參與attentiondistribution的計算at=Fo(h，St,a）at=F（h，St）3）參與generationprobability的計算pgen=7o(ctt)pen=To(Ct,St,t）#page#覽器DataFun.基于歷史點擊序列的個性化標題生成MetricMethodsA0CMROUGE.MRRNDCGe5NDCG1ROUGE.2ROUGELPointer-Gen務系M19.8618.83NA多7.76PG+RL-ROUGE8.42500NA20.56QooO25.1

16、39.0320.7332.8122.5226.45EBNR63.9725.499.1420.8224.628.9520.4025.979.2320.920026973424DKN65.2524.0727.4810.0721.8125.028.9820.34Q9.1425.4920.82826.72339664.9123.6526.119.5821.408026.359.7121.8224.929.0120.7526.6088064.2723.28NRMS26.159.3721.03625.419.1220.9123.718.7321.13062.4924.7132.28LSTUR22.6924

17、.108.8220.738Q23.118.4289010.1421.6227.4966.18275635.178NAML25.5128.0110.7222.2410.0121.4027.25#page#0測覽器DataFun.基于作者風格的標題生成作者風格的標題生成對于輔助創作平臺，創作者對于機器標題的選擇率是評估機器標題生成效果的一個重要指標，而生成符合作者歷史風格的標題往往更收到創作者的青咪；對于平臺，創作者歷史生成的標題往往是其針對其受眾精心構造的往往有更多的點擊率；對于模型，模型參考歷史標題的語法和句法信息，能夠降低模型訓練的難度，從而提高模型的效果；氣大方的感覺出行場景表示：創作者的

18、歷史標題。Headline Generation上牛好華身裝aricle因外套搭配，俏皮還減齡大方Historical HeadinesBasedHeadlineGeneration氣時崗還大方輕松插配學院風十足偏皮的穿搭，甜美時尚的出行Historical HeadinesContrastive Learniing enhanced Author-Style Headline Generatior#page#DataFunQQ瀏覽器基于作者風格的標題生成模型結構：將作者的歷史標題表示成stylevector。使用對比學習得到更有區分度的stylevector。將stylevector用于De

19、coder交互和指導Pointer生成。#page#DataFunQQ瀏覽器基于作者風格的標題生成對比學習：目的：讓標題標題更有區分度。正例：來自同一個作者的不同標題之間兩兩組成正例。負例：同一個batch內不同作者的標題兩兩組成負例。 LOSS：exp(（x2）/+）Lij=-log：kexp（xa）/trainingphase：對比學習的encoder復用Seg2Seq的encodercInnferencephase：丟棄對比學習模塊，不影響推理速度。#page#DataFunQQ瀏覽器基于作者風格的標題生成交互設計：stylevector和aritclevector直接concat用于D

20、ecoder：HAERC+IX=HAERXd esERxd Attention Distribution：()=sofmax(uHA：S+udl+bha） Genertion probability Pcn(i)=o(uenih+gen2d+uenss+bgcn）#page#0測覽器DataFun.基于作者風格的標題生成實驗效果：構造了一個新的基于歷史標題的標題生成數據集，給定一篇文檔和若干個歷史標題生成新的標題。同時過濾掉發文特多的搬運號已經發文特少的創作者。Dataset#author#article#article per authoravg article lengthavg head

21、line length27H3G23726161291384868#page#0測覽器DataFun.基于作者風格的標題生成實驗效果：構造了一個新的基于歷史標題的標題生成數據集，給定一篇文檔和若千個ModelRouge-1ROUGE-2ROUGE-LBLEU歷史標題生成新的標題。General HG42.3929.2940.6022.4842.4829.2940.4222.81Merge H3G自動評估指標：在Rouge和BLEU上自41.5923.69AddFuse H3G43.6430.28動評估模型效果。StackFuse H3G43.8030.4341.7723.7644.1530.7

22、724.13CLH3G42.12#page#0測覽器DataFun.基于作者風格的標題生成實驗效果：構造了一個新的基于歷史標題的標題生成數據集，給定一篇文檔和若千個ModelAverage ScoreAccuracy歷史標題生成新的標題。General HG86.0948.6190.1854.76Merge H3G自動評估指標：在Rouge和BLEU上自AddFuse H3G89.9352.51動評估模型效果。89.41StackFuse H3G52.26CLH3G90.1354.10風格評估：學習一個分類器，判斷給92.2258.21Reference定的兩個標題是否來自于同一作者。#pag

23、e#DataFunQQ瀏覽器基于作者風格的標題生成實驗效果：構造了一個新的基于歷史標題的標題ModelFluencyRelevanceAttraction生成數據集，給定一篇文檔和若干個4.444.845.14General HG歷史標題生成新的標題。5.185.144.96Merge H3G4.745.165.28AddFuse H3G自動評估指標：在Rouge和BLEU上自4.825.14StackFuse H3G5.26動評估模型效果。5.25.18CLH3G5.28風格評估：學習一個分類器，判斷給5.85.525.78Reference定的兩個標題是否來自于同一作者。人工評估：從流暢性

24、、相關性、吸引性的角度人工評估不同模型生成的標題。#page#0測覽器DataFun.基于作者風格的標題生成實驗效果：構造了一個新的基于歷史標題的標題生成數據集，給定一篇文檔和若干個歷史標題生成新的標題。oexplode（數字貨幣已皮世界公認，中國市ndRMBisaboutorise?。ㄈ嗣駧牌鹧胄袕妱莩鍪郑。┳詣釉u估指標：在Rouge和BLEU上自動評估模型效果。落地，迎來數字貨幣全面爆發！風格評估：學習一個分類器，判斷給定的兩個標題是否來自于同一作者。系的作用）人工評估：從流暢性、相關性、吸引aRMB.sriving lobeoomethefirtplayerintheield?。ㄑ胄袛底?/p>

25、人民幣即將落地，爭做第一個吃蝸蟹的人?。┬缘慕嵌热斯ぴu估不同模型生成的標題。? show case#page#02自動封面圖合成DataFunSummit#2023DataFun#page#00瀏筑器DataFun.自動封面圖合成背景：封面圖對于用戶點擊具有非常大的幫助，但是封面圖的創作卻是比較費時并且需要一定經驗。過于簡單：給用戶呈現的內容過少，可能使得用戶錯過了自己感興趣點的內容。過于復雜：影響用戶體驗，并且界面非常雜亂。標題信息：封面圖中嵌入標題、Tag等關鍵信息更能第一時間吸引用戶。還是如此黑時盡管有橋段打量權頻#page#sDataFun.QQ瀏覽器自動封面圖合成原始封面圖標題、T的

26、g封面圖生成的目標：封面圖盡量干凈、簡潔。So254npaintingojoctdoction從標題和Tag中提取關鍵詞加入到封面圖。人臉、選品等、水印清洗臺標、關鍵信息加入到的文字內容不能遮擋人臉、重要目標等。封面圖合成模型（西游降魔篇印還是如此黑盡管有著笑橋段，打量視頻#page#sDataFun.QQ瀏覽器自動封面圖合成FasterR-CNN封面圖清洗OCR識別文本框的proposals。使用ResNet50對輸入圖片進行特征提取，打量積系得到F1。通過特征映射，從F1中獲取文本框的特征F2?；贔2進行分類，識別是否是文案、臺標、字幕?；趇npainting進行內容抹除。#page#

27、page#0測覽器DataFun.自動封面圖合成Seg2Seg關鍵信息提取使用帶Pointer的預訓練T5模型作為底座模型。標注一批數據，使用視頻的標題、分類和關鍵詞作為輸入，人工改寫的信息作為結果。預測的關鍵信息可能包含多個片段。西游降魔篇的細節你看懂了嗎：盡管有著很多搞笑橋段，卻還是如此黑暗西游降魔篇盡管有著搞笑橋段，卻還是如此黑暗#page#sDataFunQQ瀏覽器自動封面圖合成封面圖合成模型使用端到端的Seg2Seg模型。輸入端：所有object的坐標文本框的個數文本框的大小輸出端：文本框的坐標00國司#page#sDataFunQQ瀏覽器自動封面圖合成封面圖合成模型使用端到端的Se

28、g2Seg模型。輸入端：所有object的坐標文本框的個數文本框的大小輸出端：文本框的坐標時王體抵性21周年飛行員集體呼叫海連到最低區百#page#DataFun.QQ瀏覽器參考文獻Processing（EMNLP）.2020:6241-6250sand the 11th2022:arxiv:2211.03305.aunifiedtext-to-text5GuptaK.LazarowJ，AchilleAetal.Layouttransformnwithself0-t00LZOZuoslAainduoguoeouaajuojeuoneuaulno掃eujosbuipaaood/ojuonueie51:2007-20287Cirshick R.Fast rcnnICyProceedings ofthe EEEinternatonalconference oncompulervslon2015:1440-1448.udejd Axersyomu Joeauauodu uoezeuunsuod au ogd Buuuenanyeas larxiv:1704.04368,2017#page#感謝觀看DataFun.#page#