2-3 廣告場景下雙邊市場的實驗設計.pdf

《2-3 廣告場景下雙邊市場的實驗設計.pdf》由會員分享，可在線閱讀，更多相關《2-3 廣告場景下雙邊市場的實驗設計.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、雙邊市場下的實驗設計雙邊市場供給方彼此存在競爭，需求方的變化會引起供給方的變化，影響交織在一起。0201市場中有兩種不同類型的客戶，通過一個平臺產生互動；A two-sided market,also called a two-sided network,is an intermediary economic platform having two distinct user groups that provide each other with network benefits平臺供給方需求方出行平臺電商平臺婚戀平臺廣告平臺一般雙邊市場下的實驗設計地域隨機化出行平臺按照城市作為樣本，將所有的

2、城市隨機劃分成兩組分別使用兩種策略樣本量少，不同質，評估不靈敏處理方法缺點類目隨機化電商平臺不同類目的商品競爭比如弱，按照商品的類目進行隨機化時間隨機化在不同時間段環境會比較獨立的情況下，按時間分組，不同時間全量使用不同的策略實驗周期漫長GEO：廣告投放的目標客戶大部分不存在地域限制時間：廣告的效果在存在很強的跨時間段影響廣告平臺找不到一個很好的劃分可以讓競爭只發生在組內而在廣告平臺中，按照地域和時間來做實驗都不太可行：廣告流量四格表實驗一種解決搶奪的思路：將大盤的流量與廣告分別考慮成 兩個樣本空間，并將流量和廣告均分成兩組，策略只在流量和廣告都處于實驗組時才生效。我們可以觀察 AD1 在 U

3、V1 和 UV2 中的表現來判斷策略的效果，但是在流量 UV1 中，AD1 由于有策略，可能會搶奪 AD2 的效果。因此直接比較 AD1 在兩份流量的效果得到的結論不準確。由于 UV2 中是全部沒有策略的，因此 AD2 在 UV2 中不會被搶奪，可以用來作為基準值。廣告分桶流量分桶121111222122total12廣告分桶流量分桶121111222122total12修正廣告分桶流量分桶1211222122total12計算提升提升=()/-1=+注：藍色 格子代表接受策略處理。11122ytotaly=廣告流量四格表實驗 理想情況12125+3=282522525total5350121

4、25112512225212522total50.150.2實驗前觀測結果修正無策略，實驗組對照組效果無差異121282522525total5350提升28/25-1=12%策略有正向提升，策略廣告效果變好實驗后注：藍色 格子代表接受策略處理，其余為不接受策略處理。紅色數字代表提升，綠色數據代表搶奪。廣告流量四格表實驗 只有搶奪沒有外溢12128(53-25)2522325total535012125112512225212522total50.150.2觀測結果修正無策略，實驗組對照組效果無差異提升策略廣告搶奪同流量非策略廣告12125+2+3=3025225 2=2325total535

5、028/25-1=12%注：藍色 格子代表接受策略處理，其余為不接受策略處理。紅色數字代表提升，綠色數據代表搶奪。實驗前實驗后廣告流量四格表實驗 實際中發生外溢效果的情況12128(53-25)2622325total535112125112512225212522total50.150.2實驗前觀測結果修正無策略，實驗組對照組效果無差異提升策略廣告對該廣告非策略流量有正向外溢效應實驗后12125+2+3=3025+1=26225 2=2325 total535128/25-1=12%注：藍色 格子代表接受策略處理，其余為不接受策略處理。紅色數字代表提升，綠色數據代表搶奪。廣告流量四格表實驗

6、實際中發生外溢效果的情況注：藍色 格子代表接受策略處理，其余為不接受策略處理。紅色數字代表提升，綠色數據代表搶奪。12125112512225212522total50.150.2實驗前觀測結果修正無策略，實驗組對照組效果無差異提升策略廣告非策略流量因為正向外溢效應，搶奪同流量其他廣告實驗后12125+2+3=3025+1+1=27225 2=2325 1=24total535112129(53-24)2722324total535129/24-1=21%解決方法一：隔離廣告在不同流量下的彼此影響，避免外溢將廣告流量同時分組，策略只在實驗策略實驗廣告上生效工程挑戰大：要做到廣告在不同流量下隔離

7、彼此的影響；難以代表全量效果：對于小廣告來說，其數據本來就比較稀疏，實驗組和對照組數據還不能共享，因此在實驗狀態下的效果難以代表真正全量的效果；即使對于大廣告來說，也存在類似問題；效率低：無法使用分層的實驗結構，否則數據會切割較細，因此實驗只能串行；很難做到實驗組和對照組獨立：畢竟是一條廣告，很難保證實驗組和對照組不互相影響。無限制，但成本過高，一般用于出價策略的評估實驗缺陷適用范圍實驗原理解決方法二：廣告和流量同時隔離實驗原理在實驗流量和對照流量都只能召回原有廣告的一半，會造成 收入損失廣告流量50%實驗廣告50%對照廣告50%實驗流量50%對照流量實驗缺陷解決方法三：廣告和流量同時隔離-一

8、個改進將流量和廣告都拆分成三份：p%實驗+p%對照+(100-2p)%空白，實驗流量出實驗+空白廣告，對照流量出對照+空白廣告，空白流量出所有廣告，策略在實驗流量和空白流量中的實驗廣告生效通過空白廣告的填充，雖然減小了實驗流量和對照流量的收入損失，但是由于實驗廣告和對照廣告仍會在空白流量中競爭，仍存在搶奪的可能，進而對對照流量對照廣告產生外溢影響，導致評估結果有偏差p%實驗廣告p%對照廣告p%實驗流量p%對照流量廣告流量(1-2p)%空白廣告(1-2p)%空白流量實驗原理實驗缺陷解決方法四：廣告分身流量聯合實驗將廣告進行復制，原始廣告和復制廣告進行流量隔離，分別使用不同的策略。最終比較每一個原

9、始廣告和復制廣告的差別，得到策略的整體效果。實驗流量對照流量工程挑戰大：線上系統一般模塊較多，策略和模型比較復雜，實際實現中較難做到分身廣告和原始廣告表現基本一致；廣告數量膨脹：給檢索帶來很大的性能壓力，只能支持少數實驗；很難做到實驗組和對照組獨立：廣告如果在實驗組表現好，對照組不好，整體效果也不好的情況下，廣告主會關停廣告。因此很難真的做到實驗組和對照組獨立。無限制，但成本過高實驗原理實驗缺陷適用范圍一種全新的思路：Counterfactual interleaving 的排序實驗將全量廣告分別使用實驗策略和對照策略進行排序，實驗組廣告使用實驗策略生成的排名，對照組廣告使用對照策略生成的排名

10、，最后將排名合并。排序機制類升級工程成本高，無法并行，且對大盤收入有損實驗原理實驗缺陷適用范圍Counterfactual interleaving 實驗對收入的損失假設 Ac=ad1,At=ad2,AO=ad3Rank_CRank_TRank_Mad2ad1ad3ad1ad3ad1ad3ad2ad2最終曝光的是ad3，但是這個ad3的價值是在C序下比不上原本排名最高的ad2的，所以這就導致了大盤的損失。這種沖突的概率隨著實驗組和對照組的流量都到50%時，會達到最大Counterfactual interleaving 實驗問題：狀態依賴帶來污染Counter-factual實驗的假設對于實驗

11、廣告，由于廣告在融合之后的序近似等于在實驗策略下的序，因此認為觀察到的廣告表現等價于實驗策略全量情況下的廣告表現實際情況由于存在模型不斷訓練迭代、調價環節等因素，廣告的排序除了受策略影響外，還受廣告自身的過去表現數據影響。同時廣告在隊列中的序也受與其競爭的其他廣告表現的影響；由于排序中的對照廣告不是按實驗策略出的，其實際表現（如消耗、GMV等）也與按實驗策略勝出的表現有所差異，這種實際表現的差異又會影響對照策略在實驗中的排序，進而影響了實驗廣告在實驗策略中的排序情況。Counterfactual interleaving 實驗問題：狀態依賴帶來污染Counter-factual 實驗中，觀察到

12、實驗組廣告和對照組廣告在實驗下，狀態因子在一天中從相近逐漸擴大到偏低30%TTPipeline TPipeline CCCTCTC結論：Counter-factual 實驗會受到廣告自身狀態依賴的問題影響，當策略會影響廣告的狀態，這種實驗方式評估的結果就可能有偏；實際上絕大多數的策略都會帶來這種狀態污染的問題狀態依賴污染狀態因子變化列聯表聯合采樣，對四格表采樣的泛化與升級廣告分桶流量分桶12345123456將大盤的流量與廣告分別考慮成 兩個樣本空間，并將流量空間均分成 n 份 UV=1,2,.，將廣告空間均分成 m 份 AD=1,2,.。對于第一組廣告來說，其在 n 份流量生效實驗策略，第二

13、組廣告生效 n-1 份生效，以此類推。問題廣告分桶流量分桶1212m=5，n=6在四格表設計中，我們有 4 個參數，即無策略的基準效果、策略的提升效果、搶奪效應和外溢效應，但是只有 4 個樣本，導致無法擬合。思路搶奪效應依賴于流量中策略生效的廣告比例，外溢效應依賴于廣告中策略生效的流量比例。為了有更多的樣本空間，我們可以將 2*2 推廣成m*n 的設計。方案列聯表聯合采樣：同時評估搶奪效應和外溢效應每個廣告策略生效的比例都不一樣，其不生效部分的觀測差異可以用來監測是否存在策略外溢效果廣告分桶流量分桶12345123456同時具備廣告實驗和流量實驗的屬性根據同一組廣告在不同流量下所占的流量曝光比

14、例，得到實驗對對照在不同競爭環境下的搶奪效應搶奪外溢方案優點列聯表聯合采樣：實驗數據建模評估不存在干擾時=()假設只與第 i 份廣告和第 j 份流量有關=(1,1,+1)簡化為線性模型=+存在干擾時=(11,12,+1)假設只與第 i 份廣告和第 j 份流量受處理的比例有關=(,)STEP 01STEP 02STEP 03STEP 04STEP 05:在第i份廣告的第j份流量上的觀測數據;:代表是否接受處理；:第i份廣告受處理的比例;:第j份流量受處理的比例。記號說明廣告分桶流量分桶()()()()列聯表聯合采樣：實驗數據驗證其洞察行和有效性擬合結果及解讀()=+()+:在第i份廣告的第j份流

15、量上的觀測數據;:代表是否接受處理:第i份廣告受處理的比例;:第j份流量受處理的比例。記號說明pCVR 調高實驗：按照廣告參數分桶 ID、策略生效流量范圍輪替相關配置。對策略生效的廣告及流量，將 pCVR 擴大 1.04 倍，未生效的廣告機流量不做任何處理。實驗說明注：模型對取 log 是為了方便計算提升率列聯表聯合采樣：優勢及缺點優點解決了實驗彼此存在搶奪問題；解決了流量實驗下無法觀測廣告主行為的問題；避免了雙邊市場下的供給端實驗和需求端實驗的左右互搏問題，可以將策略對整體的影響統一起來；缺點在評估時假設了搶奪和外溢都是線性的可加的；要求對供給端和需求端的隨機化，在很多業務場景下存在樣本數量較少且樣本之間差異大，因此實驗的靈敏性也是一個大問題；模型的理解成本比較高，不是很直觀；雙邊市場模擬系統：一種標準化的實驗設計驗證和探索工具現狀線上實驗需要考慮風險，需要平衡平臺收入、實驗周期等要素問題如何在實驗設計上線之前驗證其科學性？如何加速實驗設計的優化和迭代？如何更快更科學地探索更多新的實驗設計？目標減小風險、量化評估、快速迭代雙邊市場模擬工程框架實驗設計線上實驗雙邊市場模擬概述基于廣告系統全鏈路進行抽象和簡化的一套模擬工具特點屏蔽掉復雜的業務邏輯和次要邏輯，僅關注廣告系統的核心邏輯（投放、播放及效果回流等），易于快速分析和快速驗證感謝聆聽TAHNKYOUFORWATCHING