《匯量科技(Mobvista):移動廣告反作弊白皮書 2.0(24頁).pdf》由會員分享,可在線閱讀,更多相關《匯量科技(Mobvista):移動廣告反作弊白皮書 2.0(24頁).pdf(24頁珍藏版)》請在三個皮匠報告上搜索。
1、Mobvista 移動廣告反作弊白皮書目錄前言什么是移動廣告作弊作弊現狀0102022021071112地區分布操作系統分布APP類型分布0305060708101819111213常見的作弊行為歸因作弊虛假流量非法流量如何反作弊反作弊行業介紹Mobvista 的反作弊體系Mobvista 的反作弊體系簡介基于規則的反作弊策略IP相關地理相關點擊到完成安裝的時間設備標記符設備參數用戶行為131415151617如何解決混合流量基于機器學習的反作弊策略無監督反作弊模型有監督反作弊模型結語關于Mobvista1920前言目前全球移動廣告和變現市場正處在高速發展期。App Annie的數據顯示,20
2、19年移動應用的下載量達到了2040億次,預計到2022年將達到2580億次。全球市場的移動廣告支出也在逐年上升,根據市場研究機構eMarketer的數據顯示,2019年移動廣告支出超過了2200億美元,到2022年預計將攀升到3521億美元。正所謂有利益的地方就有犯罪,日益猖獗的移動廣告作弊也深深地困擾著整個廣告行業。根據WFA的保守估計,2019年移動廣告作弊行為造成廣告主的損失超過200億美元,并預計到2025年,該數字將達到500億美元之巨。移動廣告作弊不僅僅給廣告主造成了巨大的經濟損失,同時也影響了廣告平臺的交付質量和品牌形象,更是嚴重損害了整個移動互聯網廣告市場長期的良性發展。Mo
3、bvista定位為向全球移動開發者提供用戶增長和流量變現的綜合性服務的技術平臺,建立的廣告網絡覆蓋超過200+個國家和地區,每天處理請求數超過100億次,可以說是處于反作弊攻防這場戰爭的最前線。為凈化互聯網廣告市場、促進行業的健康發展,Mobvista向行業推出移動廣告反作弊白皮書2.0,旨在厘清當前移動營銷市場的廣告作弊情況、作弊方式及反作弊策略,以期推動移動廣告行業的透明度和規范化發展。Mobvista 移動廣告反作弊白皮書01什么是移動廣告作弊移動廣告作弊(Mobile Ad Fraud),是指通過技術手段欺騙廣告主、發行商或供應商的行為。作弊的主要目的是竊取廣告主的廣告預算。移動廣告作
4、弊有多種形式,常見的有Click Spamming、Click Injection、SDK Spoofing、Bots等。本章節我們會詳細地討論常見的作弊方式。作弊現狀基于Mobvista旗下的程序化互動式移動廣告平臺Mintegral和移動效果營銷平臺Nativex覆蓋200+個國家(地區)的流量體系,100億日展示等自有數據,Mobvista反作弊技術團隊對全球移動作弊安裝行為進行了統計分析(2019年10月-2020年3月),Mintegral被監測并提前攔截的作弊流量占總流量的比例為2.01%,Nativex被監測并提前攔截的作弊流量占總流量的比例為10.69%。安裝作弊行為在地區、操
5、作系統、APP類型上的分布呈現以下特點:Mobvista 移動廣告反作弊白皮書02地區分布在Mintegral和Nativex覆蓋200+個國家和地區的流量體系中,被攔截的作弊行為主要分布在日本(12.81%),印度(11.6%),印尼(9.4%)等國家。(注:由于以上國家(地區)的流量在Mintegral和Nativex流量體系中的占比本身較高,該國家(地區)產生的作弊安裝與總作弊安裝之比自然較大,因此參考意義有限。)作弊國家(地區)分布圖作弊install占總作弊install比例Mobvista 移動廣告反作弊白皮書030%1%2%3%4%5%6%7%8%9%10%Mobvista 移動
6、廣告反作弊白皮書04各國(地區)作弊安裝占該國(地區)總安裝量為了能更直觀地看到各國家(地區)作弊行為的嚴重程度,這里同時統計了各國家(地區)作弊安裝占該國家(地區)總安裝量的比例,比較嚴重的有:巴基斯坦(24.87%),意大利(24.47%),法國(23.97%):巴基斯坦意大利法國西班牙南非印度英國日本德國俄羅斯泰國美國馬來西亞韓國印尼中國臺灣巴西0.00%5.00%10.00%15.00%20.00%25.00%30.00%操作系統分布從操作系統的作弊安裝分布來看,iOS平臺為40.2%,Android平臺為59.8%。Android59.80%iOS40.20%Android各版本作弊
7、安裝占該系統比例其中,iOS的作弊安裝主要集中在這幾個版本上:13.3.1(13.59%),13.1.3(7.85%),13.1.1(7.82%)。Android平臺的作弊安裝主要集中在這幾個版本上:7.0.0(19.92%),8.1.0(17.75%),6.0.0(12.69%)。iOS各版本作弊安裝占該系統比例13.3.113.59%8.0.117.75%其他36.90%12.4.13.03%其他16.51%12.4.03.31%13.3.04.95%7.1.15.37%13.0.07.35%7.0.019.92%13.1.37.85%13.1.17.82%6.0.012.69%13.1.
8、27.61%13.1.07.59%5.1.05.90%6.0.110.00%8.0.011.86%Mobvista 移動廣告反作弊白皮書05Mobvista 移動廣告反作弊白皮書06各App類型作弊安裝占該類型比例APP類型分布根據對游戲、電商、社交、工具等類型的APP進行的統計數據,不同APP類型作弊安裝占該APP類型總安裝的比例不盡相同,其中作弊比例較高的有閱讀(28.60%),娛樂(17.17%),游戲(13.86%)。閱讀娛樂游戲電商傳媒地圖其他生活旅行社交財務0.00%5.00%10.00%15.00%20.00%25.00%30.00%虛假歸因常見的作弊行為根據流量的真實性,可將常
9、見的作弊行為分為歸因作弊、虛假流量和非法流量三大類。歸因作弊歸因作弊,是指作弊者利用第三方歸因策略(多為最近展現/點擊歸因)的漏洞,虛構展現或點擊以竊取用戶的安裝的作弊行為。Click Spamming,也叫Click Stuffing或Click Flood,是指作弊者利用點擊歸因的漏洞,通過發送大量的虛假點擊來竊取自然用戶的安裝,從而造成廣告主預算的浪費。這種作弊流量的特點是轉化率(CVR)偏低,點擊到轉化時間普遍過長。A.Click Spamming渠道A點擊泛洪原本無關的自然安裝該安裝被歸因給渠道AINSTALLMobvista 移動廣告反作弊白皮書07虛假流量虛假流量,指的是廣告過程
10、中的點擊、安裝、應用內行為是無效的,廣告主花了錢卻不能獲得一個真實用戶。Click Injection,也叫Install Hijacking,指的是作弊者通過安裝在用戶設備上的一個應用程序來“監聽”其他應用程序的安裝廣播消息。當用戶設備上安裝了新的應用程序時,作弊者就會收到通知,然后在安裝完成之前發送虛假點擊利用歸因模型的漏洞劫取相應的安裝。特點是點擊到安裝時間過短,應用商店記錄的下載時間早于點擊廣告的時間。B.Click Injection點擊廣告點 擊下 載激 活購 買10秒0秒20秒30秒開始下載惡意程序檢測到下載行為后發送虛假點擊第一次打開APPAPPMobvista 移動廣告反作弊
11、白皮書08當用戶點擊一個廣告時,publisher卻向后臺發送多個不同廣告的點擊,從而吃掉大量CPC的廣告預算。特點是同一個設備短時間內多次點擊廣告。A.AD StackingBots 指的是作弊者通過自動化腳本或計算機程序模擬真實用戶的點擊、下載、安裝甚至是應用內行為,偽裝成為真實用戶,從而騙取廣告主的CPI/CPA預算。特點是IP離散度密集、新設備率過高、用戶行為異常、機型/系統/時間等分布異常等。B.BotsDevice Farms指的是作弊者購買大量真實設備進行廣告點擊、下載、安裝和應用內行為,并通過修改設備廣告跟蹤符等方式隱藏設備信息。特點是IP離散度密集、新設備率過高、用戶行為異常
12、、機型/系統分布異常等。C.Device Farms隱藏廣告可視廣告模擬廣告點擊模擬App打開模擬用戶行為APPPLAYBUYINSTALLMobvista 移動廣告反作弊白皮書09SDK Spoofing是指作弊者通過執行“中間人攻擊”破解第三方SDK的通信協議后,在沒有任何實際安裝的情況下,使用真實設備的數據來發送虛假的點擊和安裝,以此消耗廣告主的預算的作弊行為。特點是廣告主后臺數據和第三方數據不符。D.SDK SpoofingAPPBUY非法流量積分墻非法流量指的是publisher在未經廣告主同意的情況下,使用一些有爭議的手段來獲取用戶,包括從非官方應用商店下載app、激勵流量、被禁止
13、的廣告素材、網賺、誘騙點擊和下載、木馬后臺操作等。+10安 裝+10注 冊+20升到10級+30+20+30Mobvista 移動廣告反作弊白皮書10如何反作弊反作弊行業介紹移動廣告反作弊業內的主要角色包括:a.廣告主b.第三方檢測平臺,包括德國的Adjust、以色列的AppsFlyer、美國的TUNE、Kochava、國內的TalkingData等。c.廣告平臺d.其他反作弊技術服務提供商,常見的有英國的Machine、印度的mFilterIt、美國的FraudScore和DataVisor等。第三方移動檢測平臺其他專業反作弊技術提供商Mobvista 移動廣告反作弊白皮書11廣告主廣告平臺
14、Mobvista自研反作弊策略客戶定制第三方移動檢測平臺反作弊模塊專業反作弊技術提供商數據賦能Mobvista 反作弊體系Mobvista 反作弊體系簡介Mobvista反作弊技術體系,是以自研的反作弊技術為主,通過融匯、協同第三方移動檢測平臺、其他反作弊技術服務提供商的反作弊服務為輔,構建的多層次反作弊技術體系。Mobvista的反作弊力量主要由四部分構成。其中,客戶定制部分,主要包括根據廣告主的event數據回傳,進行關鍵指標及閾值的確認、定制數據監控等,即Mobvista根據廣告主的具體需求制定反作弊策略。第三方移動檢測平臺反作弊策略,指Mobvista參考并納入適用的第三方平臺的反作弊
15、策略,如基于Adjust的IP黑名單完善Mobvista的IP過濾機制。專業反作弊技術提供商數據賦能,指借助專業反作弊技術公司的反作弊服務進行數據分析、多重監測、篩選流量,最大程度減少作弊帶來的損失。目前Mobvista合作的該領域公司包括美國的Fraudlogix,馬來西亞的ip2location。而最為核心的Mobvista的自研反作弊技術系統,它是基于Mobvista積累的作弊特征數據建立的,以規則為主、機器學習模型為輔的方式,實現了對作弊流量的多層次全方位的識別。Mobvista 移動廣告反作弊白皮書121234基于規則的反作弊策略IP相關A.來自相同IP的點擊/安裝量過多目前,Mob
16、vista的反作弊技術團隊已積累60+的特征,并時刻緊跟業界最新研究不斷增加新的特征,以此為基礎建立了完善的反作弊規則體系,以下呈現部分反作弊規則。正常情況下,由于用戶分布的離散性,用戶設備使用網絡的IP分布也應該呈現出離散性。如果點擊或安裝數據異常集中地來自相同IP,那么有一定可能是作弊行為。(需要注意的是,由于不同運營商的IP池大小不同,IP分配策略也不同,以及存在同一局域網內的多臺設備同時連接到公網的可能,只要不過度集中在某幾個IP上,一定的IP重復都是正常的。)B.IP黑名單IP黑名單主要來自于第三方反作弊服務商,和Mobvista長期以來的積累數據,一般主要是不可能成為移動設備IP的
17、地址(如數據中心等IP),或者有過大量作弊歷史的高風險IP。C.點擊IP和安裝IP不一致比例過高大部分情況下,點擊IP和安裝IP應該是相同的。如果一個渠道出現點擊IP和安裝IP不一致比例過高的情況,那么這個渠道就存在一定的作弊風險。Mobvista 移動廣告反作弊白皮書13地理相關A.安裝國家與投放國家不一致如果廣告投放的目的地是美國,而最終完成安裝的IP在印度,此類場景在現實中出現的概率很低,如果大規模出現,則有很高的作弊可能性。B.安裝城市與點擊城市不一致如果點擊IP在北京,而完成安裝的IP在廣州,此類場景的概率同樣也很低,如果大規模出現,則有很高的作弊可能性。Mobvista 移動廣告反
18、作弊白皮書14ABAPP設備標記符設備標記符是用來標識一臺移動設備的ID,被開發者或廣告主用來追蹤廣告效果,對于iOS設備通常采用IDFA,Android設備通常采用GAID。由于具備足夠的隨機性,實際應用中沖突很少,基本上可以認為能標記唯一的一臺移動設備。點擊到完成安裝的時間A.點擊到完成安裝的時間過短通常用戶從點擊廣告、跳轉到應用市場App的下載頁面、下載App、到最終打開App進行激活,需要一定的時間。如果該時間過短,則很有可能是作弊行為;這個時間具體多少才算過短,需要根據當地的網速、app安裝包的大小、手機性能而定。B.點擊到完成安裝的時間過長單獨的一次安裝過程,點擊到完成安裝的時間過
19、長可能是偶然事件,但如果這樣的場景大比例出現(例如80%的點擊到完成安裝的時間大于24小時),則有很大可能性是作弊行為。APPIDFAGAIDMobvista 移動廣告反作弊白皮書15A.新設備率過高為了保證隱私,設備標記符可以被手動修改,但大部分用戶一般不會主動修改設備標記符,所以全新的標記符一般要么出現在此前未通過廣告安裝App的設備上,要么出現在試圖通過頻繁修改標記符安裝App的作弊設備上?;诖?,如果一個渠道的新設備比例過高,那么肯定會有很大的作弊嫌疑。B.設備黑名單通過大量歷史積累數據,Mobvista會把一些有頻繁作弊歷史的設備ID列入黑名單,如果一個安裝發生在黑名單的設備ID上,
20、那么該安裝也存在很高的風險。設備參數渠道設備的品牌、型號、語言、運營商、User Agent,操作系統等設備參數的具體分布情況,必須和當地實際分布相符合。例如,如果一個渠道安裝的大部分設備品牌型號,都不是當地的主流型號,則該渠道肯定會有很大的作弊嫌疑。型號運營商User Agent語言操作系統95%品牌Mobvista 移動廣告反作弊白皮書16留存用戶數0Day 1Day 2Day 3Day 4時間A.極端低/高的轉化率正常情況下渠道的轉化率會在一定的區間范圍內,轉化率過低或者過高的渠道都需要特別關注。例如,對于轉化率過高的渠道需要注意其是否是非法流量。B.留存曲線發生明顯下滑如果某一個渠道帶
21、來的用戶總是在游戲/應用中的某一時間節點,數據表現 出斷崖式下滑,例如用戶安裝應用后次日留存正常,但第3天留存降為0,則有很高的作弊嫌疑。用戶行為Mobvista 移動廣告反作弊白皮書17如何解決混合流量必須注意的是,越來越多的作弊流量并不是單一的作弊類型,而是多種作弊類型相互混合后的結果。比如,將click spamming和bots流量混合在一起,既能在一定程度上提高渠道轉化率,同時又能緩解點擊到安裝轉化的時間差普遍過長的問題,這大大增加了反作弊的難度。要解決這種多作弊類型流量混合的問題,就必須在統計渠道的數據分布和指標時,增加統計的維度,在高維度上將低維度難以分解的流量分解出來。除了傳統
22、的渠道維度、平臺維度等,還可用于升維的維度有:設備維度(如品牌、型號、操作系統、運營商等),地理維度(如城市、IP子網、省、州、邦等),時間維度(如點擊到安裝時間,一天中的某個小時節點等)。比如作弊者將click spamming流量和bots流量混合在一起,使得原始流量的各項指標實現了“互補”,對識別作弊造成了困難。其中click spamming流量主要發生在三星手機上,bots流量主要發生在華為手機上。這時我們通過增加手機品牌這一統計維度,就可以拆分出原始流量的指標,還原原始流量的真實情況。Mobvista 移動廣告反作弊白皮書18正常流量作弊流量基于機器學習的反作弊策略通過一系列反作弊
23、規則來阻止特定的作弊模式的作弊流量一直是互聯網廣告行業的標準做法。雖然基于規則的反作弊解決方案是一種有效直觀的解決方案,但是它們卻有一定的滯后性,不能靈活適應新的作弊模式,并且隨著作弊手段/模式不斷進化演變,作弊模式變得更加復雜,從業人員需要采用越來越復雜的方法來識別相應的作弊流量。而基于機器學習的反作弊解決方案能夠從海量的數據中自動學習和發現潛在的或者新的作弊模式。無監督反作弊模型無監督機器學習模型無需事先對數據進行標注(label),通過對數據的探索和分組就能夠自動發現潛在的或者新的作弊模式。常用的無監督機器學習有聚類、異常檢測等。例如在Mobvista我們采用了Density Peak
24、Clustering對渠道/siteid等進行聚類,人工專家根據聚類的結果再做進一步的分析判斷相應的流量是否是作弊流量。Mobvista 移動廣告反作弊白皮書19正常安裝作弊安裝有監督反作弊模型對于有標注的數據,我們可以通過有監督機器學習來建立相應的反作弊模型。反作弊領域常用的有監督模型有Random Forest、GBDT以及近兩年興起的圖神經網絡(GNN)。例如在Mobvista我們采用了GNN來識別Bots作弊流量,模型的準確率高達92%。圖神經網絡深度神經網絡結語在本白皮書中,我們詳細描述了移動廣告領域各類常見的作弊類型,并針對性介紹了Mobvista的反作弊技術體系。集團副總裁朱亞東
25、博士表示,作弊和反作弊之間的攻防戰是一場持久戰,隨著作弊手段和技術的不斷升級,反作弊技術和措施也在不斷演進。為了維護行業的健康發展,我們呼吁廣告主、廣告代理公司、第三方檢測公司等行業組織在和打擊作弊流量上需要形成共識,以期推動移動廣告行業的透明度和規范化發展。Mobvista 移動廣告反作弊白皮書20關于MobvistaMobvista作為全球領先的技術平臺,致力于推動數字時代的全球商業增長。憑借全球技術和豐富的行業經驗,Mobvista專注于打造工具生態系統(Tooling Ecosystem),幫助企業利用大數據、人工智能、云計算彈性集群管理等先進技術連接中國與世界,幫助企業構建具有前瞻性的業務模式,以更高的效率和效能觸達市場。Mobvista集團旗下現有三大業務品牌:程序化互動式移動廣告平臺Mintegral、移動效果營銷平臺Nativex、移動游戲數據分析平臺GameAnalytics。Mobvista于2013年在中國廣州成立,并于2018年12月在香港聯合交易所主板上市(01860.HK)。目前,Mobvista擁有700多名員工,在全球16個城市設有辦事處。Mobvista 移動廣告反作弊白皮書