DataFun-上午-4rd-騰訊內容結算平臺的探索與實踐-tentzhang(張鵬).pdf

1、騰訊內容結算平臺的探索與實踐張鵬 騰訊 后臺研發工程師|01背景介紹02問題和挑戰03解決方案04未來與展望目錄CONTENT|01背景介紹1.背景介紹|030401內容生態內容生態02內容結算數據策略風控內容內容創作內容處理內容分發內容結算收益計算|02問題和挑戰2.問題與挑戰|1.如何將內容結算業務系統化、平臺化？2.如何描述靈活多變的結算模式及策略？3.如何保障海量數據下收益的及時性、準確性？涉及10+環節的串聯；在線和離線的結合；內容采買、流量補貼、商業化、直播等多種業務形態；月均60+不同的未知策略；包括月結、周結、日結、非固定周期結算；復雜函數計算，如取余、對數、指數等；日均千億級

2、流量，T+1準時更新收益；保障收益結果在0.0001精度下的準確；千萬CP收益賬戶的資金安全；2.問題與挑戰|問題一：如何將內容結算業務系統化、平臺化？解法：通過業務領域建模，將業務抽象成結算前、結算中、結算后；2.問題與挑戰|問題二：如何描述靈活多變的結算模式及策略？解法：通過插件化與流程編排的開放式架構來實現；2.問題與挑戰|問題三：如何保障海量數據下收益的及時性、準確性？解法：全鏈路校驗及重試確保準確性，延遲告警確保及時性；|03解決方案3.1 整體架構|3.2 結算前|正式結算前需要立項配置、預算設定、合同簽約、供應商錄入等前置過程；3.3.1 結算中-數據質量校驗|監控類型：1、指標

3、監控；2、元數據監控；判斷類型：1、同環比、值比較；2、按月、周、日；3、最大、最小、平均；3.3.2 結算中-數據模型|模型輸入是經過ETL之后的業務數據，輸出用于結算策略的配置、收益計算；3.3.3.1 結算中-策略配置(插件表達式協議)|插件可理解成一個表達式計算。通過pb協議描述，分為5種基礎類;3.3.3.2 結算中-策略配置(策略DAG編排)|策略是插件的DAG組合，后面的插件可引用前面插件的輸出結果作為輸入變量；3.3.3.3 結算中-策略配置(可視化界面拖拽)|表單引擎將控件的表單數據按組件的語義轉換成協議對應的ExprTree-JSON數據；插件引擎將組件數據進一步轉換，生成

4、插件表達式協議對應的ExprTree-JSON數據3.3.4.1 結算中-收益計算(插件解析)|插件解析是一個多叉樹的深度優先遍歷過程，每個子Expr輸出的表達式片段會通過括號括起來，來保障順序的準確性；3.3.4.2 結算中-收益計算(DAG轉串行執行)|通過拓撲排序對DAG中的插件進行排序，然后串行執行每個插件，一次只執行一個插件，上游插件在執行完畢后將結果作為中間變量傳遞給下游，從而保障了下游插件在計算前上游插件都已經計算完畢;3.3.4.3 結算中-收益計算(執行計算)|通過Spark調用Lambda表達式來實現。每個插件的執行就是一次Lambda表達式調用SQL-piece的過程；3.3.4.4 結算中-收益計算(策略測算)|使用歷史數據+新策略來計算收益，再將收益和歷史線上收益作對比，以此來評估新策略帶來的影響；3.4 結算中-收益發放一致性保障|1.版本號機制；2.db唯一鍵防重機制；3.結算金額校驗機制；4.灰度人工確認機制；5.應發實發對比機制；6.發放動作事務機制；4.未來與展望|1.提供智能推薦測算方案，基于用戶選擇實現一鍵發布、分析、灰度上線，提升決策效率；2.基于貢獻度模型對流量、單價、結算金額進行自動化歸因，提供更全面、更敏捷的分析數據；非常感謝您的觀看|