基于知識共享的新一代風控體系.pdf

1、北京頂象技術有限公司基于知識共享的新一代風控體系業務安全的現狀黑灰產vs互聯網安全資金損失 1000億年從業者 100萬從業者 20萬業務安全 10%黑產朝著規?；瘜I化方向發展互聯網巨頭在安全方面的投入公司名人員投入資金投入/年百度500+10億+阿里巴巴1200+15億+騰訊1300+20億+螞蟻金服500+10億+京東200+5億+安全方面的巨大投入使得中小企業難以建設自己的安全能力傳統風控技術的局限性小數據：去對數據的沉淀不夠，缺乏足夠多的/有效的標注數據，數據永遠不夠用無法共享：由于數據本身的高敏感性，無法采用傳統的數據聯防、大數據建模的方法是否足夠可靠：模型只能夠在一個非常狹小的領

2、域發揮作用，可能存在過擬合現象個性化：不同行業的同一風險，或者同一行業的不同風險，很難以同一套模型來覆蓋；通用技術加個人小數據是解決個性化必不可少的手段傳統風控技術的局限性業務流程內置單點的防控方式數十條特定的防控邏輯新實踐頂象業務安全頂象業務安全頂象業務安全頂象知識云萬級策略模型積累安全專家團全景式業務安全風控體系風控知識共享的三個層次傳統企業在數據隔離的情況下，自身安全能力也能隨之進化名單共享：對不同企業間的黑（高危）、灰（嫌疑）、白（可信）名單進行打通策略共享：沉淀關于特定行業、特定風險的通特征體系和策略包模型共享：使用深度學習和遷移學習來解決行業間的能力共享問題知識共享的關鍵是遷移學習

3、遷移學習：解決將已知領域學習到的知識應用到特定目標領域的問題領域特定目標領域的任務（擁有很少的數據）大量不同但相關的數據語音識別特定方言的識別YouTube上各國語言的數據圖像識別醫學圖像處理違規圖像識別ImageNet上的圖像分類數據自然語言處理欺詐信息和垃圾信息的檢測Web上大量的公開語料深度學習+遷移學習深度學習層次化的設計使得遷移學習更為容易1、傳統的機器學習方法，當增添一個新的分類時，需要重新訓練整個模型2、深度學習網絡的不同層次具備不同的遷移能力；當出現新的問題時，可以把某些層次固定住，在其它區域用小數據訓練Learning and Transferring Mid-Level I

4、mage Representations using Convolutional Neural Networks Maxime Oquab,L eon Bottou,Ivan Laptev,Josef Sivic遷移學習的主要方法典型領域有標簽數據無標簽數據目標領域有標簽數據Model Fine-tuningConservative TrainingLayer TransferMultitask LearningSelf-taught LearningSparse CodeAuto Encoder無標簽數據Domain-adversarial trainingZero-shot Learnin

5、gSelf-taught Clustering遷移學習的主要方法典型領域有標簽數據無標簽數據目標領域有標簽數據Model Fine-tuningConservative TrainingLayer TransferMultitask LearningSelf-taught LearningSparse CodeAuto Encoder無標簽數據Domain-adversarial trainingZero-shot LearningSelf-taught Clustering重點遷移學習的一個簡單例子使用遷移學習來解決新分類（花卉）識別的主要步驟1、使用預訓練的模型（ImageNet Ince

6、ption V3）提取訓練圖片的特征2、構造一個新的淺層網絡,使用第一步中得到的訓練輸入,訓練新的網絡,得到結果3、準確率一般在90%95%，訓練時間大大減少。注意新類別并不存在于訓練數據中https:/www.tensorflow.org/tutorials/image_retrainingHow to Retrain Inceptions Final Layer for New Categories真實案例：頂象無感驗證流量人機識別+驗證策略選擇+用戶行為識別基于深度學習+遷移學習的智能驗證產品1、基于深度學習技術實現特征自動挖掘，無需煩瑣的特征工程過程，準確率和召回率提升5%10%2、借

7、助遷移學習的技術，實現不同場景的自適應；即便是在只有少量數據的情況下也能獲得同等的效果克隆防御的最佳實踐數據量小，相似度高：由于數據量太少，因此為避免過擬合不建議訓練整個網絡。因為數據相似程度大，因此去掉原本的全連接層將其余網絡作為特征抽取器，最后使用線性分類器輸出識別結果數據量大，相似度高：因為我們有了更多的數據，我們可以訓練整個網絡而不用擔心過擬合問題，最終得到更好的效果數據量小，相似度低：數據量太少導致我們無法訓練整個網絡。相似度低使得我們無法直接使用高層的特征，而需要在網絡前幾層重新訓練數據量大，相似度低：有足夠的數據支撐我們訓練整個網絡，但仍然可以從已知領域的知識中收益。使用預訓練模型的權重作為初始參數，往往會獲得更好的效果和更短的收斂時間目標領域相對于已知領域謝謝