分享版 大數據與AI平臺 于翔 微博大規模深度學習平臺實踐.pdf

1、微博大規模深度學習 平臺實踐 內容概覽 01微博簡介 02微博深度學習平臺 03 大規模深度學習實踐 04深度學習業務解決方案 微博簡介 微博簡介 微博 中國領先的社交媒體平臺 日活躍用戶DAU 2.41億 月活躍用戶DAU 5.5億 移動月活占比 9494% 微博簡介 普通用戶優質用戶 優質內容 關注 內 容 理 解 AI 微博機器學習平臺WML 微博深度學習平臺 微博深度學習平臺 微博機器學習平臺WML-演進 950k 1.0 2.0 3.0 4.05.0 WeiLearn 6.0 支持參數規模 業務模型數量 模型服務峰值 模型更新周期 月級 50k 10+ 100M 1分鐘 190+ 1

2、00B WeiLearn 周 100k 20+ 1B 周 230k 30+ 2B 天 550k 80+ 10B + LR+ GBDT+ DNN 離線ML: LR 離線ML: LR GBDT GBDT+LR 離線ML: LR GBDT GBDT+LR 深度學習: Wide&Deep + Online FM+ Online DNN 在線深度: 加強實時模型的表達能力 Online DeepFM DIN DIEN 強化學習： DDPG + FM 在線ML： Onilne FM/FFM 離線ML： LR/GBDT/GBDT+LR FM/MF 深度學習： Wide&Deep DeepFM DSSM 離線

3、ML: LR GBDT GBDT+LR FM MF 深度學習: Wide&Deep 機器學習平臺經過歷次迭代，目前支撐的參數規模達萬億級，服務峰值達百萬QPS，模型更新達秒級 微博機器學習平臺WML-架構 WAIC UI服務 WeiClient服務 多媒體特征生成 特征生成服務 物料生成服務 物料召回服務 物料庫服務 樣本服務 SQL計算服務 Flink實時計算服務 Storm實時計算服務 機器管理服務 WAIC工作流 異構集群調度 WAIC控制中心 WeiOSS/HDFS 數據倉庫服務隊列服務元數據服務 Weidis/Redis/PikaWeiSS/ES AI接口服務CTR模型服務 多媒體模型服務 GPU容器服務 模型參數服務 機器學習訓練服務深度學習訓練服務 機器學習解決方案深度學習解決方案 向量召回解決方案內容去重解決方案 在線服務解決方案 物料及生成解決方案 推薦流直播用戶增長廣告