2020年終大會-機器學習平臺：13-5.pdf

1、58深度學習平臺在提高模型推 理性能和GPU使用率上實踐 陳興振 - 58同城 AI Lab 2020.12.20 58深度學習平臺介紹 模型推理加速 提升平臺GPU使用率 總結及計劃 分享大綱 58深度學習平臺 算力算力 CPUK40P40T42080ti 存儲存儲 RAIDHDFS 對象存儲 （WOS） 高性能網絡文件系統高性能網絡文件系統 （WFSWFS） KubernetesKubernetes 資源管理任務調度服務發現 ETCDCalicoDNS PrometheusGrafana DockerDocker、NvidiaNvidia- -Docker2Docker2 深度學習框架深度

2、學習框架 rsyslog 開發實驗開發實驗模型訓練模型訓練推理服務推理服務 負載均衡一鍵擴容 推理加速（TF-TRT、TensorRT、MKL、OpenVINO）單機單卡訓練 參數服務器（多機多卡訓練） 代碼在線調試 資源復用 監控 中心 日志 中心 鏡像 中心 ABTest WubaNLPWubaNLP 序列標注文本分類文本匹配 鳳凰圖像算法平臺鳳凰圖像算法平臺 圖像樣本庫圖像算法組件 搜索推薦NLP語音圖像風控 推理服務 通用預測接口 協議解析 流量轉發/負載均衡 模型1解析jar包 模型2解析jar包 模型n解析jar包 SCF 服務 業務方線上請求： 模型ID + 預測數據（Objec

3、t） Jar包熱加載 pod2 podn pod1 模型1預測實例 pod2 podn pod1 模型2預測實例 pod2 podn pod1 模型n預測實例 TensorFlow Serving PyTorch gRPC Serving 自定義模型 gRPC Serving Web 管 理 系 統 Kubernetes Jar 包 推 送 模 型 部 署 、 擴 縮 容 模型1協議實體模型n協議實體 模型推理加速 GPU上推理優化歷程 前期：主要支持TensorFlow框架 采用TF-TRT快速上線 后期：TensorRT+Triton Inference Server支持所有框架 Framework Integration UFF ONNX Model Import Network Definition API Custom Framework TensorRT Optimize r