機智深度學習訓練平臺及應用.pdf

1、科技TEG技術創造未來機智深度學習訓練平臺及應用騰訊技術工程事業群云架構平臺部宋書濤Tencent#page#科技TEG技術創造未來目錄機智深度學習訓練平臺機智深度學習訓練加速技術機智深度學習訓練多機擴展機智高性能計算平臺案例與業務應用Tencent#page#科技TEG技術創造未來機智深度學習訓練平臺算法AI業業務提供充足算力-星辰算力平臺G數據算力區充分用好算力-機智機器學習平臺Tencent#page#科技TEG技術創造未來興長和民補劃張器封證-如片城后民補劃張題計算機視覺游戲AI廣告推薦落地場景維福T卡?朋友圈其它廣告Te平臺層算法庫數據處理任務調度Web/Client/API任務管理

2、用戶權限管理大batchbatchsize評估訓練收斂策略AutoML自動調參收斂方案深度學習框架通信方案自適應通信算法自適應梯度壓縮與組件計算方案OP優化自適應混合精度圖編譯優化框架任務層百卡秒級調度任務隊列彈性任務額度管理報警監控模塊集成高性能存儲ndFPGAGPU其他芯片資源層CPU服務器GPU服務器ASIC/FPGA100W核1.6W卡Tencent#page#科技TEG技術創造未來機智深度學習訓練加速技術高性能計算程序梯度更新多機范的主要問題棉度噪聲AutoML大bs評估超參數超收斂優化器梯度規約多機范晚主調節等超參數調節梯度要問題分層通信完整訓練壓縮傳輸硬件層面梯度融合等算法同步/

3、異步RDMAgDR反向計算（量化、稀過程（高速光纜）（ringtree.疏化）傳的快傳的少硬件層面單機范聘的主要問題單機主要計算圖優編譯器/XLA前向計算10和計算Disk-內存內存-顯存OP優化（更強芯片問題化優化更快連接）計算優化I0問題讀取數據算力平臺Tencent#page#科技TEG技術創造未來機智深度學習訓練加速技術-單機計算用戶定義的神經網絡應用網絡優化軟件：用戶層面OP優化OP優化PyTarch19NXWTensorflow圖優化框架層面圖優化GCC FrontendXLAFrontend。硬件：IR定制芯片CuDNN.CuBLAS基于硬件特性GCC BackendXLA Ba

4、ckend的算子優化CUDA(LLVM:NVCC）提升拓撲連接編譯器層面OS&APIDriverCPUGPUASIC，其它硬件層面Tencent#page#科技TEG技術創造未來機智深度學習訓練加速技術-圖編譯優化自適應動態編譯框架編譯優化預熱運行通過采樣運行時信息，自動調整編譯區域和策略，算子表達編譯圖優化靈活適應復雜場景。TF圖采樣分析劃分編譯區域，改進算子表達不可編譯精細調整算子表達形式，避免引入元余的計算和同步開銷?？删幾g改進編譯圖優化精細調整圖變換算法，去除元余操作，聚合親和性算子。自適應動態編譯框架Tencent#page#科技TEG技術創造未來機智深度學習訓練加速技術-混合精度，

5、自適應混合精度框架用戶可靈活自定義策略，選擇任意精度表達方式時間序列策暗在一次訓練中多次切換全精度和混合精度計算。其他策路時間序列混合精度策略策略接口分階段FP32-AMP-FP32開啟混合精度，解決昆合精度開關精度損失問題。全精度訓線運行控制器合精度訂分層LossScale方法自適應混合精度框架精細化逐層調節LossScale因子，解決混合精度影自適區混合精度框票響收斂速度的問題。Tencent#page#科技TEG技術創造未來機智深度學習訓練多機擴展1P（1-P)+N加了機器。機器不夠用Training Puction沒有預想的快Testing Function1（2）Fat Minimu

6、mSharp MinimumTencent10#page#科技TEG技術創造未來機智深度學習訓練多機擴展-Lightcc通信庫，LightcC-去中心化深度學習通信庫LightcC-多機多卡通信庫環形通信分層通信3D通信多流通信融合通信通信時間梯度壓縮模型并行異步并行稀疏通信硬件拓撲計算融合梯度融合自適應閥值通信次數通信調度計算通信異步去中心化協商硬件加速高速網卡RDMAMPINCCLECCLTencent#page#科技TEG技術創造未來機智深度學習訓練多機擴展一梯度通信梯度融合計算中計算完計算完計算完待計算待計算特計算計算中待傳輸特傳輸特傳輸待傳輸傳輸中特傳輸傳輸中傳輸中打包傳輸梯度壓縮全

7、量參效AllReduce全量參數過濾部分參數AllReduceTencent12#page#科技TEG技術創造未來機智深度學習訓練多機擴展-自動梯度融合自動梯度融合大于測試帶評估融傳輸傳輸量和閥值對比寬曲線合閥值小于攝數據梯度融合與計算融合同步計算融合計算融合計算融合Scope_0Scope_1Scope_2基于Scope屬性自動梯度融合concatoconcat1concat2Tencent#page#科技TEG技術創造未來機智深度學習訓練多機擴展-梯度壓縮效率，梯度壓縮效率稀疏化效率，聚合效率機器3機器1機器2卡1卡2卡2卡3卡3卡卡5卡6卡卡7卡一卡8CTopk壓縮通信Tencent14

8、#page#科技TEG技術創造未來機智深度學習訓練多機擴展-分層通信分層RingAllReduce算法Inta ReduPCIE/NVUnkInterRingAIReGPUDirect RDMArPCE/NUnkTencent5#page#科技TEG技術創造未來機智深度學習訓練多機擴展-大batchsize收斂batchsize評估BFSchedulerBOSchedulerPBTScheduler大小無偏差估計，預測batchsizeSchedulerScheDispatcher訓練收斂策略Controller優化器優化，自動調節大batch學習率CientAPIDBSericeD8縮放學習

9、率，Warmup策略TuneService分鐘級監控&下發指令自適應LR訓練時間延長策略，解決loss跳變問題AutoML自動調參保證訓練收斂JiziTrailHelper自定義Heiper成長率策略超參數組合策略星辰機智平臺其他平臺算力低優任務支持AutoML自動調參Tencent#page#科技TEG技術創造未來機智高性能計算平臺案例-2分31秒訓練Imagenet。單機訓練速度優化分布式緩存與數據預取、自動調整最優數據預處理線程數、ImageNet128卡訓練時間（秒）本地預解碼圖片緩存ResNet-50v1.5170160150LightCC高效擴展多機訓練140130自適應梯度融合技

10、術、層級通信+多流通信、層級topk壓120110縮通信算法、局部耗時單元并行化計算100友商騰訊云25GVPC騰訊云RoCE騰訊云25GVPC（不壓縮通信）（壓縮通信）大batch收斂大batch調參策略、調整優化器、AutoML調參系統Tencent#page#科技TEG技術創造未來打造騰訊AI基礎設施游戲AI優圖AILab騰訊云資源集中管理、統一調度推薦信息流用戶1.6W+GPU卡A業務應對突發算力需求APIWebulClient提升整體利用率用戶任務化資源管理任務管理結果展示/分析日任務量5000+（算力、數據）高低優先級機智平臺服務層2555599業務加速單機加速多機加速收斂優化CV場景千卡線性擴展，人臉識別模型福加速5.3倍主流計算框架游戲AI90%+擴展，通過職業水平測試訓練速度業界領先算力資源高效易用存儲高性能網絡助力廣告業務若干經典模型提速45星辰（CPU/GPU/ASIC）（Ceph/CFS/COS）（100Gbps，RDMA）倍，可以支持更多的訓練數據和特征算力平臺Tencent8#page#科技TEG技術創造未來感謝聽，歡迎交流Tencent#page#科技TEG技術創造未來THANKSTencent