字節跳動萬卡集群MegaScale實現55.2%MFU,比Megatron-LM提高1.34倍 表的互聯網公司在積極推進萬卡集群的建設。其中,字節跳動搭建了一個 12288卡 Ampere架構 練集群,研發 MegaScale生產系統用于 練大語言模 。 行業數據 下載Excel 下載圖片 原圖定位