英偉達率先推出機柜式服務器，其他 CSP 廠商紛紛跟進，AI 服務器功率密度快速提升。AI 服務器的功率密度提升來自兩個方面：1）更高算力的加速卡需要更高的功耗：以英偉達的產品為例，2020 年推出的 A100 加速卡單卡功耗為 300W，而 2024 年推出的 GB200 加速卡單卡功耗則達到了 1000W；2）機柜內集成的加速卡數量不斷提升：傳統 AI 服務器以 8 卡形式為主，而進入 2024 年，英偉達推出了機柜架構的 AI 服務器，大大提升了單臺服務器在算力、通信等方面的性能，其他廠商也紛紛開始擁抱機柜式 AI 服務器的浪潮，目前主流 CSP 廠商均已推出或在研機柜式 AI 服務器。展望未來，伴隨算力供應商產品的不斷迭代，單臺 AI 服務器內集成的加速卡數量有望持續提升。