
通過對算法、框架和硬件進行協同優化,DeepSeek 大模型在性能上表現出色。DeepSeek 的技術團隊擅于在軟件層面進行技術優化創新,以此實現大模型的性能飛躍:1)在 DeepSeek-V3 上,創新性使用無輔助損失的負載均衡策略、FP8混合精度訓練架構、DualPipe 跨節點通信、跨節點全對全通信內核等技術,使模型獲得了能夠媲美 GPT-4o 和 Claude-3.5-Sonnet 的性能表現,甚至在數學能力上性能大幅領先,達到世界領先水平;2)在 DeepSeek-R1 上,探索通過大量純強化學習(不通過 SFT 冷啟動)和模型蒸餾提升模型推理能力的可能性,最終模型在性能上比肩 OpenAI o1 正式版。