據披露，DeepSeek-V3 為自研 MoE 模型，總參數 671B 參數，而每項任務僅激活 37B，在 14.8T token 上進行了預訓練。DeepSeek-V3實現了多項工程技術上的創新，包括通過 FP8精度訓練、DualPipe雙向流水線等技術降低訓練成本，通過優化MoE負載均衡、多頭潛在注意力機制（MLA）來降低推理成本，并通過多 Token 預測（MTP）以及模型蒸餾來進一步提升模型性能，最終取得了令人驚艷的效果。