一些觀點認為深度神經網絡往往存在參數數倍于數據量的情況,從而出現模型在訓練集上表現很好,但在實際應用中泛化能力不強,這對應下方(a)圖,但俄亥俄州立大學、哥倫比亞大學的研究團隊在 2018 年 12 月《Reconciling modern machine learning practice and the bias-variance trade-of》指出隨著復雜度提升,模型存在一個二次下降風險曲線(Double descent risk curve),對應下方(b)圖。
一些觀點認為深度神經網絡往往存在參數數倍于數據量的情況,從而出現模型在訓練集上表現很好,但在實際應用中泛化能力不強,這對應下方(a)圖,但俄亥俄州立大學、哥倫比亞大學的研究團隊在 2018 年 12 月《Reconciling modern machine learning practice and the bias-variance trade-of》指出隨著復雜度提升,模型存在一個二次下降風險曲線(Double descent risk curve),對應下方(b)圖。