过拟合与欠拟合的对比总结

过拟合与欠拟合的对比总结

过拟合与欠拟合是机器学习模型中的常见现象，熟练识别这两种状况并及时调整训练策略对ml新手来说有一定的挑战，且解决这两种状况的方法较多，故做此总结。

过拟合

过拟合是指模型复杂度较大，过度拟合训练集导致模型训练误差小、泛化误差大的现象。从偏差与方差的角度上看，过拟合指模型在训练集中的输出偏差小、方差大。在机器学习模型训练过程中，若出现训练集上由loss值、AUC、准确率等指标表示的模型性能很好，而验证集或测试集上模型性能却较差则为过拟合。

过拟合解决方法

从数据层面上说：可以通过上采样、GAN等增加数据量，改善数据集不均衡的程度；可以在数据中加入随机噪声；可以改善特征工程；等等

从模型层面上说：可以降低模型复杂度，例如进行剪枝、减少深度网络的层数和单层神经元数、减少参数等等；针对深度网络可以加入dropout、使用Batch Normalization等；可以使用early_stopping;可以加入正则化项；可以使用Bagging策略；可以使用交叉验证等等。

欠拟合

欠拟合是指模型复杂度较小，未能拟合训练集导致模型训练误差小、泛化误差大的现象。从偏差与方差的角度上看，欠拟合指模型在训练集中的输出偏差大、方差小。在机器学习模型训练过程中，若出现训练集中表现较差，验证集或测试集上表现也较差则为欠拟合。

欠拟合解决方法

从数据层面上说：可以通过特征组合、改善特征工程等方式增加特征数量。

从模型层面上说：可以增加模型复杂度，如在深度网络中加入更多的层和每层加入更多的神经元、在树类模型中增加树的深度和分裂节点数等、增加模型的参数等等；可以增加训练迭代次数；可以减小模型的正则化项；可以采用Boosting策略等等。