方差和偏差

1 不同多项式的对模型的影响

对于房价拟合的例子

1. 当 d = 1 时，如左侧图，可以看出模型对训练集欠拟合，有较高的训练误差以及验证误差。
2. 当 d = 4 时，如右侧图，可以看出模型对训练集过拟合了，训练误差很低，但是验证误差很高。
3. 当 d = 2 时，如中间图，模型对训练集和验证集拟合的都拟合良好，训练误差和验证误差都比较低。

2 方差与偏差

欠拟合意味着高的偏差，过拟合意味着高的方差。

• 偏差表示了模型的拟合能力，数据与拟合曲线之间的偏离程度，
• 方差表示了模型的泛化能力，方差高表示模型不稳定，对训练集预测准确，但对其他数据集的预测具有高误差。

2.1 $J_{train}$ 与 $J_{cv}$ 与多项式阶数的关系

对于输入特征很多的训练，可以通过 $J_{train}$ 与 $J_{cv}$ 的关系判断模型的泛化能力。

• 高偏差（欠拟合）：d 较小时，$J_{train}$ 与 $J_{cv}$ 都很大，模型对训练集和验证集的表现均不好。
• 高方差（过拟合）：d 较大时，$J_{train}$ 比较小，但是 $J_{cv}$远大于$J_{train}$ ，模型对训练集拟合的很好，但是对验证集欠佳。
• 拟合良好：对训练集和验证集的表现都很好，$J_{train}$ 与 $J_{cv}$ 都很小。
• 高偏差、高方差同时出现：$J_{train}$较大， $J_{cv}$ 远大于 $J_{train}$，当模型对训练集上的一部分数据过拟合了，但对另外一部分数据拟合很差就可能出现这种情况