正则化参数的选择

1 正则化参数

对于 一个包含四阶的多项式，在代价函数中添加了正则化的项。

当 λ 比较大时，在梯度下降过程中，正则化项的影响就会比较大，导致最后训练出来的模型的权重参数都很小接近0。

当 λ 很小时，相当于没有正则化，模型就会过拟合。

2 λ 的选择

使用交叉验证集可以帮助我们选择合适的 λ 值。通过设置不同的 λ 作为参数，分别计算对应的验证误差，选择最小的验证误差对应的 λ 值。

λ 与 $J_{cv}$ 和 $J_{train}$ 的关系，最左侧为高方差，最右侧为高偏差。