梯度下降收敛判断

1 学习曲线图

学习曲线图中 x 轴是梯度下降算法的迭代次数，y 轴是成本函数 J 的值。

可以看到随着迭代次数的增加，成本值在不断的减少。直到后半段，曲线已经平坦，算法收敛。

如果成本函数J在一次迭代后增加，那意味着学习率α可能选的太大，或代码有bug。

2 自动收敛测试

定义 ε 表示一个很小的数，如0.001，计算每次成本函数 J 减少的幅度， 如果小于ε，说明曲线可能已经位于平坦部分，算法收敛。

最好的办法还是观察学习曲线图，可以直观的看到是否收敛

3 迭代次数

设定一个最大迭代次数，当达到最大迭代次数时，算法可以被认为已经收敛。这种判断方法没有考虑实际的优化进展情况，但可以作为一个迭代的上限。