代码bug或者学习率选择过大, 可能会出现学习曲线的上升。


可以先尝试设置一个非常非常小的学习率 α
,来查看学习曲线是否还是有误,若曲线依旧出现上升则可能是代码出现问题。
当学习率选择过大时,也会出现波浪形的曲线或者递增的曲线。
可以使用较小的 α
,可以保证 J
一直在减小。

但是当 α
非常小的时候, 会导致需要大量的迭代才能收敛。
将学习率α设为非常小的时候,仅用于调试。
从小的学习率开始尝试,比如从
0.0001 0.001 0.01 1 ...
通过不断的调整,观察学习曲线,找到一个合适的学习率(选择一个尽可能大的α值)。
