跳至主要內容

学习率的选择

blacklad小于 1 分钟AIAI

学习率的选择

1 曲线不收敛

代码bug或者学习率选择过大, 可能会出现学习曲线的上升。

1.1 代码bug

可以先尝试设置一个非常非常小的学习率 α,来查看学习曲线是否还是有误,若曲线依旧出现上升则可能是代码出现问题。

1.2 学习率过大

当学习率选择过大时,也会出现波浪形的曲线或者递增的曲线。

可以使用较小的 α,可以保证 J 一直在减小。

但是当 α 非常小的时候, 会导致需要大量的迭代才能收敛。

将学习率α设为非常小的时候,仅用于调试。

2 学习率的选择

从小的学习率开始尝试,比如从

0.0001 0.001 0.01 1 ...

通过不断的调整,观察学习曲线,找到一个合适的学习率(选择一个尽可能大的α值)。

上次编辑于:
贡献者: blacklad