请教机器学习中关于学习速率的选取

[Dx2619]

如题： 最近初步接触了一下机器学习，其中关于学习速率的有个疑问。就是关于学习速率的选取问题。 从网络上的示例，大多都是一个一个固定值，或者给出的建议就是从某个值开始不断尝试。 请问除了试试，有没有一种更好的选取方式呢？

[brightguo]

写代码让他不断试吧，试多了就知道大概范围了，哇咔咔

[Suddoo]

不断尝试吧，好像没有更好的办法，有些复杂神经网络我用过 1e-7 的学习率，一般是 1e-4 的学习率，然后慢慢调

[Hzzone]

loss 不收敛就向下调一个数量级吧，learning rate 本身对网络性能没什么影响，主要是训练过程中 loss 收敛的问题。

[Dx2619]

@brightguo
@Suddoo
@Hzzone 多谢各位回复，还想追问一个比较入门的问题。就是迭代次数的选择又是怎么取值的呢，是一直尝试到 loss 收敛嘛？ loss 收敛的判断是下降幅度同ε比较吧吧，ε的取值也是靠经验来选取的吗？

[congeec]

grid search

[TuSDK]

还是得试试啊！

[wzha2008]

迭代次数的选择，其实可以用验证集来做 early stopping，否则只看训练集 loss 的话容易过拟合