[Python 机器学习] 梯度下降法(三)

前言
梯度下降法（ Gradient Descent ）是机器学习中最常用的优化方法之一，常用来求解目标函数的极值。
其基本原理非常简单：沿着目标函数梯度下降的方向搜索极小值（也可以沿着梯度上升的方向搜索极大值）。

在《 [ Python 机器学习] 梯度下降法(一)》中简单分析了学习率大小对搜索过程的影响，发现：

学习率较小时，收敛到极值的速度较慢。
学习率较大时，容易在搜索过程中发生震荡。

在《 [ Python 机器学习] 梯度下降法(二)》中简单分析了冲量对搜索过程的影响，发现：

在学习率较小的时候，适当的 momentum 能够起到一个加速收敛速度的作用。
在学习率较大的时候，适当的 momentum 能够起到一个减小收敛时震荡幅度的作用。

接下来介绍梯度下降法中的第三个超参数： decay 。

学习率衰减因子： decay

为了板式的清晰，完整回测代码请戳： https://uqer.io/community/share/5820515e228e5ba8f5571953

从上图可看出，学习率较大时，容易在搜索过程中发生震荡，而发生震荡的根本原因无非就是搜索的步长迈的太大了。

在使用梯度下降法求解目标函数 func(x) = x * x 的极小值时，更新公式为 x += v ，其中每次 x 的更新量 v 为 v = - dx * lr ， dx 为目标函数 func(x) 对 x 的一阶导数。如果能够让 lr 随着迭代周期不断衰减变小，那么搜索时迈的步长就能不断减少以减缓震荡。学习率衰减因子由此诞生：

lr_i = lr_start * 1.0 / (1.0 + decay * i)

上面的公式即为学习率衰减公式，其中 lr_i 为第 i 次迭代时的学习率， lr_start 为原始学习率， decay 为一个介于[0.0, 1.0]的小数。

decay 越小，学习率衰减地越慢，当 decay = 0 时，学习率保持不变。
decay 越大，学习率衰减地越快，当 decay = 1 时，学习率衰减最快。

测试以及绘图代码如下： https://uqer.io/community/share/5820515e228e5ba8f5571953

在所有行中均可以看出， decay 越大，学习率衰减地越快。
在第三行与第四行可看到， decay 确实能够对震荡起到减缓的作用。

起始学习率为 1.0
decay 为[0.0, 0.001, 0.1, 0.5, 0.9, 0.99]
迭代周期为 300

测试以及绘图代码如下： https://uqer.io/community/share/5820515e228e5ba8f5571953

可以看到，当 decay 为 0.1 时， 50 次迭代后学习率已从 1.0 急剧降低到了 0.2 。如果 decay 设置得太大，则可能会收敛到一个不是极值的地方呢。