我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度， 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗？
我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度， 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗？
 |
1
jdhao Aug 12, 2021 via Android  1
对，计算 loss 对各个层的偏导数，然后更新各层参数
|
 |
2
Ehend Aug 12, 2021 via Android
一楼回答完了
|
 |
3
aguesuka Aug 12, 2021
我是把梯度看作牛顿法的导数理解的
|
Select Language