pytorch 神经网络问题请教

2021-11-15 23:15:05 +08:00
 zxCoder
继承 nn.Module 自定义网络，如果在构造函数里多加一个**没有使用到**的 Linear 层，为什么会对最终的模型精度产生影响呢？？

没用过的网络层次也会参与反向传播啥的这些吗

有人遇到过同样问题吗
1103 次点击
所在节点    问与答
3 条回复
hamhamham
2021-11-16 02:00:35 +08:00
1. 不会对最终模型精度有影响
2. 我的理解：没用到的层不是计算图的一部分。就算你把他的参数加入 optimizer 里面，也会因为梯度全部为 0 无法更新参数，相当于不参加反向传播。
Xs0ul
2021-11-16 04:23:46 +08:00
目测是新加的层影响了随机的初始化
flyaway
2021-11-16 05:01:00 +08:00
1 楼+1 没参与到 computation graph 不应该有影响

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/815643

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX