BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢

2023-06-30 09:01:40 +08:00
 Deking

RT ，BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢

586 次点击
所在节点    程序员
2 条回复
txhwind
2023-06-30 10:27:20 +08:00
方便描述和模型训练。实际推理部署的时候一般都是融合到一起了。
paidaxtis
2023-06-30 11:17:30 +08:00
归一化是归一化，gamma 和 beta 调整是 gamma 和 beta 调整。一开始直接使用不是跳过归一化了吗？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/952873

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX