返回顶部

归一化不是就是把上层的输出约束为一个正态分布,为什么还有个w和b的参数?

0

0/300

评论 1

Andre老师@小象学院

归一化层有一个w,b这两个参数归一化是为了让本层网络的输出进行额外的约束,但如果每个网络的输出被限制在这个约束内,就会限制模型的表达能力。 通俗的讲,不管你上层网络输出的是什么牛鬼蛇神的向量,都先给我归一化到正态分布(均值为0,标准差为1),但我不能给下游传这个向量,如果这样下游网络看到的只能是归一化后的,限制了模型。(先归一化,在适当还原成下游网络合适的分布,通过模型学习)

2021-11-23 17:12:01

- 没有更多了 -