题目标题

能介绍一下什么叫做Batch Normalization吗,它有什么样的作用

难度:初级

计算机视觉
参考解析

Batch Normalization 是一个数据归一化操作,将数据归一化至均值为0,方差为1。同时为了避免破坏数据的特征分布,加入了变换重构参数,重构参数是可学习的。公式如下:
Batch
Batch Normalization 可应用于一个神经网络的任何神经元上,论文中指出把BN置于激活函数前。
注意:BN是作用于一个神经元的,处理的是同一个神经元 batch 输入。

BN本质上解决了反向传播过程中梯度消失的问题(改变数据分布),模型更快收敛。