题目标题

ResNet层次那么深,为什么不那么容易出现梯度弥散

难度:初级

计算机视觉
参考解析

ResNet 通过skip connection 使梯度直接回传,减少了深层网络的梯度弥散现象。通过高速通道,把原本的复合函数f(f(f(f(x))))变成加法操作,从而在BP求解时非连乘的形式,从数学上看不容易出现因为sigmoid而引起的梯度弥散。