返回顶部

几个激活函数都有什么优缺点(Sigmoid, Tanh, Relu),可以总结一下吗?

6

0/300

评论 1

初生

1.sigmoid: 优点: (1) 输出为 0 到 1 之间的连续实值,此输出范围和概率范围一致,因此可以用概率的方式解释输出; (2) 将线性函数转变为非线性函数; 缺点: (1) 幂运算相对来讲比较耗时; (2) 输出均值为非 0; (3) 容易出现梯度消失的问题; 2.tanh 优点: (1) Tanh 函数的导数比 Sigmoid 函数导数值更大、梯度变化更快,在训练过程中收敛速度更快; (2) 使得输出均值为 0,可以提高训练的效率; (3) 将线性函数转变为非线性函数; 缺点: (1) 幂运算相对来讲比较耗时; (2) 容易出现梯度消失; 3.Relu 优点: (1) 解决了梯度消失的问题; (2) 计算速度和收敛速度非常快; 缺点: (1) 低维特征向高维转换时会部分丢失; (2) 均值为非零;

2021-08-02 19:15:28

- 没有更多了 -