题目标题

简单说下 sigmoid 激活函数

难度:初级

机器学习
参考解析

常用的非线性激活函数有 sigmoid、tanh、relu 等等,前两者 sigmoid/tanh
比较常见于全连接层,后者 relu 常见于卷积层。这里先简要介绍下最基础的
sigmoid 函数。
Sigmoid 的函数表达式如下:也就是说,Sigmoid 函数的功能是相当于把一个实数压缩至 0 到 1 之间。当 z
是非常大的正数时,g(z)会趋近于 1,而 z 是非常小的负数时,则 g(z)会趋近
于 0。
压缩至 0 到 1 有何用处呢?用处是这样一来便可以把激活函数看作一种“分类
的概率”,比如激活函数的输出为 0.9 的话便可以解释为 90%的概率为正样
本。
举个例子,如下图(图引自 Stanford 机器学习公开课):