题目标题

为什么引入非线性激励函数?

难度:初级

机器学习
参考解析

如果不用激励函数(其实相当于激励函数是 f(x) = x),在这种情况下你每一
层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输
出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知
机(Perceptron)了。
正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网
络就有意义了(不再是输入的线性组合,可以逼近任意函数)。最早的想法是
Sigmoid 函数或者 Tanh 函数,输出有界,很容易充当下一层输入(以及一些
人的生物解释)