题目标题

梯度下降法找到的一定是下降最快的方向么?

难度:初级

机器学习
参考解析

梯度下降法并不是下降最快的方向,它只是目标函数在当前的点的切平面(当
然高维问题不能叫平面)上下降最快的方向。在 Practical Implementation
中,牛顿方向(考虑海森矩阵)才一般被认为是下降最快的方向,可以达到
Superlinear 的收敛速度。梯度下降类的算法的收敛速度一般是 Linear 甚至
Sublinear 的(在某些带复杂约束的问题)。