题目标题

优化算法及其优缺点?

难度:中级

机器学习
参考解析

温馨提示:在回答面试官的问题的时候,往往将问题往大的方面去回答,这样
不会陷于小的技术上死磕,最后很容易把自己嗑死了。
1)随机梯度下降
优点:可以一定程度上解决局部最优解的问题
缺点:收敛速度较慢
2)批量梯度下降
优点:容易陷入局部最优解
缺点:收敛速度较快
3)mini_batch 梯度下降
综合随机梯度下降和批量梯度下降的优缺点,提取的一个中和的方法。
4)牛顿法
牛顿法在迭代的时候,需要计算 Hessian 矩阵,当维度较高的时候,计算
Hessian 矩阵比较困难。
5)拟牛顿法
拟牛顿法是为了改进牛顿法在迭代过程中,计算 Hessian 矩阵而提取的算法,
它采用的方式是通过逼近 Hessian 的方式来进行求解。