题目标题

L1 和 L2 的区别

难度:初级

机器学习
参考解析

L1 范数(L1 norm)是指向量中各个元素绝对值之和,也有个美称叫“稀疏规
则算子”(Lasso regularization)。
比如 向量 A=[1,-1,3], 那么 A 的 L1 范数为 |1|+|-1|+|3|.
简单总结一下就是:
L1 范数: 为 x 向量各个元素绝对值之和。
L2 范数: 为 x 向量各个元素平方和的 1/2 次方,L2 范数又称 Euclidean 范数
或 Frobenius 范数
Lp 范数: 为 x 向量各个元素绝对值 p 次方和的 1/p 次方.
在支持向量机学习过程中,L1 范数实际是一种对于成本函数求解最优的过程,
因此,L1 范数正则化通过向成本函数中添加 L1 范数,使得学习得到的结果满
足稀疏化,从而方便人类提取特征。
L1 范数可以使权值稀疏,方便特征提取。
L2 范数可以防止过拟合,提升模型的泛化能力。