题目标题

了解正则化么?

难度:初级

机器学习
参考解析

正则化是针对过拟合而提出的,以为在求解模型最优的是一般优化最小的经验
风险,现在在该经验风险上加入模型复杂度这一项(正则化项是模型参数向量
的范数),并使用一个 rate 比率来权衡模型复杂度与以往经验风险的权重,如
果模型复杂度越高,结构化的经验风险会越大,现在的目标就变为了结构经验
风险的最优化,可以防止模型训练过度复杂,有效的降低过拟合的风险。
奥卡姆剃刀原理,能够很好的解释已知数据并且十分简单才是最好的模型。