题目标题

模型评估中的留一法,留出法,交叉验证分别是什么操作?

难度:高级

机器学习
参考解析

留一法:
就是每次只留下一个样本做测试集,其它样本做训练集,如果有k个样本,则需要训练k次,测试k次。

留出法:
把D划分为两部分:训练集S和测试集T,在S上训练,在T上做测试。

交叉验证:
将训练集划分为K折,取一部分作为测试集,其他K-1部分作为训练集,对训练集训练后,然后切换训练集-测试集,从K-1的部分中选取一个测试机,剩下的作为训练集,然后在训练模型,这样循环完毕K折,得到的结果求平均。

步骤:

1、将全部训练集 S分成 k个不相交的子集,假设 S中的训练样例个数为 m,那么每一个子 集有 m/k 个训练样例,,相应的子集称作 {s1,s2,…,sk}。
2、每次从分好的子集中里面,拿出一个作为测试集,其它k-1个作为训练集
3、根据训练训练出模型或者假设函数。
4、把这个模型放到测试集上,得到分类率。
5、计算k次求得的分类率的平均值,作为该模型或者假设函数的真实分类率。