模型验证——验证集"/>
跟李沐学AI—机器学习—4 模型验证——验证集
文章目录
- 1. I.I.D数据
- 2. 非I.I.D数据
- 3. 效果不好的原因
1. I.I.D数据
I.I.D即独立同分布(independent and identically distributed,i.i.d.)在概率统计理论中,指随机过程中,任何时刻的取值都为随机变量,如果这些随机变量服从同一分布,并且互相独立,那么这些随机变量是独立同分布。
可以直接按照比例进行训练集、测试集的拆分
2. 非I.I.D数据
如句子、房价(和时间有关)、不同类别样本不均匀的数据(训练时候看得多了自然效果好)
用K-fold Cross Validation K折交叉验证
1. 将原始数据集划分为相等的K部分(“折”)
2. 将第1部分作为测试集,其余作为训练集
3. 训练模型,计算模型在测试集上的准确率
4. 每次用不同的部分作为测试集,重复步骤2和3 K次
5. 将平均准确率作为最终的模型准确率
3. 效果不好的原因
大部分是因为验证集有来自训练集的样本
更多推荐
跟李沐学AI—机器学习—4 模型验证——验证集
发布评论