admin管理员组文章数量:1660164
Bootstrap estimate of prediction error
- 1 一般方法
- 2 改进方法1 - the more refined bootstrap approach
- 3 改进方法2 - 0.632 bootstrap estimate
- 4 结果
- 参考书目
1 一般方法
定义一个测量误差的函数Q(表示的是响应变量 y y y和预测值 y ^ \hat{y} y^之间的差异),对回归模型来说,一般选择平方损失函数,分类问题一般选择示性函数 Q = I ( y ≠ y ^ ) Q = I(y \neq \hat{y}) Q=I(y=y^),在此,我们选择测量误差为负对数似然函数。
如果直接用原始数据进行估计,然后计算原始数据的负对数似然,这种误差称为“apparent error”。这种误差一般比较小,无法忽略掉过拟合的问题。所以对于预测误差的bootstrap estimate一般采用以下方法:
- 产生B个bootstrap samples,在每个样本上估计model,然后将模型应用到原始数据(original sample),共产生B个预测误差,最终求平均值(prediction error)。
或者采用0.632 bootstrap estimator。
- 产生B个bootstrap samples 作为训练集,在原始数据中,训练集没有出现的样本作为测试集,在训练集上训练模型,并应用到测试集计算预测误差,共产生B个预测误差,求平均值。
2 改进方法1 - the more refined bootstrap approach
首先定义一个概念:“optimism”
o
p
t
i
m
i
s
m
=
p
r
e
d
i
c
t
i
o
n
e
r
r
o
r
−
a
p
p
a
r
e
n
t
e
r
r
o
r
optimism= prediction error - apparent error
optimism=predictionerror−apparenterror
假如现在有一个新的样本,直接用训练好的模型进行计算,得到的预测误差后再加上optimism,就是改进的bootstrap estimate,称为the more refined bootstrap approach。
3 改进方法2 - 0.632 bootstrap estimate
假如0.632方法计算出来误差是prediction error2,那么改进的0.632 bootstrap estimate为:
e
r
r
0.632
=
0.368
∗
a
p
p
a
r
e
n
t
e
r
r
o
r
+
0.632
∗
p
r
e
d
i
c
t
i
o
n
e
r
r
o
r
2
err0.632 = 0.368 * apparent error + 0.632 * prediction error2
err0.632=0.368∗apparenterror+0.632∗predictionerror2
4 结果
- 4.1 直接使用一般方法(应用到原始数据)的结果:
Model | Isotropic | Diagonal | PPCA(p=1) | PPCA(p=2) | PPCA(p=3) | PPCA(P=4) | FULL |
---|---|---|---|---|---|---|---|
Numbers of Paras | 1 | 18 | 19 | 36 | 52 | 67 | 171 |
Prediction Error | 22.86 | 17.06 | 20.82 | 17.06 | 16.46 | 16.03 | 68.54 |
- 4.2 直接使用0.632方法的结果:
Model | Isotropic | Diagonal | PPCA(p=1) | PPCA(p=2) | PPCA(p=3) | FULL |
---|---|---|---|---|---|---|
Numbers of Paras | 1 | 18 | 19 | 36 | 52 | 171 |
Prediction Error | 22.40 | 17.12 | 21.40 | 17.70 | 18.28 | 160.78 |
参考书目
BRADLEY EFRON,ROBERT J. TIBSHIRANI .《An Introduction to the Bootstrap》
本文标签: 误差bootstrapestimatepredictionError
版权声明:本文标题:预测误差的自助法估计(Bootstrap estimate of prediction error) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1729849833a1215265.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论