admin管理员组

文章数量:1650764

使用RFECV、递归特征消除 (Recursive Feature Elimination)进行特征筛选详解及实战

 

包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。

所有就有两个可能的方向、自顶向下、或者自底向上。

自顶向下:一开始包含所有特征,逐步抛弃看效果怎么样;

自底向上:一开始没有任何特征、逐步添加、观察看到那不一步新加入特征没有进展了

 

在sklearn实现了的包裹式(wrapper)特征选择方法,其中有recursive feature elimination ( RFE )以及它的Cross Validation版本RFECV:

 

  • recursive feature elimination ( RFE )通过学习器返回的 coef_ 属性 或者 feature_importances_ 属性来获得每个特征的重要程度。 然后,从当前的特征集合中移除最不重要的特征。在特征集合上不断的重复递归这个步骤,直到最终达到所需要的特征数量为止。
  • RFECV通过交叉验证来找到最优的特征数量。如果减少特征

本文标签: 递归特征详解实战RFECV