sklearn 特征选择与特征抽取 —— feature_selection、feature_extraction

1. feature_selection

首先，我们以利用 scikit-learn 对数据进行逻辑分析为例，进行说明 scikit-learn 的使用流程。

首先进行特征筛选（feature selection），特征筛选的方法有很多，主要包含在 scikit-learn 的 feature_selection 库中，

GenericUnivariateSelect SelectFpr               VarianceThreshold       f_oneway                tests
RFE                     SelectFwe               base                    f_regression            univariate_selection
RFECV                   SelectKBest             chi2                    from_model              variance_threshold
SelectFdr               SelectPercentile        f_classif               rfe

• 比较简单的有通过 F 检验（f_regression）来给出各个特征的 F 值和 p 值，从而可以筛选变量（选择 F 值大的或者 p 值较小的特征）。

• 其次有递归消除（Recursive Feature Elimination，RFE）和稳定性选择（Stability Selection）等比较新的方法。

• 其中稳定性选择中又包括随机逻辑回归。

  from sklearn.linear_model import RandomizedLogisticRegression as RLR
  

2. feature_extraction