增益"/>
信息增益
1、信息熵
熵:用于测定不确定性量
不确定性:统计学中,不确定性指一个随机事件有多种可能性结果
情况越混乱,信息熵越大,反之则越小
对信息熵的详细介绍:(78条消息) 信息熵及其相关概念_Northan的博客-CSDN博客_信息熵
2、信息增益
信息增益针对一个具体特征,某个特征的有无对整个系统、集合的影响程度就可以用“信息增益”来描述。
属性划分的标准是让每个分支纯度更高,最好是每个分支的数据尽可能属于同一类别,其实就是尽可能增加分类的确定性。而熵表示了事件的不确定性,消除熵可以增加事件的确定性,所以只需计算划分前后熵的变化就可以了
- 划分之前计算事件的熵:Ent(X)(决策树中:根节点)
- 按照属性 A划分后再次计算事件的熵:Ent(X|A)
- 则 Ent(X) - Ent(X|A) 就是划分之后熵被消除了多少。
信息增益:Gain(X,A) = Ent(X) - Ent(X|A)
也等于:Gain(X,A) = Ent(X) -|A|/|X| Ent(A) (|A| 属性A的数量,|X| 样本数量)
3、信息增益率
为了纠正信息增益偏向值个数多的属性这个缺陷
或
IV: 表示属性的固定值, p(|A) 表示a在A中占得比例
更多推荐
信息增益
发布评论