进行分类"/>
基于决策树对鸢尾花进行分类
决策树的划分依据:信息增益
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,公式为:
g(D,A) = H(D) - H(D|A)
注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
决策树的优缺点
优点:可视化——可解释能力强
缺点:容易产生过拟合
代码如下:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphvizdef decision_iris():#1)获取数据集iris = load_iris()#2)划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data,iris.target,random_state=22)#3)决策树预估器estimator = DecisionTreeClassifier(criterion="entropy")estimator.fit(x_train,y_train)#4)模型评估#方法1 直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n",y_predict)print("直接比对真实值和预测值:\n",y_test==y_predict)#方法2 计算准确率score = estimator.score(x_test,y_test)print("准确率为:\n",score)return None
if __name__ =="__main__":decision_iris()
结果如下:
若要进行可视化操作,需要在最后加入如下代码:
#可视化决策树export_graphviz(estimator,out_file="iris_tree.dot",feature_names=iris.feature_names)
运行完程序会生成一个iris_tree.dot文件,将文件内信息复制到。
更多推荐
基于决策树对鸢尾花进行分类
发布评论