1、决策树武汉中原电子信息有限公司决策树研发二部决策树I文件标识：当前版本： 1.0作者： 张宏超文件状态： 草稿 正式发布 正在修改 完成日期： 2019 年 3 月 8 日决策树II目录1. 算法介绍 11.1. 分支节点选取 11.2. 构建树 31.3. 剪枝 102. sk-learn 中的使用 123. sk-learn 中源码分析 13决策树武汉中原电子信息有限公司11.算法介绍决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5 和 CART 版本算法。其中 ID3 版本的决策
2、树算法是最早出现的，可以用来做分类算法。C4.5 是针对 ID3 的不足出现的优化版本，也用来做分类。CART 也是针对 ID3 优化出现的，既可以做分类，可以做回归。决策树算法的本质其实很类似我们的 if-elseif-else 语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写 if 语句时不会考虑的问题。决策树算法主要分为以下 3 个步骤：1. 分支节点选取2. 构建树3. 剪枝1.1. 分支节点选取分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那
3、么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A 班有 10 个男生 1 个女生，B 班有 5 个男生 5 个女生，那么 B 班的熵值就比 A 班大，也就是 B 班信息越混乱。基尼系数：同上，也可以作为信息混乱程度的衡量指标。决策树武汉中原电子信息有限公司2有了量化指标后，就可以衡量使用某个分支条件前后，信息混乱程度的收敛效果了。使用分支前的混乱程度，减去分支后的混乱程度，结果越大，表示效果越好。#计算熵值def entropy(dataSet):tNum = len(dataSet)
4、print(tNum)#用来保存标签对应的个数的，比如 ,男： 6，女： 5labels = for node in dataSet:curL = node-1 #获取标签if curL not in labels.keys():labelscurL = 0 #如果没有记录过该种标签，就记录并初始化为 0labelscurL += 1 #将标签记录个数加 1#此时 labels 中保存了所有标签和对应的个数res = 0#计算公式为 -p*logp， p 为标签出现概率for node in labels:p = float(labelsnode) / tNumres -= p * log(p
5、, 2)return res#计算基尼系数def gini(dataSet):tNum = len(dataSet)print(tNum)# 用来保存标签对应的个数的，比如 ,男： 6，女： 5labels = for node in dataSet:curL = node-1 # 获取标签if curL not in labels.keys():labelscurL = 0 # 如果没有记录过该种标签，就记录并初始化为 0labelscurL += 1 # 将标签记录个数加 1# 此时 labels 中保存了所有标签和对应的个数res = 1决策树武汉中原电子信息有限公司3# 计算公式为 -
6、p*logp， p 为标签出现概率for node in labels:p = float(labelsnode) / tNumres -= p * preturn res1.2. 构建树ID3 算法：利用信息熵增益，决定选取哪个特征作为分支节点。分支前的总样本熵值-分支后的熵值总和 =信息熵增益。A：10 个B：10 个特征 T1A：5 个B：8 个A：5 个B：2 个A：10 个B：10 个特征 T2A：3 个B：9 个A：7 个B：1 个T1 的信息熵增益：1 13/20*0.961 - 7/20*0.863 = 0.073T2 的信息熵增益：1 12/20*0.812 - 8/20*0
7、.544 = 0.295所以使用 T2 作为分支特征更优。ID3 算法建树：依据前面的逻辑，递归寻找最优分支节点，直到下面情况结束1. 叶节点已经属于同一标签2. 虽然叶节点不属于同一标签，但是特征已经用完了3. 熵小于预先设置的阈值4. 树的深度达到了预先设置的阈值决策树武汉中原电子信息有限公司4ID3 算法的不足：1. 取值多的特征比取值少的特征更容易被选取。2. 不包含剪枝操作，过拟合严重3. 特征取值必须是离散的，或者有限的区间的。于是有了改进算法 C4.5C4.5 算法：基于 ID3 算法进行了改进，首先，针对 ID3 的不足 1，采用信息增益率取代 ID3 中使用信息增益而造成的偏
8、向于选取取值较多的特征作为分裂点的问题。针对 ID3 的不足 2，采用剪枝操作，缓解过拟合问题。针对 ID3 的不足 3，采用将连续值先排列，然后逐个尝试分裂，找到连续值中的最佳分裂点。信息增益率的计算：先计算信息增益，然后除以 spliteInfo。spliteInfo 为分裂后的子集合的函数，假设分裂后的子集合个数为 sub1 和 sub2，total 为分裂前的个数。spliteInfo = -sub1 / total * log(sub1 / total) sub2 / total * log(sub2 / total)#index:特征序号#value:特征值#该方法表示将 inde
9、x 对应特征的值为 value 的集合返回，返回集合中不包含 index 对应的特征def spliteDataSet(dataSet, index, value):newDataSet = for node in dataSet:if nodeindex = value:#0,index)列的数据newData = node:index#index+1,最后 列的数据newData.extend(nodeindex + 1:)newDataSet.append(newData)return newDataSet;#选择最优分裂项def chooseBestFeature(dataSet):#
10、特征个数featureNum = len(dataSet0) - 1#计算整体样本的熵值baseEntropy = entropy(dataSet)决策树武汉中原电子信息有限公司5print(“baseEntropy = %f“%(baseEntropy)#保存最大的信息增益率maxInfoGainRatio = 0.0bestFeatureId = -1for i in range(featureNum):#获取特征所有可能的值featureValues = for node in dataSet:featureValues.append(nodei)print(featureValues)
11、#将特征值去除重复uniqueFeatureValues = set(featureValues)print(uniqueFeatureValues)#按照 i 特征分裂之后的熵值newEntropy = 0.0#分裂信息spliteInfo = 0.0#按照 i 所表示的特征，开始分裂数据集for value in uniqueFeatureValues:#当 i 属性等于 value 时的分裂结果subDataSet = spliteDataSet(dataSet, i, value)print(subDataSet)#计算占比p = float(len(subDataSet) / flo
12、at(len(dataSet)newEntropy += p * entropy(subDataSet)spliteInfo += -p * log(p, 2)#计算信息增益infoGain = baseEntropy - newEntropy#计算信息增益率if spliteInfo = 0:continueinfoGainRatio = infoGain / spliteInfoif infoGainRatio maxInfoGainRatio:maxInfoGainRatio = infoGainRatiobestFeatureId = ireturn bestFeatureIdC4.5
13、 算法的不足：1. 如果存在连续值的特征需要做排序等处理，计算比较耗时2. 只能用于分类使用决策树武汉中原电子信息有限公司6于是有了 CART 算法CART 算法：也是基于 ID3 算法优化而来，支持分类和回归，使用基尼系数（分类树）或者均方差（回归树）替代熵的作用，减少运算难度。使用二叉树代替多叉树建模，降低复杂度。基尼系数的计算：均方差的计算：计算举例，假设有如下数据源看电视时间婚姻情况职业 年龄3 未婚 学生 124 未婚 学生 182 已婚 老师 265 已婚 上班族 472.5 已婚 上班族 363.5 未婚 老师 29决策树武汉中原电子信息有限公司74 已婚 学生 21如果将婚否作
14、为标签，该问题是一个分类问题，所以使用基尼系数假设使用职业作为特征分支，对于看电视和年龄，都是连续数据，需要按照C4.5 的算法排序后处理，这里先分析简单的按照职业开始划分。又因为，CART 算法的建模是二叉树，所以，针对职业来说，有以下组合，学生 |非学生，老师|非老师，上班族| 非上班族，到底怎么划分，就要通过基尼系数来判断了。gini = 3 / 7 * (1 2 / 3 * 2 /3 1 / 3 * 1 / 3) + 4 / 7 * (1 3 / 4 * 3 / 4 1 / 4 * 1 / 4) = 0.4gini = 2 / 7 * (1 1 / 2 * 1 / 2 1 / 2 *
15、1 / 2) + 5 / 7 * (1 2 / 5 * 2 / 5 3 / 5 * 3 / 5) = 0.49决策树武汉中原电子信息有限公司8gini = 2 / 7 * (1 1 * 1) + 5 / 7 * (1 3 / 5 * 3 / 5 2 / 5 * 2 / 5) = 0.34所以，如果选择职业来划分，那么首先应该按照上班族|非上班族划分如果将年龄作为标签，该问题是一个回归问题，所以使用均方差同样，先考虑使用职业来划分mean = 开方(12 * 12 + 18 * 18 + 21 * 21 3 * 17 * 17) + 开方(26 * 26 + 47 * 47 + 36 * 36
16、+ 29 * 29 5 * 32.5 * 32.5) = 34.71其他情况略。决策树武汉中原电子信息有限公司9可以看到选择分裂属性这一步骤会比较麻烦，首先要遍历所有特征，找到每一个特征的最优分裂方法，然后在选择最优的分裂特征。功能 树结构 特征选取 连续值处理缺失值处理剪枝ID3 分类 多叉 信息增益 不支持 不支持 不支持C4.5 分类 多叉 信息增益率 支持 支持 支持CART 分类/回归 二叉 基尼系数（分类），均方差（回归）支持 支持 支持决策树武汉中原电子信息有限公司101.3. 剪枝CCP（Cost Complexity Pruning）代价复杂性剪枝法（ CART 常用）REP
17、（Reduced Error Pruning）错误降低剪枝法PEP（Pessimistic Error Pruning）悲观错误剪枝法（C4.5 使用）MEP（Minimum Error Pruning）最小错误剪枝法这里以 CCP 为例讲解其原理CCP 选择节点表面误差率增益值最小的非叶子节点，删除该节点的子节点。若多个非叶子节点的表面误差率增益值相同，则选择子节点最多的非叶子节点进行裁剪。表面误差率增益值计算：R(t)表示非叶子节点的错误率，比如，总样本 20，在 A 节点上 a 类 5 个，b 类 2个，所以可以认为 A 节点代表的是 a 类，那么错误率就是 2 / 7 * 7 / 20
18、R(T)表示叶子节点的错误率累积和N(T)表示 叶子节点的个数剪枝步骤：1 构建子树序列2 找到最优子树，作为我们的决策树（交叉验证等）决策树武汉中原电子信息有限公司11举例：t1 是根节点t2， t3，t4，t5 是非叶子节点t6， t7，t8，t9，t10 ，t11 是叶子节点首先我们计算所有非叶子节点误差率增益值t4: (4/50 * 50/80 1/45 * 45/80 2/5 * 5/80) / (2 1) = 0.0125t5: (4/10 * 10/80 0 - 0) / (2 - 1) = 0.05t2: (10/60 * 60/80 1/45 * 45/80 2/5 * 5/
19、80 0 - 0) / (4 - 1) = 0.0292t3: 0.0375因此得到第 1 颗子树：T0 = t4（0.0125） ，t5（0.05） ，t2（0.0292） ，t3 （0.0375）比较发现可以将 t4 裁剪掉得到第 2 颗子树t5: 0.05t3: 0.0375决策树武汉中原电子信息有限公司12t2: (10/60 * 60/80 4/50 * 50/80 0 - 0) / (3 -1) = 0.0375此时 t2 与 t3 相同，那么裁剪叶子节点较多的，因此 t2 被裁剪得到第 3 颗树然后对上面 3 颗子树进行验证，找到效果最后的作为剪枝之后的决策树。2.sk-lear
20、n 中的使用from sklearn.datasets import load_irisfrom sklearn import treeimport pydotplusimport graphviziris = load_iris()clf = tree.DecisionTreeClassifier()clf.fit(iris.data, iris.target)dot_data = tree.export_graphviz(clf, out_file=None)graph = pydotplus.graph_from_dot_data(dot_data)graph.write_pdf(“ir
21、is.pdf“)决策树武汉中原电子信息有限公司133.sk-learn 中源码分析主要分析 tree 的相关函数代码，使用 pycharm 下载 sklearn 包中 tree 文件，引用了_tree.pxd，pxd 相当于头文件，其实现在_tree.pyd 中，pyd 是加密文件，无法查看。从 github 上下载源码中有_tree.pyx 相当于 c 文件，因此可以查看。.pxd:相当于.h.pyx:相当于.c.pyd:相当于 dlltree.DecisionTreeClassifier() 创建分类决策树对象DecisionTreeClassifier 继承 BaseDecisionTr
22、eeclf.fit(iris.data, iris.target) 建树DecisionTreeClassifier 直接使用了父类 BaseDecisionTree 的方法super().fit(X, y,决策树武汉中原电子信息有限公司14sample_weight=sample_weight,check_input=check_input,X_idx_sorted=X_idx_sorted)查看 DecisionTreeClassifier 的 fit，学习建树过程代码前面是对参数的校验之类的工作criterion：表示选择分裂节点的准则，CLF 表示分类使用 gini 系数、熵等，REG 表示回归使用均方差等。他们的定义在对于这些准则的计算，在_criterion.Gini 或者其他文件中实现，使用 Cpython 实现的。以 Gini 的计算为例决策树武汉中原电子信息有限公司15同理，分裂的规则定义在 splitter 中，具体实现也是在 Cpython 中最后是构造器，这也是面向对象设计模式中的一种设计模式，构造器模式。思想是，构造器中根据加入的原料，产出不同的东西。builder = DepthFirstTreeBuilder （优先深度）builder = BestFirstTreeBuilder （优先最优）他们的代码实现在_tree.pyx 中
