1、数据挖掘实验报告 1基于 weka 的数据分类分析实验报告1 实验目的（1）了解决策树 C4.5 和朴素贝叶斯等算法的基本原理。（2）熟练使用 weka 实现上述两种数据挖掘算法，并对训练出的模型进行测试和评价。2 实验基本内容本实验的基本内容是通过基于 weka 实现两种常见的数据挖掘算法（决策树 C4.5 和朴素贝叶斯） ，分别在训练数据上训练出分类模型，并使用校验数据对各个模型进行测试和评价，找出各个模型最优的参数值，并对模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预
2、测。3 算法基本原理（1）决策树 C4.5C4.5 是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5 的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。C4.5 由 J.Ross Quinlan 在 ID3 的基础上提出的。ID3 算法用来构造决策树。决策树是一种类似流程图的树结构，其中每个内部节点（非树叶节点）表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点存放一个类标号。一旦建立好了决策树，对于一个未
3、给定类标号的元组，跟踪一条有根节点到叶节点的路径，该叶节点就存放着该元组的预测。决策树的优势在于不需要任何领域知识或参数设置，适合于探测性的知识发现。数据挖掘实验报告 2从 ID3 算法中衍生出了 C4.5 和 CART 两种算法，这两种算法在数据挖掘中都非常重要。属性选择度量又称分裂规则，因为它们决定给定节点上的元组如何分裂。属性选择度量提供了每个属性描述给定训练元组的秩评定，具有最好度量得分的属性被选作给定元组的分裂属性。目前比较流行的属性选择度量有-信息增益、增益率和 Gini 指标。（2）朴素贝叶斯贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝
4、叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。朴素贝叶斯分类的正式定义如下：1）设 x=a_1,a_2,.,a_m为一个待分类项，而每个 a 为 x 的一个特征属性。2）有类别集合 C
5、=y_1,y_2,.,y_n。3）计算 P(y_1|x),P(y_2|x),.,P(y_n|x)。4）如果 P(y_k|x)=maxP(y_1|x),P(y_2|x),.,P(y_n|x)，则 x in y_k。那么现在的关键就是如何计算第 3 步中的各个条件概率。我们可以这么做：1）找到一个已知分类的待分类项集合，这个集合叫做训练样本集。2）统计得到在各类别下各个特征属性的条件概率估计。即 P(a_1|y_1),P(a_2|y_1),.,P(a_m|y_1);P(a_1|y_2),P(a_2|y_2),.,P(a_m|y_2);.;P(a_1|y_n),P(a_2|y_n),.,P(a_m|
6、y_n)。数据挖掘实验报告 33）如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：P(y_i|x)=fracP(x|y_i)P(y_i)P(x)因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：P(x|y_i)P(y_i)=P(a_1|y_i)P(a_2|y_i).P(a_m|y_i)P(y_i)=P(y_i)prodm_j=1P(a_j|y_i)根据上述分析，朴素贝叶斯分类的流程分为三个阶段：第一阶段准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对
7、一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。第二阶段分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。第三阶段应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项
8、，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。4 实验（1）实验设置通过统计数据信息，发现带有类标号的数据一共有 286 行，为了避免数据的过度拟合，必须把数据训练集和校验集分开，目前的拆分策略是训练集 200 行，校验集 86 行。（2）决策树分类用“Explorer”打开刚才 “breast-cancer_train.arff”，并切换到“Class” 。点“Choose”按钮选择“tree (weka.classifiers.trees.j48)”，这是 WEKA 中实现的决策树算法。选择 Cross-Validatioin folds=10，然后点击“start
9、”按钮：训练数据集训练决策树得出的结果数据挖掘实验报告 4使用不同配置训练参数，得到的实验数据：配置不同的叶子节点的实例个数实例数/叶节点 2 3 4 5 7准确率 72.33% 70.8% 72.8% 73.3% 73.8%结果分析：使用决策树时，每个叶子节点最优的实例个数为 7。校验数据集校验决策树得出的结果初步结果分析：使用决策树进行分类，对于已知的类标的 86 个数据进行比较准确的分类，准确率达到69.7%；该数据一般，并且有一定的缺陷，因为该结果是以训练集的低准确率作为前提的。数据挖掘实验报告 5（2）朴素贝叶斯分类点“Choose”按钮选择“bayes” ，这是 WEKA 中实现的
10、决策树算法。选择 Cross-Validatioin folds=10，然后点击“start”按钮：训练数据集训练 Nave Bayes 得出的结果得出的准确率为 72.3%校验数据集校验 Nave Bayes 得出的结果初步结果分析：测试结果中准确率仅仅达到 81.4%。数据挖掘实验报告 65 实验总结通过本次实验了解了决策树 C4.5 和朴素贝叶斯等算法的基本原理，能够熟练使用weka 实现上述两种数据挖掘算法。同时，深切感受到数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进。
