1、数据仓库与数据挖掘技术答案一、简答1.为什么需要对数据进行预处理？数据预处理主要包括哪些工作（需要对数据进行哪些方面预处理）?（1）现实世界的数据是杂乱的，数据多了什么问题会出现。数据库极易受到噪音数据(包含错误或孤立点） 、遗漏数据（有些感兴趣的属性缺少属性值或仅包含聚集数据）和不一致数据（在编码或者命名上存在差异）的侵扰，因为数据库太大，常常多达几 G 或更多。进行数据预处理，提高数据质量，从而提高挖掘结果质量。（2）数据预处理主要包括：数据清理：去除数据中的噪音、纠正不一致；数据集成：将数据由多个源合并成一致的数据存储，如数据仓库或数据方；数据交换：规范化或聚集可以改进涉及距离度量的挖掘
2、算法精度和有效性；数据归约：通过聚集、删除冗余特征或聚类等方法来压缩数据。数据离散化：属于数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要。2. 什么叫有监督学习？什么叫无监督学习？监督学习（Supervised learning） 是通过发现数据属性和类别属性之间的关联模式，并通过利用这些模式来预测未知数据实例的类别属性。监督学习又称为分类 Classification 或归纳学习 Inductive Learning。无监督学习（Unsupervised learning）即聚类技术。在一些应用中，数据的类别属性是缺失的，用户希望通过浏览数据来发现其的某些内在结
3、构。聚类就是发现这种内在结构的技术。3.什么是数据仓库的星形模式？它与雪花模式有何不同？雪花模式与星形模式不同在于：雪花模式的维表可能是规范化形式，以便减少冗余。这种表易于维护，并节省存储空间，因为当维结构作为列包含在内时，大维表可能非常大。然而，与巨大的事实表相比，这种空间的节省可以忽略。此外，由于执行查询更多的连接操作，雪花结构可能降低浏览的性能。这样系统的性能可能受影响。因此，在数据仓库设计中，雪花模式不如星形模式流行。二、写出伪代码 三答：（1）所有频繁项集为：E,K,O K,M K,Y(2) 关联规则:O-E,K 1.0E,O - K 1.0K,O - E 1.0M - K 1.0Y
4、 - K 1.0答：a) 决策树表示一种树型结构，它由它的分来对该类型对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程以递归的方式对树进行修剪。当不能再分割时，递归完成。因此决策树不会无限循环。b) 0c) sized) Children,SIN,classpublic class BayesClassifier private TrainingDataManager tdm;/训练集管理器private String trainnigDataPath;/训练集路径private static double zoomFactor = 10.0f;/* 默认的构造器
5、，初始化训练集*/public BayesClassifier() tdm =new TrainingDataManager();/* 计算给定的文本属性向量 X 在给定的分类 Cj 中的类条件概率* ClassConditionalProbability连乘值* param X 给定的文本属性向量* param Cj 给定的类别* return 分类条件概率连乘值，即*/float calcProd(String X, String Cj) float ret = 1.0F;/ 类条件概率连乘for (int i = 0; i v1 = new Vector();for(int i=0;i
6、crs = new ArrayList();/分类结果for (int i = 0; i Classes.length; i+) String Ci = Classesi;/第 i 个分类probility = calcProd(terms, Ci);/计算给定的文本属性向量 terms 在给定的分类 Ci 中的分类条件概率/保存分类结果ClassifyResult cr = new ClassifyResult();cr.classification = Ci;/分类cr.probility = probility;/关键字在分类的条件概率System.out.println(“In pro
7、cess .“);System.out.println(Ci + “：“ + probility);crs.add(cr);/对最后概率结果进行排序java.util.Collections.sort(crs,new Comparator() public int compare(final Object o1,final Object o2) final ClassifyResult m1 = (ClassifyResult) o1;final ClassifyResult m2 = (ClassifyResult) o2;final double ret = m1.probility -
8、m2.probility;if (ret 0) return 1; else return -1;);/返回概率最大的分类return crs.get(0).classification;（1）最临近分类是基于要求的或懒散的学习法。因为它存放所有训练样本，并且直至新的样本需要分类时才建立分类。begin 初始化 n x n 距离矩阵 D，初始化混淆矩阵 C，设置 t=0 , TotAcc = 0 , NumIterations 为要迭代次数。计算所有输入样本和存储在 D 矩阵中的距离。For t=1 to NumIterations doSet c = 0 , Ntotal=0将输入样本划分为 k 个同等大小的分组For fold=1 to k do指定第 fold 个样本进行测试，并且使用原来训练样本。设置 Ntest 为要测试样本数量。Set Ntotal = Ntotal+NtestFor i = 1 to Ntest do基于样本 计算距离确定 k 个最邻近训练样本。确定在 k 个最邻近样本中最频繁的分类标记 。在 w 为真并且对于预测测试样本 分类标记为 时，对混淆矩阵 C 进行递增 1 存储为 。如果 ,则在混淆矩阵对角线上加1，否则在非对角线上加 1。当 为混淆矩阵对角线元素时，使用确定分类器的精确度。计算 . 最后计算 end
