1、第三周：2012/9/11第五讲：数据挖掘简介1. 数据库中的知识发现(Knowledge Discovery in Database, KDD)：它是从大量的、不完整的、有噪声的、模糊的和随机的数据集中，提取隐含在其中的、事先不知道的、可信的、潜在的和有价值的信息与知识的过程。 。主要包括数据准备、数据挖掘、数据挖掘结果解释与评估三个阶段，是一个交互式、循环反复的整体过程。图：KDD、数据挖掘与数据仓库2. 数据库中的知识发现过程一般由以下步骤组成 数据清理（消除噪音或不一致数据） 数据集成（多种数据源可以组合在一起） 数据选择（从数据库中检索与分析任务相关的数据） 数据变换（数据变换或统一
2、成适合挖掘的形式，如通过汇总或聚集操作） 数据挖掘（基本步骤，使用智能方法提取数据模式） 模式评估（根据某种兴趣度度量，识别表示知识的真正有趣的模式） 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识） 由此可见，数据挖掘是数据库中知识发现的一个步骤，并且是最重要的一个步骤。3. 数据挖掘：从大量的数据中挖掘人们感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识。在人工智能和机器学习等研究领域，习惯上又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，在统计分析、数据分析、数据库等工程领域则称为数据挖掘。 一般的看法是把数据挖掘
3、视为数据库中知识发现过程的一个基本步骤。4. 数据挖掘的分类 根据所挖掘的数据库分类：关系数据库，事务数据库，流式数据，面向对象数据库，对象关系数据库，数据仓库，空间数据库，时序数据库，文本数据库，多媒体数据库，异构数据库，历史数据库，WWW 根据所使用的技术和方法分类：有监督的数据挖掘、无监督的数据挖掘、交互式数据挖掘、发现驱动的数据挖掘交互式数据挖掘、机器学习类数据挖掘、可视化数据挖掘等。 根据数据挖掘的知识类型来分：关联规则挖掘、特征规则挖掘、分类规则挖掘、聚类规则挖掘、时序规则挖掘、偏差规则挖掘、孤立点挖掘。 根据数据挖掘应用的领域分类：商业领域，如电信、金融、零售业、医疗卫生体育运动
4、、股票市场、Web 挖掘等。科研领域，如 DNA 分析、天文等。5. 数 据 挖 掘 的 任 务 （ 功 能 与 目 的 ） 概念/类描述: 特性化和区分：为数据的特征化和比较产生描述（当所描述的概念所指的是一类对象时，也称为类描述）特征化：提供给定数据集的简洁汇总。i. 例：对 AllElectronic 公司的“大客户”（年消费额$1000 以上）的特征化描述：4050 岁，有固定职业，信誉良好，等等ii. 区分：提供两个或多个数据集的比较描述 分类（Classification ）：根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据（分类） ，用来预测类型标志未知的对象
5、类（预测） 。首 先 从 数据 中 选 出 已 经 分 好 类 的 训 练 集 ， 在 该 训 练 集 上 运 用 数 据 挖 掘 分 类 的 技 术 ， 建 立 分类 模 型 ， 对 于 没 有 分 类 的 数 据 进 行 分 类 。 注 意 ： 类 的 个 数 是 确 定 的 ， 预 先 定义 好 的 。 比如：按气候将国家分类，按汽油消耗定额将汽车分类；导出模型的表示: 判定树、分类规则、神经网络；可以用来预报某些未知的或丢失的数字值 估计（Estimation）：估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定
6、的。例：i. 根据购买模式，估计一个家庭的孩子个数ii. 根据购买模式，估计一个家庭的收入一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 01） 。然后，根据阈值，将贷款级别分类。 趋势预测（Prediction）：通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预
7、言准确性是多少。 关联规则或相关性分组（Association rules or Affinity grouping）从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性，决定哪些事情将一起发生，广泛的用于购物篮或事务数据分析。例：i. 超市中客户在购买 A 的同时，经常会购买 B，即 A = B(关联规则) ii. 客户在购买 A 后，隔一段时间，会购买 B （序列分析） 聚类（Clustering）：将 物 理 或 抽 象 对 象 的 集 合 分 组 成 为 由 类 似 的 对 象 组 成 的 多 个类 的 过 程 。 最 大 化 类 内 的
8、 相 似 性 和 最 小 化 类 间 的 相 似 性 例 ： 对 WEB 日 志 的 数据 进 行 聚 类 ， 以 发 现 相 同 的 用 户 访 问 模 式 。 聚 类 和 分 类 的 区 别 是 聚 集 不 依 赖 于预 先 定 义 好 的 类 ， 不 需 要 训 练 集 。 序列模式发现 sequential pattern 数据总结：将数据库中的大量相关数据从较低层次抽象到较高层次的过程。最为具体的表现就是计数、求和等。 依赖关系或依赖模型的发现，通过对数据进行分析，发现数据之间的某种因果关系。 异常检测：发现数据存在的偏差或异常值。i. 信用卡欺诈检测ii. 移动电话欺诈检测iii.
9、 客户划分医疗分析（异常iv. 反恐 数据描述和可视化（Description and Visualization）6. 数 据 挖 掘 的 基 本 步 骤 理解数据和数据的来源（understanding） 。 获取相关知识与技术（acquisition） 。 整合与检查数据（integration and checking ） 。 去除错误或不一致的数据（data cleaning ） 。 建立模型和假设（model and hypothesis development） 。 实际数据挖掘工作（data mining） 。 测试和验证挖掘结果（testing and verificatio
10、n ） 。 解释和应用（interpretation and use） 。 由上述步骤可看出，数据挖掘牵涉了大量的准备工作与规划工作，事实上许多专家都认为整套数据挖掘的过程中，有 80%的时间和精力是花费在数据预处理阶段，其中包括数据的净化、数据格式转换、变量整合，以及数据表的链接。可见，在进行数据挖掘技术的分析之前，还有许多准备工作要完成。7. 数据挖掘的对象 关系数据库 数据仓库 事务数据库 高级数据库系统和信息库i. 空间数据库ii. 时间数据库和时间序列数据库iii. 流数据iv. 多媒体数据库v. 面向对象数据库和对象-关系数据库vi. 异种数据库和历史(legacy) 数据库vii
11、. 文本数据库和万维网(WWW)8. 数 据 挖 掘 十 大 经 典 算 法 C4.5：是机器学习算法中的一种分类决策树算法，其核心算法是 ID3 算法。 K-means 算 法 ： 是 一 种 聚 类 算 法 。 SVM： 一 种 监 督 式 学 习 的 方 法 ， 广 泛 运 用 于 统 计 分 类 以 及 回 归 分 析 中 Apriori ： 是 一 种 最 有 影 响 的 挖 掘 布 尔 关 联 规 则 频 繁 项 集 的 算 法 。 EM： 最 大 期 望 值 法 。 pagerank： 是 google 算 法 的 重 要 内 容 。 Adaboost:是 一 种 迭 代 算 法
12、 ， 其 核 心 思 想 是 针 对 同 一 个 训 练 集 训 练 不 同的 分 类 器 然 后 把 弱 分 类 器 集 合 起 来 ， 构 成 一 个 更 强 的 最 终 分 类 器 。 KNN:是 一 个 理 论 上 比 较 成 熟 的 的 方 法 ， 也 是 最 简 单 的 机 器 学 习 方 法 之一 。 Naive Bayes： 在 众 多 分 类 方 法 中 ， 应 用 最 广 泛 的 有 决 策 树 模 型 和 朴 素贝 叶 斯 （ Naive Bayes） Cart： 分 类 与 回 归 树 ， 在 分 类 树 下 面 有 两 个 关 键 的 思 想 ， 第 一 个 是 关于 递 归 地 划 分 自 变 量 空 间 的 想 法 ， 第 二 个 是 用 验 证 数 据 进 行 减 枝 。9. 用 SQL 可以做什么？ 上个季度卖出了什么商品？ 给我列出上月每个部门的总销售量 哪个销售员卖出的商品最多10. Data Mining 又能做什么？ 预测新顾客的信誉风险 检查商品销售变差的原因
