1、象形科技 http:/ 1 0551-65708092 ETHINK 大 数 据 分 析 挖 掘 平 台 产 品 白 皮 书 象 形 科 技 2016.03 象形科技 http:/ 2 0551-65708092 版本修订记录： 版 本 作 者 说 明 160301.1446 温明杰 目录 160302.1530 温明杰 添加内容 160310.1542 刘国光 内容修订 160311.1300 温明杰 内容修订 160330.1300 温明杰 内容修正 排版与 格式修正 图片 尺寸修正 明显表述错误 修正 象形科技 http:/ 3 0551-65708092 目 录 1、大数据挖掘概
2、述 31.1、数据挖掘 . 41.2、历程和趋势 . 41.3、 ETHINK. 52、 ETHINK大数据分析挖掘平台概述 52.1、总览 . 52.2、功能架构 . 62.3、技术架构 . 72.4、集群方案 . 72.5、目标与展望 . 82.6、解决方案 . 83、特色 . 10 3.1、拖拽式建模 10 3.2、可扩展性强 10 3.3、丰富的数据挖掘，并支持深度学习 10 4、技术优势 . 10 4.1、特有算法及深度学习 10 4.2、智能数据预处理 11 4.3、算法自动选择 12 5、 ETHINK大数据分析挖掘平台功能 . 13 5.1、支持数据挖掘方法论 13 5.2、丰
3、富的数据源 14 5.3、高性能弹性计算引擎 14 5.4、可视化工作流式模型设计 14 5.5、交互式数据处理 15 5.6、丰富的算法并支持 16 5.7、数据可视化 16 5.8、任务协作管理 17 6、 应用部署 . 18 6.1、 部署模式 18 6.2、 系统环境 18 7、服务 . 18 7.1、行业能力 18 7.2、技术能力 19 7.3、服务模式 19 7.4、产品和服务 20 1、 大数据挖掘概述 现代企业经常会搜集大量的数据，这些数据涵盖了市场、客户、供货商，及其竞争对手象形科技 http:/ 4 0551-65708092 等重要信息，但是由于信息超载与无结构化，企
4、业的决策者无法充分利用这些庞大的数据资源，仅能使用其中的一小部分，这可能导致决策失误，甚至出现决策错误。而借助机器学习技术，企业完全有能力从浩瀚的数据海洋中，挖掘出全面而又有价值的信息和知识，并作为决策支持之用，进而形成企业独有的竞争优势。 数据挖掘的目标是从数据库中发现隐含的、 有 价值、 有意义的 信息 ， 通过 这 些信息的解读， 预测未来趋势及行为，做出前摄的、基于 数据与 知识的决策。 现阶段的数据挖掘模型都是针对某些具体的任务和领域 ， 选择一些已经 认可 的模型 。 算法和建模的难度很大，既懂技术又懂业务并且知道如何把数据转化为商业洞察力的人才，国内几乎没有。传统数据挖掘系统 ，
5、 强调人工主动参与，循环测试可能有效的挖掘技术，最终得出相对可行的系统结构，导致了数据挖掘的 过程 不得不 手工化 、 复杂化。 1.1、数据挖掘 进入信息时代 ， 计算机中的文件 、 数据库中的数据 ， 总 量正在以指数 级 增长 。 同时 ， 人们期望从数据中获得更 加 有用的信息 。 实际上 ， 这些数据中 ，仅 有一小部分有 包含 有价值 信息 。 由于 ， 人们却渴求获得知识 ， 正面临“数据丰富而知识贫乏”的问题 ， 故 ， 迫切需要一种新的技术 ， 能够 从海量数据中自动 且 高效地提取 有 价值的 信息 ， 获取 有用知识 。 数据挖掘技术由此而生 。 数据挖掘 (DataMi
6、ning， 简称 DM)， 是在庞大的数据中找出有价值的隐藏 信息 或 事件 ，并且加以分析 的 过程 。 其 目标 在于从数据中获取有意义的信息 、从 数据 中 归纳出有用的结构 ，作为 管理 决策的依据 。 此外 ， 数据挖掘 发现 数据 中 的 一些 有价值 、 却 未 知悉 的 信息 ， 而 这些信息 可能 是 我们 关心 ，但 却未曾知悉 的 。 事实上 ， 数据挖掘并不只是一种技术或一套软件 ，而是一种 通过统计、在线分析、检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现 分析 目标 的 综合 应用 。 数据挖掘是一门交叉学科 ， 它把人们对数据的应用从低层
7、次的简单查询 ， 提升到从数据中挖掘知识 ， 提供决策支持 ， 是建立在数据库、人工智能、机器学习、神经网络、统计学、模式识别、高性能计算等技术基础上的一门新兴技术 。 因此 ， 在这种需求牵引下 ， 汇聚了不同领域的研究者 ， 吸引了数据库技术、人工智能技术、数理统计、可视化技术、并行计算等多 方面的学者和工程技术人员 ， 投身到数据挖掘这一新兴的研究领域 ， 形成新的技术热点 。 1.2、 历程和 趋势 当前数据挖掘的软件已经发展到了第四代 ， 各代 数据 挖掘 软件的基本特点 ， 如下表 ： 序号 特征 挖掘算法 集成 分布计算模型 数据规模 第一代 作为一个独立的应用 支持一个或 者多
8、个算法 独立的系统 单个机器 向量数据 第二代 和数据库以及数据仓库集成 多个算法：能够挖掘一次不能放进内存的数据 数据管理系统，包括数据库和数据仓库 同质、局部区域 的计算机群集 有些系统支持对象 ， 文本和连续的媒体数据 第三代 与 预言模型系 多个算法 数据管理 intranet/extran支持半结构象形科技 http:/ 5 0551-65708092 统集成 和预言模型系统 et 网络计算 化数据和web数 据 第四代 与 移动数据 /各种计算设备的数据联合 多个算法 数据管理、预言模型、移动系统 移动和各种计算设备 普遍存在的计算模型 数据挖掘任务和方法 有 多样性 特征， 故
9、 对数据挖掘提出了许多挑战性的研究问题 ， 未来会形成更大的高潮 ， 研究焦点可能会集中到以下几个方面 : 1、 研究专门用于知识发现的数据挖掘语言 ， 走向形式化和标准化 ; 2、 寻求数据挖掘过程中的可视化方法 ， 使得知识发现的过程能够被用户理解 ， 也便于在知识发现过程中的人机交互 ; 3、 研究在网络与分布式环境下的数据挖掘技术 ， 特别是在 Internet上建立数据挖掘服务器 ，与数据库服务器配合 ， 实现数据挖掘 ; 4、 加强对各种非结构化数据的挖掘 ， 如文本数据、图形图像数据、多媒体数据 ; 5、 探索可伸缩的和可交互的数据挖掘方法 ， 全面提高挖掘过程的总体效率 ， 尤
10、其是超大规模数据集中数据挖掘的效率 ; 6、 扩大数据挖掘应用范围 ， 如金融分析、生物医药研制、犯罪侦查等 ; 7、 开发适应多数据类型、容噪的挖掘方法 ， 以解决异质数据集的数据挖掘问 题 ; 8、 动态数据和知识的挖掘等 。 1.3、 ETHINK 象形科技 聚集 了科大的技术专家和象形的行业专家，从数据挖掘的先进技术性与行业实际应用性的角度出发，对数据挖掘 技术 进行了深层次的研究 ， 开发形成了 ETHINK大数据 分析 挖掘平台。 ETHINK大 数据 分析 挖掘平台是一款企业级的 大数据分析挖掘平台 产品 ， ETHINK大数据分析挖掘平台 通过分布式内存计算引擎，解决大数据相关
11、 分析 挖掘问题。借助 ETHINK大 数据 分析 挖掘技术 +服务，让企业有能力从浩瀚的数据海洋中，快速发现潜在的规律与趋势，挖掘出有价值的信息和知识，实现智慧决策， 推进 战略的前瞻性， 进而形成 强有力 的竞争优势。 2、 ETHINK大数据分析挖掘平台 概述 2.1、 总览 ETHINK大 数据 分析 挖掘 平台 ，支持鼠标拖拽的 建模 可视化，支持数据可视化和模型可视化。通过与 Spark、 sparkStreaming、 R等开源技术对接，已经集成 Kmeans、逻辑回归、随机森林、统计分析，以及深度学习，视频文本分析等 50多种算法模型。这些算法经过 一系 列 项目大规模 及 复
12、杂的数据场景锻炼，有效性、算法能力和计算规模都得到了很好的验证 。 象形科技 http:/ 6 0551-65708092 2.2、 功能 架构 ETHINK大数据挖掘平台 包含数据连接和查询服务，提供 连接大数据平台，关系数据库以及数据服务的数据 的接口， ETHINK元数据和 OLAP服务管理数据， ETHINK矩阵计算提供多维表格的矩阵计算。最终通过 ETHINK组件展示给用户。在服务之上提供了云 BI， ETHINKBI设计平台，图说平台，数据挖掘平台等提供给用户的产品与服务。 象形科技 http:/ 7 0551-65708092 2.3、 技术架构 上图可以清晰的了解到整个系统
13、的层次划分，系统从最底部的数据库，大数据平台层 开始， 通过 ROLAP服务， SPARK计算服务 ，最 终 实 现 用 户 要 求 的 可 见 操 作 界 面 和 其 他 系 统 接 口 。各层次专著于自身功能的实现，整个层次保持相对的稳定。系统通过不改变接口，各个层次、各个组件进行优化的策略，能在不影响整个 产品服务 的前提下，不断的完善和改进。 2.4、 集群方案 ETHINK大数据分析挖掘平台集群有三个子集群组成 ， WEB应用部署集群、计算服务集群、存储集群组成。其中 WEB服务集群负责产品的交互服务，组件服务以及页面逻辑 和系统的管理，计算集群主要是 spark计算集群负责数据挖掘
14、的计算，存储集群用来用来存储挖掘的结果，用户的数据等存储服务。 象形科技 http:/ 8 0551-65708092 2.5、 目标与展望 ETHINK大数据分析挖掘平台的 目标是简化大数据分析的过程， 实现 人人都能够快速从数据获得决策智慧。您不再需要采用很多的数据集成、数据清洗、数据预处理、数据分析、数据挖掘、数据可视化、数据报告等众多的工具。 ETHINK是一个 站 式 集成平台，能够将您所有的数据，加载到 hadoop， spark平台，并能够可视化您的数据，高效挖掘 。 2.6、 解决方案 2.6.1、 批处理及离线挖掘 离线挖掘主要用于 多维统计预测， 准实时分析以及对客户进行
15、聚类分类等数据挖掘应用。时间跨度在数十分钟到数小时之间。 典型应用场景 ： 电子商务推荐引擎 ， 流失客户预测挽留 ， 日志清洗、 ETL， 用户行为分析 。 2.6.3、 实时流处理 事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫秒 秒级。流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。 典型应用场景 ： 有金融在线欺诈预警 ， 广告 CTR， 推荐系统 象形科技 http:/ 9 0551-65708092 2.6.3、 实时在线处理 实时在线查询主要是用来处理 数据来源多、高并发、数据处理量大 、 分析结果快速响应 。高并发查询 ， 按主键毫秒级检索，按多维度秒级
16、检索 ，按照关键字秒级检索 。 通常的时间跨度在数百毫秒到数秒之间 典型应用场景 ： 社交网络分析、关联关系分析 ， 用户分类、用户行为预测 象形科技 http:/ 10 0551-65708092 3、 特色 3.1、 拖拽式建模 无论是复杂的统计分析，还是高深的挖掘 预测 ，都 不 需 要 编 程 ，通 过 界 面 化 配 置 ，简 单的拖拽方式来构建数据挖掘 模型 ，并实现模型的发布、管理，轻松完成分析工作。 3.2、 可扩展性强 为数据导入和导出、数据转换、 模型算法 、模 型 评 估 和 部 署 方 面 增 加 新 的 应 用 提 供 了 良好的扩展性，在保持系统架构不变的情况下，
17、 可以轻松 增加新的数据挖掘模型 ，数 据 处 理 过程，数据展示方式。 3.3、 丰富的数据挖掘，并支持深度学习 内 置 多种数据变换组件，满足您个性化的大数据分析需求，无论是哪个行业，什么数据内容，什么格式， 都可以使用 ETHINK大数据分析挖掘平台 从大数据中揭示 数据的 趋势、规律等决策知识。支持主流的机器学习 、 知识发现算法，如关联规则、决策树、神经网络、支持向量机、 KMeans、关联规则等。数据挖掘 模型 支持重用模式 4、 技术优势 4.1、 特有算法及深度学习 ETHINK大数据分析 挖掘 平台，实现了业界常用的经典算法，并自创多类独有算法。实现了深度学习，自组织数据挖掘
18、，特征工程等海量数据的人工智能算法 。 算法类别 经典算法 自有算法 深度学习算法 象形科技 http:/ 11 0551-65708092 分类算法 决策树，贝叶斯， KNN，支持向量机，梯升树 自组织数据挖掘，随机森林，随机决策树，一次迭代 LR 神经网络，卷积神经网络，深信度网络，限制波尔兹曼机 回归算法 线性回归，逻辑回归， svm，保序回归 自组织数据挖掘，随机森林，随机决策树，一次迭代 LR KNN， CNN， BSN，SAE， CAE 聚类算法 Kmeans，高 斯 混 合 模 型 ，功 率 迭 代 聚 类 k-均值聚类 关联规则 LDA， 主成分分析， Backpropaga
19、tion， AutoEncoder， RBM， Convolution. 时间序列 自组织数据挖掘 其它 线性模型、广义线性模型、方差分析 Commonalities， GLM，DRF， Deep Features，Feed-Forward Neural Network， 特征权重算法 R语言支持 列与列关联分析，分层抽样，假设检验，随机数据生成，密度估计， sum， mean， var， sd， min， max， range， median， IQR（ 四分位间距）等为统计量， sort，order， rank与排序有关，其它还有 ave，fivenum， mad， quantile， s
20、tem， 协方差阵及相关阵计算biplot，biplot.princomp： 多元数据 biplot图cancor： 典则相关 princomp， 线性模型、广义线性模型、方差分析 4.2、 智能数据预处理 如何从繁杂的、高维的数据中进行数据特征的选择与准备，是一个亟待解决的关键性问题。 ETHINK大数据分析挖掘平台 自动数据准备，包含数据清洗，数据变换，数据降维，分箱等数据处理技术。能根据输入数据自动剔除数据中噪音和干扰变量，对维度中的不合理值进行处理提高数据质量，选择对目标影响权重较大的维度，对数据进行降维操作，减少模型运行的复制度，提高模型运算的速度和准确性 。 象形科技 http:/
21、 12 0551-65708092 4.3、 算法自动选择 自动模型 选择 包括 Logistic regresion， SVM， Naive Bayesian， Decision Tre等业内应用广泛的模型。模型参数选择及优化是决定模型效果好坏的最重要因素，自动 选择 模型会根据用户的输入数据，自动进行参数优化，效果评测，最优模型选择等操作，自动选择出效果最好，结果最准确，应用最合适的 挖掘 模型。 象形科技 http:/ 13 0551-65708092 5、 ETHINK大数据分析挖掘平台 功能 5.1、 支持数据挖掘方法论 数据挖掘标准流程 1999年的跨行业数据挖掘标准流程定义了
22、数据挖掘的 6个步骤。但是，传统的数据挖掘软件往往只涉及 6个步骤中的前 5个步骤，即只关心模型如何建立，模型建立完成后，如何部署、应用该模型，则很少有软件涉及。但是，从企业数据挖掘实践来看，建立模型只是企业数据挖掘工作的一小部分，后续还有大量的模型部署、更新、维护的工作。目前这些工作缺乏良好的系统来进行管理，导致数据挖掘落地时间长、效率低。 ETHINK大 数据 分析 挖掘平台 是 一个图形化界面、菜单驱动、拖拉式操作 的 WEB在线可视化开发 平台， 对用户非常友好且功能强大的数据挖掘集成软件。支持完善的数据挖掘标准流程方法论。整个挖掘流程，从数据集成、数据规范，到模型训练、模型评估、模
23、型部署，都可以在线配置 ， 让你瞬间成为公司顶级大数据分析专家、数据挖掘专家。无论是复杂的统计分析，还是高深的挖掘 预测 ，你都不需要编程，通过界面化配置，轻松完成分析工作。 -其中集成了： 数据获取 数据取样工具 数据探索和可视化工具 数据筛选工具 数据变量转换工具 变量和因素重要性筛选工具 群体分类的各种聚类分析方法 多种形式的回归分析工具和方法 象形科技 http:/ 14 0551-65708092 决策树方法 神经网络、 SOM 等人工智能方法和工具 Boosting， Baging， Arching 等模型最 优化算法 数据挖掘的评价工具 -R语言统计分析 。 5.2、 丰富的数
24、据源 ETHINK大数据 分析 挖掘 平台 实现了非常丰富的数据接口， 能够 从不同的数据源抽取数据，进行统一的整合和分析。使用 ETHINK大数据 分析 挖掘 平台 ，可以从几乎所有的主流数据库中提取数据，包括关系型数据库如 SQL Server、 Oracle、 DB2、 Informix、 My SQL、 Teradata、PostgreSQL 等；大数据 平台 如 Hadop、 Hbase 、 MongoDB、 Casandra、 Imala等 ， 也可以非常轻易 的 导入文档型数据，包括 CSV、 XML、 JSON等。 5.3、 高性能弹性计算引擎 ETHINK大 数据 分析 挖掘
25、平台基于 Apache Spark架构具有优异的大数据处理性能， 允许在大型集群上执行基于内存的计算 ， 支持对大数据以集群的方式高速并行处理，可以轻松应对 TB级和 PB级的大数据处理和分析。支持无限的存储空间，以低廉的成本保留任何您想保留的数据 。通 过 将数据保存在内存中极大地提高性能，实现了 迭代计算方面比 Hadop快二十多倍，同时还可以在 5-7秒的延时内交互式地查询 1TB的数据集 。 5.4、 可视化工作流式模型设计 ETHINK大数据分析挖掘平台 的目标是简化大数据分析的过程，让 每一个 人都能够快速从数据获得决策智慧。不再需要采用很多的数据集成、数据清洗、数据预处理、数据分
26、析、数据挖掘、数据可视化、数据报告等众多的工具。通过提供一站式、并行化的高效数据挖掘工具和模型应用平台，帮助企业提高大数据挖掘落地速度，降低大数据挖掘落地成本。 通过 WEB在线可视化开发。整个挖掘流程，从数据集成、数据规范，到模型训练、模型评估、模型部署，都可以在线配置，每步运行都可以在控制台上监控信息，控制灵活，具有高度的动态性。 ETHINK大 数据 分析 挖掘平台 工作流 在 ETHINK大 数据 分析 挖掘平台中，每个建模步骤都是一个组件，每个组件接受若干输入，并且产生输出。每个组件的输出可以作为其他组件的输入，这样，整个建模过程就可以象形科技 http:/ 15 0551-657
27、08092 形成一幅有向无环图。在建模的过程中，会有很多尝试性的步骤，用户可以通过在模型工作流中添加分支的方法来进行不同方法的尝试。 5.5、 交互式数据处理 数据挖掘过程中 75%以上的时间花费在 数据的质量、数量等各种问题 的 数据预处理阶段，ETHINK大数据分析挖掘平台 提供多种数据处理节点，分析人员可以通过 拖拽 的方式实现数据的预处理，而不需要精通数据库语言。 ETHINK大数据 分析 挖掘 平台 集成了 R语言 统计模型 ，支持分布检验、均值向量与协方差阵的假设检验、方差分析、回归分析、判别分析、聚类分析、多因子分析、线性规划与整数规划、动态规划、不确定型决策和风险型决策等方面的
28、内容。 R语言统计模型 模型名称 模型分类 相关系数矩阵 关联分析 主成分分析 因子分析 典型相关分析 相关性检验 协方差矩阵 方差分析 单因素方差分析 双因素方差分析 协方差分析 线性判别分析 判别分析 二次判别分析 线性回归分析 回归分析 广义线性模型 逐步回归分析 多重共线性 -岭估计 rlm稳定回归分析 BoxCox变换 lqs抗干扰回归 Wilcoxon符号秩检验 非参数检验 卡方独立性检验 Fisher精确检验 Wilcoxon秩和检验 Mood检验 位置参数的 Kruskal-Wallis秩和检验 象形科技 http:/ 16 0551-65708092 尺度参数的 Ansar
29、i-Bradley检验 尺度参数的 Fligner-Killeen检验 ETHINK数据挖掘平台 R统计模型 5.6、 丰富的算法并支持 ETHINK大 数据 分析 挖掘平台是基于 Spark架构的并行数据挖掘平台。除了数据挖掘的 模型 之外， ETHINK数据挖掘平台还提供了若干数据处理算法和 基于 R语言的统计模型 。 ETHINK数据挖掘平台支持的并行化算法列表如下： 模型名称 模型类别 自动分类模型 自动数值模型 自动聚类模型 逻辑回归模型 SVM模型 朴素贝叶斯模型 决策树模型 神经网络 线性回归模型 KMeans模型 高斯混合模型 岭回归模型 Lasso模型 ALS模型 随机森林
30、梯度提高树模型 神经网络 深度学习 深度信念网络 自组织算法 深度学习 DRF随机森林 GBM梯度提升树模型 GLM广义线性模型 ETHINK数据挖掘平台算法 5.7、 数据可视化 ETHINK大数据分析挖掘平台 融合了 3D、图 形 和 动 画 等 多 种 可 视 化 技 术 来 处 理 多 维 数 据 ，使得数据所表现出的特征、模式和关联性等信息一目了然，展示 ，帮 助 用户 理解数据间的 联象形科技 http:/ 17 0551-65708092 系 ，并指导以最便捷的途径找到问题的解决办法。5.8、 任务协作管理 ETHINK大数据分析挖掘平台 支持多任务的并发运行，可以限制最大任务
31、数；支持 任务定时启动，提供多种定时策略，包括日、周、月、工作日、时、分、秒等，可实现任务的 周期性 自动运行 。 ETHINK数据挖掘平台任务管理 象形科技 http:/ 18 0551-65708092 6、 应用部署 6.1、 部署模式 6.1.1、 挖掘服务部署 ETHINK大数据分析挖掘平台 基于 java+scala开发 ，支 持 linux、 unix等主流操作系统，可进行 跨平台操作，兼容 firefox、 IE等主流 浏览器 。 ETHINK大数据分析挖掘平台 提供了一键部署模式，自带 JAVA环境 ，自 带数据库，解 压替换 licence 即可正常使用，整个过程方便简单
32、，无需安装任何插件。 6.1.2、 计算服务部署 ETHINK大数据分析挖掘平台 ， 依托于 spark的集群计算。您需要部署 spark的集群，ETHINK同时也提供基于 docker的一键化部署。 6.2、 系统 环境 服务器端 ： 操作系统： Linux， Unix等常见类型 数据库： MS SQLServer， Oracle， DB2， MySQL等常见关系型数据库 大数据平台： hadoop， hive， HBase， impala， spark等 应用服务器 ： Tomcat， Weblogic， WAS， JBOS 硬件配置 ： cpu=4核，内存 =16G。集群规模 =4台，其
33、中一个 master计算，三个 worker节点 Web客户端 ： IE内核的浏览器 ， Webkit(Safari， Chrome)内核的浏览器 ， firefox内核浏览器 7、服务 7.1、 行业能力 ETHINK能够为合作伙伴和最终客户提供基于行业的大数据 分析 挖掘整体解决方案 。 象形科技 http:/ 19 0551-65708092 7.2、 技术能力 7.3、 服务模式 1. 提供 ETHINK大数据 分析挖掘 平台 授权 2. 使用 ETHINK大数据 分析挖掘 平台 给其客户进行 大数据 分析挖掘项目 的 实施 3. 提供个人与小微型企业 ETHINK大数据 分析挖掘 平台 4. 自主交付给大中型企业 ETHINK大数据 分析挖掘 平台 5. 总结已经实施的项目经验并形成行业解决方案 象形科技 http:/ 20 0551-65708092 6. 使用象形行业解决方案快速实施交付 7. 行业方案快速复制 7.4、 产品和服务
