1、 云计算实验室建设方案 - 1 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 目 录 1 实验 室项 目建 设背 景 - 2 - 1.1 项 目建 设背 景 - 2 - 1.2 项 目建 设目 标 - 2 - 1.3 项 目建 设内 容 - 2 - 1.4 项 目建 设原 则 - 3 - 2 实验 室项 目建 设方 案 - 4 - 2.1 项 目方 案介 绍 - 4 - 2.2 项 目配 置清 单 3 实验 室项 目产 品介 绍 3.1 大 数据 与虚 拟化 教学 实验平 台 - 6 - 3.2 智 云硬 件库 实时 大数 据源 - 17 - 4 大学 计划 与培 训服 务 - 2
2、0 - 4.1 中 智讯 大学 计划 . - 20 - 4.2 中 智讯 师资 人才 培养 - 22 - 4.3 工 程师 认证 及再 就业 培训 - 23 - - 2 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 1 实 验 室 项 目 建设 背 景 1.1 项 目建 设背 景 随着全球数据量的爆炸 式增长和数据挖掘技术 的发展，数据分析与数 据挖掘技术正 在以空前的速度产生和积累， 对数据分析和数据挖掘的人才需求也快速增加。 进入 2014 年，大数据（Big Data）一词 越来越多地被提及，人们用它来描述和定义信息爆炸时代 产生的 海量数据， 并命名与之相关的技术发展与创新
3、。 目前， 大数据正在开启一次重大 的时代转型，其影响力包括传统的金融、医疗保健、市场业、零售业、制造 业、司法、 工程和科学、保险业等等行业。 数据挖掘致力于从大型 数据库中发现隐藏知识 、未知模式和新规则， 以指寻人们做 出正确决策。 数据挖掘在数据 处理中有独到的优势， 但随着 “大数据” 旪代的到来， 传 统的数据挖掘经验受到了 严重的挑战，如何从纷繁复杂的海量数据中提取有用的信息， 变数据为财富， 挖掘数据中的金矿， 提升企业竞争力以及提高企业风险管理水平， 是当 前企业和教育工作的重要 课题。 1.2 项 目建 设内 容 数据分析与 挖掘实验室 旨在培养具备海量数据 采集、管理、分
4、析与挖 掘等方面专业 素养的应用型、复合型、创新型人才， 要求学生 具有良好数学 基础和较强编程能力， 掌握信息科学 与计算科 学的基本理论 方法与技能， 具备定量分析、 科学预测和应用软件开发能力， 以胜任银行、 零售商、 电 商、 医院、 供应链管理公司和电信公司等多个行业的相关工作。 同时， 实验室又要满足 大数据技术及应用、 各行业理论和复杂性等前沿领域研究的需要， 将研究成果应用于我 国各企业的发展与改革的深化， 为政府和企业提供相关决策咨询和技术支持。 实验室主 要的功能如下： 科研实验：结合大数据 技术及应用、应用数学 、统计、经济等领域的 研究力量，在 中心框架下利用创新实验室
5、的平台条件， 开展前沿的大数据技 术及应用方面的统计分析 和实证研究， 实现宏观经济、 行业研究、 金融研究、 能源研究、 通信研究等领域研究水 - 3 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 平提升。 培训教学: 结合国际流行的数据挖掘、 统计分析工具和专业精准的数据库， 培养学 生的数据挖掘、数据分析、数据检验、程序设计等实践技能。 1.3 项 目建 设原 则 数据分析与挖掘技术实验室建设遵循以下原则： 1） 可靠性： 系统稳定、 可靠的运行是系统具有实用性的前提。 要求系统具有高稳定 性，当系统出现故障和突发事件时，具有保障正常运行的措施。 2） 易用性： 系统应尽 可
6、能的减少系统维护人员的工作量。 经过短期培训后， 一般 工 作人员可掌握系统使用方法， 这是为系统在使用过程中的实际需要考虑的。 系统交付使 用以后， 应该便于各种日常维护工作， 能够方便地进行软件的重新配置、 系统的智能预 警监测、硬件备品备件的更换和软件系统的升级。 3） 扩展性： 扩展能力是云计算应用基础服务平台最重要的原则之一， 作为云计算行 业应用的基础服务平台， 平台应具备充分、 灵活的适应能力、 可扩展能力和自动升级能 力，提供可视化的二次开发、配置工具，并充分考虑接口的标准化、协议的标准化。 4） 可管理性 ： 系统应 具备完整的统计、 分析、 授权和预警等功能， 并提供打印、
7、 短 信、邮件、 视频监控、GPS 定位等通用服务。 - 4 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 2 实验室项目建设 方案 2.1 项 目方 案介 绍 针对目前高校 大数据分 析与挖掘 教学与科研现 状，经过大量高校教学 需求调研，中 智讯推出专业实用的大数据与 虚拟化教学平台， 帮助学生熟悉和掌握大数据及云计算领 域的前沿技术， 掌握云计算与大数据的开发方法， 学习数据分析、 数 据挖掘、 数据建模、 数据仓库等知识。 结合中智讯在物联网和移动互联网技术的多年积累， 提供支持云计算 的大量真实物理大数据源， 以及提供大量的大数据分析与挖掘的项目案例， 能够让学生 由浅入
8、深的学习虚拟化、大数据分析与 挖掘技术的专业课程； 实 验室 方案框架 说 明： 1) 大数据与虚 拟 化 教 学 实验 平 台 ： 该 部 分 作 为 大数 据 和 虚拟化基 础 知 识的 主 要 学 习平台， 是高校主要建设的部分 。 实验主机将4 台高配的 专业服务器集中在一台 机柜内， 通过千兆交换机互联 ， 学生可通过该平台做大数据和虚拟化 的 “建” 、 “管” 、 “用” 等一 系列实验 。系统专业服务器包含：管理主机、计算主机、主存储主机、二级存储主机、 千兆交换机等硬件构成， 主机分区设计， 直观的展示云计算的硬件构成及部署。 实验平 台采用一对一服务，每个学生独享一套硬件资
9、源，方便管理和教学。 2) 虚拟化技术教学资源 ： 该部分主要用于学习云计算虚拟化技术及相关的 IAAS 自 动化管理、 部署、 监控软件 ， 支持大部分主流虚拟机的学习：KVM、Xen、Vmware、Oracle VM 等。 教学资源包含：Linux 操作系统配置与使用 （CentOS）、 KVM 虚拟化、Xen 虚拟化、 Vmware 虚拟化、Oracle VM 虚拟化、CloudStack 安装部署、CloudStack 虚拟机资源管 理、CloudStack 平台运维与优化等。 3) 大数据技术教学资源 ： 该部分主要 学习基于 Hadoop 架构的大数据教学， 涵盖数 据分析、数据挖
10、掘、数据建模、数据仓库等知识 。教学资源包含：Hadoop 集群的部署/ 管理/ 监控、 分布式文件系统 HDFS 安装配置与使用、 大数据并行计算框架 MapReduce 安 装配置与调优、基于 Eclipse 的 HDFS/MapReduce 程序开发与调试、HBase/Hive 数据库 系统的数据仓库开发与使用、基于 Hive api 的数据查询分析程序开发、大数据挖掘系 统Mahout 程序开发等。 4) 大数据教学项目案例 ：该部分通过构建完整的 行业综合应用实例来辅 助教学， 提供的项目包含： 个人存储私有云综合实验、 气象数据分析云综合实验、 微信人物关系 - 5 - 智云开放平
11、台，做最务实的云计算与大数据教学实验系统! 综合实训、 云图书馆实例综合 实训。 结合智云硬件库实时大数据源， 独创支持智云物联 数据中间件系统的开发， 涉及物理世界大数据的接入、 分析、 仓储、 挖掘等功能， 支持 海量最近1 小时、 最近 1 天、 最近 1 周、 最近 1 月、 最近1 年及任意时间段数据的快速 挖掘及数据分析使用，同时配合智云应用 API，与上层移动互联网应用开发结合，构建 从数据源端 - 大数据处理中心 - 行业应用完整的一套系统。 5) 智云硬件库实时 大 数 据源 ： 该部分提供真实的 物理硬件支撑大数据的 接入，包 含各种商用/ 工业 感 知器 、 执 行 器
12、、 采集 器 、摄 像 头 、 门 禁 、显 示 屏、 电 机 设 备 、 气 象 站、M2M 路由、Android 网关、Zigbee 工业无 线节点等各种设备 ，为学生提供行业真实 应用的硬件数据源， 可以构建各种应用场合： 环境雾霾监测系统、 仓库温度火灾监测系 统、公共场合人流密度监测系统、工厂无人自动化生产系统、 气象站天气预测系统等。 6) 中智讯大数据源样本库 ：中智讯一直致力于移 动互联网物联网行业开 发，并运 营 独 立 的 开 放 数据 共 享平 台 “ 智 云 物 联” ， 能够 为 大 数 据 科 研及 教 学提 供 各 种 长 期 的 数 据样本，通过真实的物理数据支
13、撑数据分析、数据挖掘的可靠性。 实 验室 方案 课 程体 系 ： 大数据与虚拟化 实验室所构建的实验： 课程类别 课程名称 学时 公共基 础课 高等数 学 48 离散数 学 48 概率论 与统 计 48 Java 程序 设计 与面 向对 象 编程 48 数据库 系统 原理 64 操作系 统 48 数据结 构 64 软件工 程 48 C 语言 程序 设计 64 云计算 虚拟 化 云计算 概念 及其 模型 48 Linux 操作 系统 48 云基础 架构 及虚 拟化 36 网络管 理及 网络 安全 36 CloudZstack 云 计算 平台 部署 48 数据分 析与 挖掘 大数据 概论 48 分
14、布式 计算 系统 48 - 6 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 数据建 模与 数据 仓库 关键 技术 48 Hadoop/MapReduce 数据 分 析 48 HBase/Hive 数据 库 系统 48 大数据 挖掘 系 统 Mahout 程 序开发 48 大数据 行业 应用 移动互 联网 与物 联网 技术 36 传感器 与无 线传 感网 络 36 多网络 信息 融合 技术 及应 用 36 移动互 联网 物联 网数 据中 心 48 商业智 能应 用数 据挖 掘 36 2.2 大数据 分 析与挖 掘 教 学实 验平 台介绍 ZCloudEduSysV1 大数据与虚拟化
15、教学实验平台提供完整的云计算虚拟化、 大数据信 息处理教学解决方案， 采用独立工业机柜设计， 在教学上每个学生 可独享一套硬件资源， 方便教学及云架构的体验。 ZCloudEduSysV1 教学系统包含云计算虚拟化系统、 云计算服务管理系统、 云计算大 数据教学系统、 云计算项目案例系统四个部分组成， 可完成对虚拟化、 大数据、 分布式 与并行计算等云计算核心技术和理论的理解， 提高学生的实践动手能力和运用云计算技 术研发创新能力，作为学校开展云计算技术相关课程的实验实训平台。 - 7 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 云 计算 虚拟化 技术 ： ZCloudEduSy
16、sV1 教学系统 支持多种虚拟化技术部署， 包含 Xen、KVM 、VMware ESXi、 VirtualBox ，提供 CentOS 操作系统下虚拟机搭建、管理及使用 。ZCloudEduSysV1 教学 系统采用业界知名的云计算平台 CloudStack 统一管理网络资源，存储资源和计算资源 组成的基础设施 ，通过使用 CloudStack 可以部署，管理，配置于 虚拟化 平台。 通过CloudStack 可以实现： 1） 通过配置、 整合一 系列软、 硬件设备为客户构建计算、 存储资源池以及相应服务 平台，使用户可以按需、弹性获取计算及存储资源。 2） 通过云平台管理系统对整个 云 计
17、算平台进 行集中管理， 实现对云平台的软、 硬件 资源进行、 行统一分配和管理。 3） 构建虚拟服务器， 部署各种业务系统。 通过 云平台能对应用系统计算资源的动态 调配。 - 8 - 智云开放平台，做最务实的云计算与大数据教学实验系统! CloudStack 产品组件框图如下： 1）CloudStackUI 向管理员和用户提供基亍 Web 的操作界面。 2）CloudStack 是 CloudStackUI 的后端支持系统，对外提供 API。 3）CloudStackView 提供面向虚拟机、物理主机和外部设备的监控服务。 4） 其中 CloudStack 资源管理模块作为于管理平台的核心，
18、 提供基于 资源池的资源 的管理和调度，完成 UI 的后端支持系统，可对外提供 API 供二次开发。 5）CloudPortal 是一个与用的业务/运营支撑系统的 （B/OSS） 平 台， 能使服务提供 商能够迅速迚入市场，搭建在 CloudStack 于管理平台之上。 云 计算 大数据 技术 ： ZCloudEduSysV1 教学系统 提供基于Apache Hadoop 架构的大数据系统教学 ，包含大 数据分析 处理、大数据仓库 数据库和大数据挖掘 算法三个子系统。 - 9 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 1) 大数据分析处理子系统具备如下功能： 大数据分片和分布式
19、存储 ； 大数据元数据管理，元 数据包括文件属性、文 件名与分片的对应关系 、分片的 存储节点等信息 ； 负载均衡和失效节点数据自动复制 ； MapReduce 并行处理框架 ； MapReduce 任务调度、容错 。 2）大数据仓库 数据库系统具有如下功能： SQL 语言查询接口 ； 表生成、外部表集成 ； 可进行选择、投影、连接、聚集等查询操作 ； 高吞吐率事务处理 ； 与传统数据库进行数据导入和导出 。 3）大数据 分析与挖掘 系统具有如下功能： 对大数据的分类、 聚类、 预测等数据挖掘功能。 支持并行频繁项挖掘算法，K-Means, Fuzzy K-Means、Dirichlet pr
20、ocess 等聚类算法，朴素贝叶斯、决策树等 分类算法。 - 10 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 2.3 实 验课 程指 导手 册 ZCloudEduSysV1 实验平台提供完善的实验课程体系，具体如下： ZCloud 云计算虚拟化技 术实验指导书 1. 虚拟化技 术概览 2.5 云基础设施架构 4.3 各 种 物 理 及 虚 拟 资 源 的 添 加/ 删 除/ 维护 1.1 虚拟化技术的发展历程 2.6 Region 、Zone 、Pod 和 Cluster 4.4 应用 Project 组织用户和资源 1.2 虚拟化技术关键组成部分 2.7 主存储和二级存储 4
21、.5 用户管理 1.3 常见虚拟化技术 2.8 各种网络类型 4.6 LDAP 的配置 1.4 Xen 虚拟化 2.9 CloudStack 用户界面 5. CloudStack 云平台运维和优化 1.5 KVM 虚拟化 3. CloudStack 云 管理平 台安装 部署 5.1 云管理平台全局配置常用参数 1.6 VMware Esxi5.0 3.1 源代码的获取和编译 5.2 运维相关的参数调整 1.7 常见存储技术（NFS/ISCSI ） 3.2 CloudStack 云管理服务器节点安 装 5.3 节点管理实现稳定性和高可用性 1.8 高级网络技术 3.3 管 理 服 务 器 部 署
22、 （Xen 、KVM 和 VMWare ） 5.4 网络和流量管理 1.9 端口转发 3.4 部署基本资源域 5.5 系统监控及告警通知 1.10 NAT 地址转换 3.5 建 立 主 机/ 主 存 储/ 二 级 存 储/ 系 统虚拟机 6. CloudStack 云平台 常见问题 及解 决 方法 1.11 VPN 3.6 搭建完整可用的系统. 6.1 CloudStack 中 的 各 种 事 件 （Events ） 1.12 负载均衡设置 3.7 添 加 多 个 主 机 和 主 存 储 到 云 平 台 6.2 日志管理方法 2. CloudStack 云 管理平 台架构 3.8 高级网络部署
23、 6.3 各种常见问题 2.1 CloudStack 历史和基本功能 4. CloudStack 常 用操作 2.2 CloudStack 各种专有术语 4.1 虚拟机实例创建模板/ 快照 2.3 CloudStack 的架构 4.2 云平台各个部分的生命周期 ZCloud 云计算大数据技 术实验指导书 1. Hadoop 概述 6.4 MapReduce 容错 10.7 Hive 优化策略 1.1 Hadoop 起源 6.5 Shuffle 阶段和 Sort 阶段 10.8 Hive 内置操作符与函数 1.2 Hadoop 生态系统 6.6 任务的执行 10.9 Hive 用户自定义函数接口
24、 1.3 Hadoop 常用项目介绍 6.7 作业调度器 10.10 Hive 的权限控制 1.4 Hadoop 在国内的应用 6.8 自定义 Hadoop 调度器 10.11 使用 JDBC 开发 Hive 程序 2. Hadoop 安装 6.9 YARN 介绍 11. 开 源数据库 HBase 2.1 Hadoop 环境安装配置 7. Eclipse 插件 的应用 11.1 认识 HBase 2.2 Hadoop 集群安装 7.1 编译 Hadoop 源码 11.2 HBase 设计 - 11 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 3. MapReduce 快速入 门
25、7.2 Eclipse 安装 MapReduce 插件 11.3 关键算法和流程 3.1 WordCount 实例准备开发环境 7.3 MapReduce 的 Debug 调试 11.4 HBase 安装 3.2 MapReduce 代码的实现 7.4 单元测试框架 MRUnit 11.5 HBase 的 Shell 操作 3.3 打包、部署和运行 8. MapReduce 编程开 发 11.6 HBase 客户端 4. Hadoop 分 布式文件 系统详解 8.1 WordCount 案例分析 12. Pig 4.1 认识 HDFS 8.2 输入格式 12.1 Pig 的基本框架 4.2 H
26、DFS 架构 8.3 输出格式 12.2 Pig 的安装 4.3 Hadoop 的 RPC 机制 8.4 压缩格式 12.3 Pig 的使用 4.4 HDFS 的 HA 机制 8.5 MapReduce 优化 12.4 Pig Latin 编程语言 4.5 HDFS 的 Federation 机制 8.6 辅助类 12.5 实战： 基于 Pig 的通话记录查询 4.6 Hadoop 文件系统的访问 8.7 Streaming 接口 13. Mahout 算法 4.7 JavaAPI 接口 9. MapReduce 高级应 用 13.1 Mahout 的使用 4.8 维护 HDFS 9.1 计数
27、器 13.2 Mahout 数据表示 4.9 HDFS 权限管理 9.2 MapReduce 二次排序 13.3 认识 Taste 框架 5. Hadoop 文件 I/O 详解 9.3 MapReduce 中的 Join 算法 13.4 Mahout 推荐器 5.1 Hadoop 文件的数据结构 9.4 MapReduce 从 MySQL 读写数据 13.5 聚类算法使用 5.2 HDFS 数据完整性 9.5 Hadoop 系统调优 13.6 分类算法使用 5.3 文件序列化 10. 数 据仓库 工具 Hive 13.7 推荐系统 5.4 Hadoop 的 Writable 类型 10.1 认
28、识 Hive 14. Hadoop 项目 实战 5.5 文件压缩 10.2 Hive 架构 14.1 个人存储私有云综合实训 6. MapReduce 工作原 理 10.3 Hive 文件格式 14.2 气象数据分析云综合实训 6.1 MapReduce 的函数式编程概念 10.4 Hive 操作 14.3 微信人物关系综合实训 6.2 MapReduce 框架结构 10.5 Hive 复合类型 14.4 云图书馆实例综合实训 6.3 MapReduce 运行原理 10.6 Hive 的 JOIN 详解 2.4 大 数据 分析 与挖 掘 实 训项 目 2.4.1 LBS 朋友 圈位置分 享实训
29、 LBS 全称为Location Based Services ，有两层含义：首先是确定设备或用户所在的 地理位置， 也即所处的空间； 其次是提供与所处空间相关的各类服务。 也就是说 LBS 就 是要借助互联网或无线网络， 在固 定用户或移动用户之间， 完成 “定 位” 和 “服务” 两 大功能。 LBS 成为移动互联网到 来时一种新的基础服务 ，这是移动互联网再不 用遵循传统互 联网玩法的全新领域，对智能手机用户而言，它又使人能在现实中拥有超过 PC 时代的 - 12 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 全新能力。 LBS 朋友圈位置分享系 统采用智云互联开发平 台技术
30、，开发了类似与 微信的 “查找 附近的人 ”应用功能， 通过分享位置信息， 查询附近的人， 同时可以进行消息互动。 详 细功能如下： 1） 采用Hadoop 分布式数据库对上报位置进行海量存储； 2）采用GeoHash 算法进行位置维度定位； 3）第一次使用时，会提示您 需要同意使用地理位置信息和补充个人信息； 4） 进入到查看附近的人页面， 可以查看到附近人的相关信息， 包括性别、 所在地 区 和个性签名； 5）点击感兴趣的人，还可以给他打招呼并成为朋友； 6）附近好友之间可以进行消息聊天； 7） 如果您不想再被附近人查看到， 可以点按列表右上角图标清除您的地理位置信息； 8）支持Andro
31、id2.2/2.3、Android4.0 以及更高版本的 android 平台。 2.4.2 微信人 物关 系云分 析实 训 双十一购物节能成为时 下 IT 圈的弄潮儿，离 不开阿里利用大数据个 性化推荐的法 宝， 而亚马逊可以领跑美国电子商务， 也得益于它们的个性化推荐系统， 推荐系统会成 为以移动互联网为载体的下一代互联网的支撑内容。 特别是近几年应用的领域很多， 像 电子商务里面有淘宝， 当当等等， 音乐上就有豆瓣电台之类的， 另外像社交网络有新浪 微博，还有像本地服务中的大众点评，腾讯微信/QQ 的好友推荐，新闻人物关系分析等 - 13 - 智云开放平台，做最务实的云计算与大数据教学实
32、验系统! 等。 微信人物关系云分析系统是移动互联网与大数据结合的一个典型应用案例，使用 Hadoop 的HDFS 和Map/Reduce 来模拟微信账号的个人数据和通信数据分 析， 分析出两个 账号之间可能存在的关系。相似的业务有：QQ 好友推荐和人人网人物关系分析等。 在 Hadoop 的集群平台 上存储了一些模拟微信 个人账号和通信数据信 息，其中包含 了： 姓名， 年龄， 性别 ， 职业， 地址， 好友信 息， 通信地点， 通信时 间， 通信内容等多 维度的信息； 每个学生都可以把这个文件下载到本地， 然后以个人信息为基准来修改这 些文件， 再回传这些文件到云分析目录下， 作为分析人物关
33、系的数据依据； 回传成功后， 学生可以设定判定两个人物之间关系的一些关键词， 这些关键词可以作为判断两个人物 之 间 关 系 的 依据 ， 例 如， 朋 友 关 系:“哥们” ， “ 一 起 吃 饭 ”等 ， 还 有一 些 其 他 维 度信 息 的设定， 比如两个人的年龄相仿等等， 通过一系列条件的设定来告诉系统要依据这些信 息来分析两个人物之间可能存在的某种关系。 2.4.3 个人私 有存 储云实 训 知识点：云存储概念的介绍；Hadoop 与云存储的关系；hadoop 的 HDFS 简单上传和 下载的API 使用 实验目的： 使用Hadoop 的分布式文件系统 （HDFS） 来模拟现实生活
34、当中的云存储服 务。 实验流程：学生可以通过 web 页面来访问云存储系统，学生注册自己的用户，登录 到云存储系统； 学生注册成功后， 就已经在 hadoop 集群上拥有了系统分配的存储空间， 然后用户登录成功， 可以往自己的存储空间里上传图片和文件， 还可以下载图片和文件， - 14 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 同时可以删除图片和文件，查看自己空间的信息，浏览自己的文件等等。 相似业务推荐：网易有道云笔记 2.4.4 气象数 据分 析实训 知识点： 云计算概念的介绍；Hadoop 与云计算的关系；Hadoop 的Map/Reduce 的编程流 程介绍 实验目的：
35、通过使用Hadoop 的Map/Reduce 来模拟现实生活当中的云计算服务。 实验业务： 该实验模拟的是一个 全国的气温统计系统， 老师代表气象管理中心员， 拥有 自己的超级用户； 班级里的每个学生代表着全国内的各个省市， 直辖市或者自治区。 学 生首先要在系统上注册该地区的名称和 ID， 注册成功后， 可以登录到系统， 登录成功后 可以上传本地区一段时间的气象数据 （数据格式： 2012-11-13 气温： 湿度： 等 ， 系 统 会 提 供示 例 数据 文 件 供 下 载 ） ， 上 传完 成 后 则 等 待 气象 管 理中 心 的 统 计 。 气 象 管理中心员老师通过查看各个地区是否
36、都已上传了本地的气象数据， 如果都完成， 则可 以执行统计命令来完成全国的气象数据统计，统计完成后，在页面 上显示统计的结果。 实验流程： 基于web 页面技术来实现上面的模拟业务逻辑， 气象中心管理员老师拥护自 己的管理用户， 可以随时登陆系统， 管理各个地区用户； 学生则需要通过页面来注册他 所代表的地区， 然后登录到系统， 上传本地区的气象数据文件， 上传成功后等待气象中 心管理员的统计； 气象中心管理员老师则等待所有学生上传完成， 然后可以点击页面的 按钮来统计所有的数据， 数据统计完成后， 可 以在页面查看全国平均温度和湿度的平均 结果，包括单位时间内，温度和湿度的曲线示意图等。 相
37、似业务推荐：中央气象台云分析系统 - 15 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 2.4.5 图书馆 图书 管理实 训 知识点：Hadoop 的 HDFS 和 Map/Reduce 的结 合使用；深入了解 HDFS 和 Map/Reduce 的一些高级API 的使用；着重探讨 Hadoop 的云计算与现实中的业务逻辑的整合。 实验目的： 通过hadoop 的HDFS 和Map/Reduce 来实现一个图书馆图书管理系统， 通 过实验项目学生可以实现对图书馆的管理。 实验业务：学生可以下 载一些书籍的文章，然 后整理成一本书籍格式 的文件，其包 含：书名，作者，著作日期，内容
38、等，并上传至 hadoop 集群服务器 ，上传成功后，然 后学生进行添加， 删除操作， 并可以 对书籍的名称， 作者， 著作日期， 书籍内容等相关 元 数 据 进 行 文 字搜 索 ，例 如 ： 我 可 以 查找 一 个作 者 “ 韩 寒 ” ，内 容 包括 有 “ 赛 车 ” 的 课 本，然后系统会显示其查询结果内容。 实验流程：学生还是使 用原来登录系统进行登 录或者注册，登录成功 后，学生可以 从网络或者本地计算机找一些书籍的文件， 然后通过页面上传至图书管理系统， 然后通 过页面的功能按钮对书籍进行管理和建立索引， 索引建立成功后， 系 统提示学生可以进 行信息的检索了，然后学生可以利
39、用系统来查找自己想要找的书籍。 相似业务推荐：百度文库文档管理 - 16 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 2.4.6 智能EMS 速递 云实 训 知识点： 物联网与云计算的结合， 深入熟悉Hadoop 的高级应用和API 的掌握； Hadoop 的云存储和云计算与物联网技术的整合； 探讨 Hadoop 云的存在的意义， 优势和局限性。 实验目的：通过hadoop 的云存储和云计算来实现一个快递员迅速取送快递的过程。 实现业务：系统会通过 各种方式收集发送快递 的信息，包括电话，手 机和互联网平 台等 （这些数据通过系统模拟来实现） ， 信息收集回来后， 存储在 had
40、oop 的云存储服务 器平台上，然后通过 hadoop 的云计算系统开始分析，分析完成后，会把离快递员最近 的快件分配 给一个快递员，这样达到一个资源最优化的处理。 实 验 流 程 ： 老 师 可 以 把 自 己 模 拟 成 快 递 信 息 数 据 采 集 终 端 （ 如 上 电 话 等 ） ， 随 时 往 hadoop 云平台上上传数据信息； 学生可以把自己模拟成快递人员， 然后通过页面登录到 云智能速递网， 来领取自己的快件； 云智能速递网会随时分析数字终端上传来的快递信 息， 然后通过快递的信息 （如： 经纬度） 来分析该快件应该分配给哪个快递人员？ （指 所有快递人员中目前所在位置 （
41、经纬度） 离该快件接送距离最近的一个） ， 分配成功后， 该快件就处于正在发送状态， 然后快递人员可以通过页面来领取自己的快件， 领取以后 开始发 送货物，发送成功后，可以提交货物发送的状态：成功或失败。 相似业务推荐：IBM 智慧地球 - 17 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 2.4.7 物联网 数据 分析实 训 云计算和大数据的研究 需要大量的真实数据样 本 ，基于物联网的海量 实时传感数据 可以作为大数据源研究的支撑 。 中智讯针对物联网技术开发了一套物联网信息化 公共服 务系统， 提供开放程序接口 能够快速构建物联网传感网络系统， 智能网关能够实时处理 海量高
42、频数据进行与远端数据中心的接入 和存储 。 智云硬件库包含了所有 的物联网底层硬件资源 ，实现真实物理系统的 采集与控制， 通过分析海量的物理大数据， 根 据应用需求进行决策管理， 对执行设备进行自动化控制。 硬件库可选择工业传感器、 商用传感器或者教学传感器， 类别包含各种感知器、 执行器、 采集器、 摄像头、 门禁、 显示屏、 电机设备、 气象站、M2M 路由、Android 网关、Zigbee 工业无线节点等各种设备， 为学生提供行业真实应用的硬件资源， 用于支撑云计算大数 据教学系统的数据分析、 仓储、 挖掘及决策， 使学生在掌握基础的编程语言之后， 可以 根据自己的想法、创意进行各种
43、云互联物联网项目的开发。 - 18 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 例： 提 供实验 平台 Cotex-A9 嵌入 式主 机上实时 在线 监测 3 个 以上 （含 3 个） 不同城 市 的 雾霾 数据 ， 曲 线实现最 近 1 小时 、 最近 1 天、 最 近 1 周 、 最 近 1 月、 最 近 3 个月 等数 据 ， 并通 过 Hadoop 分布 式大 数据技 术对 数据进 行分 析， 通 过饼图 展示 天气 情况的 分布 情况. 图 1 实验截图说明： 在图1 中显示了武汉、 深圳、 北京共 3 个城市最近1 小时的雾霾数据曲 线图分布情况；同时通过饼状图分别将
44、 3 个城市的雾霾数据分析结果进行显示。 - 19 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 图2 实验截图说明： 在图2 中显示了武汉、 深圳、 北京共 3 个城市最近1 天的雾霾数据曲线 图分布情况；同时通过饼状图分别将 3 个城市的雾霾数据分析结果进行显示。 图3 实验截图说明： 在图3 中 显示了武汉、 深圳、 北京共 3 个城市最近1 周的雾霾数据曲线 图分布情况；同时通过饼状图分别将 3 个城市的雾霾数据分析结果进行显示。 图4 - 20 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 实验截图说明： 在图4 中显示了武汉、 深圳、 北京共 3 个城市最近
45、1 个月的雾霾数据曲 线图分布情况；同时通过饼状图分别将 3 个城市的雾霾数据分析结果进行显示。 图5 实验截图说明： 在图5 中显示了武汉、 深圳、 北京共 3 个城市最近3 个月的雾霾数据曲 线图分布情况；同时通过饼状图分别将 3 个城市的雾霾数据分析结果进行显示。 3 大 学 计 划 与 培训 服 务 3.1 中 智讯 大学 计划 参加中智讯 数据分析与 挖掘技术 实验室大学计 划的客户在享受基础售 后技术支持的 同时，可以获得以下的增值服务： 联合共建智云虚拟化与大数据创新 实验室 通过大学计划审核的高 校通过申请可以挂牌建 立高校企业联合实验室 ，并获得中智 - 21 - 智云开放平
46、台，做最务实的云计算与大数据教学实验系统! 讯上门售后师资培训服务，同时将建立起后续良好的技术沟通渠道。 智云物联开放平台共享 免费开放使用智云开放 平台，提供专业的技术 指导、毕设/课设/竞赛 指导，提供 大 数据教学科研所需的真实环境智云数据样本库，支撑大数据行业应用的开发 。 辅助课程体系的融合 面对 数据分析与挖掘技 术 实验室新技术的学习 ，中智讯将辅助高校 针 对现有的课程 进行升级 ，为高校定制适合自身的课程体系 ，打造最优化的特色 云计算实验室 。 专业师资队伍的培养 为了推动高校专业师资 队伍的培养，中智讯将 定期进行专场师资培训 ，提供免费名 额的师资培养计划 ， 用于讲授
47、最新的 云计算虚拟化与大数据 课程。 同时提供 “卓越讲师” 的培养计划，提供暑期一个月的项目培养，让老师深入到具体项目中进行学习。 实训项目辅助开发 中智讯针对 云计算虚拟 化与大数据 系列教学设 备， 将持续开发综合性 的项目应用案 例， 并制定完整的项目开发计划， 将项目需求解析成若干的小应用模块， 为高校学生的 课程设计/毕业设计提供持续的技术支持。 - 22 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 工程师认证及再就业培训 中智讯 作为Apache Hadoop 官方认证的培训合作伙伴 系，提供 Apache Hadoop 认证 的Apache Hadoop 培训课程
48、 ，并为师资及学生做长期的技术深造及再就业培训。 3.2 中 智讯 师资 人才 培养 中智讯武汉研发中心提 供全方位的师资培训任 务及产品的售后服务， 建立好高校企 业联合实验室的用户将提供上门师资培训， 课程采用理论与实践上机交叉教学， 内容涉 及云计算虚拟化与大数据 的各个知识方向， 并通过综合的融合项目设计增强用户的行业 认知。 课 程大 纲： 1、了 解云计算虚拟化与大数据 开发框架，掌握相关课程的开发及 基本工具 ； 2、学习 云计算虚拟化技术，了解主流虚拟化软件的安装配置与使用 ； 3、掌握CloudStack 云计算自动化管理系统，学习 CloudStack 的安装配置与使用；
49、4、 掌握Hadoop 分布式云计算系统，掌握 HDFS/MapReduce 编程； 5、掌握HBase、HIVE 、Pig 数据仓库技术，学习大数据的分析和处理 ； 6、 掌握 机器学习与 Mahout 数据挖掘技术， 学习各种数据挖掘算法：K-Means, Fuzzy K-Means 、Dirichlet process 等聚类算法，朴素贝叶斯、决策树等分类算法。 课 程内 容： 云计算 虚拟 化 1. 云计算与虚拟化技术 2. Xen 、KVM 、VMware ESXi 、VirtualBox 虚拟技术 - 23 - 智云开放平台，做最务实的云计算与大数据教学实验系统! 3. CloudStack 云管理服务器节点安装 4. 管理服务器部署（Xen 、KVM 和 VMWare ） 5. 虚拟资源的管理 6. 运维过程中常见问题及解决方法 云计算 与大 数据 1. 云计算与大数据技术 2. Hadoop 安装部署与配置 3. MapReduce 编程 4. MapReduce 常见算
