1、大数据课程教学大纲适合专业： 数据科学与大数据技术专业 课程编号： 先修课程： 高等数据、线性代数、JAVA 学分: 4 总学时： 64 一、课程性质、目的与要求课程性质：专业必修课。课程目的：通过对大数据的相关知识介绍，使学生掌握大数据的概念和原理，熟悉大数据的理论与算法，了解大数据未来发展趋势，能够利用所学知识，进行大数据应用实现和算法设计，培养学生运用大数据技术解决大数据行业应用问题。课程要求：本课程系统介绍了大数据的理论知识和实战应用，包括大数据概念与应用、数据采集与预处理、数据挖掘算法与工具、R 语言、深度学习以及大数据可视化等，并深度剖析了大数据在互联网、商业和典型行业的应用。期望
2、学生对大数据处理技术有比较深入的理解，能够从具体问题或实例入手，利用所学的大数据知识在应用中实现数据分析和数据挖掘。二、教学内容理论总学时：36 学时第 1章 大数据概念与应用 2 学时基本要求：熟悉大数据的概念与意义、大数据的来源、大数据应用场景及大数据处理方法等内容。重点：大数据的定义、研究内容与应用。难点：无。第 2章 数据采集与预处理 4 学时基本要求：熟悉常用的大数据采集工具，特别是 Apache Kafka数据采集使用方法；熟悉数据预处理原理和方法，包括数据清洗、数据集合、数据转换；掌握数据仓库概念与 ETL工具 Kettle的实际应用。重点：Apache Kafka 数据采集、数
3、据清洗、数据仓库与 ETL工具。难点：ETL 工具 Kettle的实际应用。第 3章 数据挖掘算法 6 学时基本要求：熟悉常用的数据挖掘算法，内容上从分类、聚类、关联规则和预测模型等数据挖掘常用分析方法出发掌握相对应的算法，并能熟练进行数据挖掘算法的综合应用。重点：分类算法、聚类算法、关联规则、时间序列预测。难点：数据挖掘算法的综合应用。第 4章 大数据挖掘工具 4 学时基本要求：熟练掌握机器学习系统 Mahout和大数据挖掘工具 Spark Mllib下的分类算法、聚类算法、协同过滤算法的使用，并对其他数据挖掘工具有所了解。重点：Mahout 安装与使用、Spark Mllib 工具的使用。
4、难点：Mahout 和 Spark Mllib工具的使用。第 5章 R 语言 4 学时基本要求：了解 R语言的发展历程、功能和应用领域；熟悉 R语言在数据挖掘中的应用；掌握 R语言在分布式并行实时计算环境 Spark中的应用 SparkR。重点：R 语言基本功能、R 语言在数据挖掘中的应用、SparkR 主要机器学习算法。难点：R 语言与数据挖掘。第 6章 深度学习 4 学时基本要求：了解深度学习的发展过程和实际应用场景，并结合人脑的工作原理，理解深度学习的相关概念和工作机制，做到能够熟练使用常用的深度学习软件。重点：人脑神经系统与深度学习、卷积神经网络、深度置信网络、循环（递归）神经网络、T
5、ensorFlow 和 Caffe。难点：人工神经网络。第 7章 大数据可视化 4 学时基本要求：熟悉大数据可视化的基础知识；掌握文本可视化、网络可视化、时空数据可视化、多维数据可视化等常用的大数据可视化方法，可通过Excel、Processing、NodeXL 和 ECharts软件实现数据的可视化。重点：数据可视化流程、大数据可视化方法、大数据可视化软件与工具。难点：时空数据可视化、多维数据可视化。第 8章 互联网大数据处理 4 学时基本要求：掌握互联网信息抓取技术，能够通过互联网信息抓取、文本分词、倒排索引与网页排序这 4个主要步骤实现互联网大数据处理，并能够熟练运用。重点：Nutch
6、爬虫、文本分词、倒排索引、网页排序。难点：倒排索引。第 9章 大数据商业应用 2 学时基本要求：熟悉用户画像和精准营销的构建；熟悉广告推荐系统的建设；熟悉互联网金融的应用方法。重点：用户画像构建流程、用户标签、广告推荐、互联网金融应用方向。难点：信用评分算法、分类模型的性能评估。第 10章 行业大数据 2 学时基本要求：以地震大数据、交通大数据、环境大数据和警务大数据为例来熟悉行业大数据的应用，学会利用数据创造价值。重点：理解数据和数据分析在业务活动中的具体表现。难点：无。三、实践教学要求实践总学时：28 学时序号实验项目名称实验类型实验要求实验内容简介基本要求学时分配1Apache Kafk
7、a验证 必做在 CentOS 7操作系统环境下，设置大于 4GB的交换空间，进熟练掌握 2数据采集工具行 Apache Kafka的安装和使用。该实验可以在大数据实验平台上开展。2数据挖掘算法应用设计 必做做实验前需要老师上传实验输入数据，明确实验目的与要求，指导学生完成数据挖掘算法的综合运用实验。该实验可以在大数据实验平台上开展。熟练掌握 43 Mahout 应用 必做安装 Linux操作系统和 Hadoop平台后完成 Mahout的部署，并上传实验输入数据，完成分类算法、聚类算法、协同过滤算法的应用。该实验可以在大数据实验平台上开展。熟练掌握 24Spark MLlib应用 必做在 Spa
8、rk环境中，运用 Spark Mllib工具中实现分类算法、聚类算法、协同过滤算法的应用。该实验可以在大数据实验平台上开展。熟练掌握 25Cifar-10目标识别应用 必做运用 Caffe框架获取 Cifar-10数据集，将训练数据集转化为训练需要的格式，将训练集送入网络训练，得到最终的识别模型，识别数据集的 10类目标物体。该实验可以在深度学习一体机上开展。熟练掌握 26MNIST手写体数字识别项目应用 必做利用 caffe框架获得 MNIST手写体数字数据集和 LeNeT网络描述文件，将原始数据转化为熟练掌握 2训练数据输入网络，经过不断的迭代得到最终网络模型，利用模型可以识别出和同类型的
9、手写体数字。该实验可以在深度学习一体机上开展。7 搜索引擎 设计 必做先从网页中扒取部分数据信息，然后从这些信息中提取去我们所需要的几项数据，将其存储在 HBase中。然后我们可以通过关键词搜索从 HBase中将这些数据根据我们的关键词提取出来。该实验可以在大数据实验平台上开展。熟练掌握 48 推荐系统 设计 必做根据数据集利用 Spark进行训练，得到一个最佳推荐模型，并用实际数据和平均值这两方面评价该模型的准确度。该实验可以在大数据实验平台上开展。熟练掌握 49个人贷款风险评估应用 必做通过提取贷款用户相关特征，使用 Spark MLlib构建风险评估模型，使用逻辑回归算法将用户分为高风险
10、、低风险两种风险等级，此分类结果可作为银行放贷的参考依据。该实验可以在大数据实验平台上开展。熟练掌握 210环境大数据设计 必做选取北京 2016年 1月到 6月这半年间的每小时天气和空气熟练掌握 4质量数据，要求每位学生在client服务器上运行这些数据，从中分析出的环境统计结果，包含月平均气温、空气质量分布情况等。该实验可以在大数据实验平台上开展。注：1、实验类型：演示、验证、综合、设计、研究。2、实验要求：必做、选做。四、课时分配序号 章节 内容 理论环节时数 实验时数1 第 1章 大数据概念与应用 22 第 2章 数据采集与预处理 4 23 第 3章 数据挖掘算法 6 44 第 4章
11、大数据挖掘工具 4 45 第 5章 R语言 46 第 6章 深度学习 4 47 第 7章 大数据可视化 48 第 8章 互联网大数据处理 4 49 第 9章 大数据商业应用 2 610 第 10章 行业大数据 2 4合计： 36 28总学分 4 总学时 64五、建议教材与教学参考书序号 书名 编者 出版社 版本1 大数据 刘鹏 电子工业出版社 12 云计算 刘鹏 电子工业出版社 33 大数据库 刘鹏 电子工业出版社 14 大数据实验手册 刘鹏 电子工业出版社 15实战 Hadoop2.0从云计算到大数据叶晓江、刘鹏 电子工业出版社 2六、教学形式与考核方式教学形式：本课程采用课堂讲授、分析和实践教学等手段开展教学活动。考核方式：本课程采用平时考察与期末闭卷考试相结合的考核方法。平时考察主要考察课堂表现、作业完成情况，平时成绩占 30%（课堂表现及考勤占 5%，作业占 25%） 。期末考试主要采用闭卷考试的方式。命题要求覆盖大纲重点内容，题型不少于四种，难易程度适中。
