1、课 程 实 验 报 告专 业 年 级 14 级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.05.04 实 验 地 点 笃行楼 B 栋 301 实 验 成 绩 教务处制2017 年 03 月 09 日实验项目名称 Liunx基本操作实验目的及要求1. 了解 Liunx操作系统发展历史。2. 学习 Liunx操作系统基本概念及操作。3. 学习 Liunx操作系统用户及文件权限管理。4. Linux 目录结构及文件基本操作。实验内容1.实验楼环境介绍，常用 Shell 命令及快捷键，Li
2、nux 使用小技巧。2.Linux 中创建、删除用户，及用户组等操作。Linux 中的文件权限设置。3.Linux 的文件组织目录结构，相对路径和绝对路径，对文件的移动、复制、重命名、编辑等操作。实验步骤1. Liunx输入输出命令。2. 使用 touch 命令创建文件夹，后缀都为 txt。3. 学会在命令行中获取帮助。4. 输出图形字符。5. 查看用户。6. 创建新用户。7. 删除用户。8. 查看文件权限。9. 用 ls A/Al/dl/AsSh 查看文件。10. 变更文件所有者。11. 修改文件权限。12. 目录路径。13. 新建空白文件。14. 文件的复制、删除、移动、重命名。实验环境
3、Liunx 操作系统实验结果与分析通过学习 Liunx操作系统的发展历史、基本操作、用户及文件权限管理以及Linux 目录结构及文件基本操作。是得我大致了解 Liunx操作系统的使用，并且能够完成相应的练习。教师评语注：可根据实际情况加页课 程 实 验 报 告专 业 年 级 14 级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.05.04 实 验 地 点 笃行楼 B 栋 301 实 验 成 绩 教务处制2017 年 03 月 09 日实验项目名称 Hadoop的基本操作实验目的及要求
4、1. Hadoop单机模式安装.2. Hadoop伪分布模式配置部署.3. Hadoop介绍及 1.X伪分布式安装.4. adoop2.X 64位编译.5. Hadoop2.X 64位环境搭建.实验内容1. hadoop三种安装模式介绍,hadoop 单机模式安装,测试安装2. hadoop配置文件介绍及修改,hdfs 格式化,启动 hadoop进程，验证安装.3. Hadoop1.X伪分布安装, Hadoop 介绍,Hadoop 变量配置.4. Hadoop2.X 64位编译, 编译 Hadoop2.X 64位, 编译 Hadoop.5. 搭建环境, 部署 Hadooop2.X, 启动 Ha
5、doop.实验步骤1. 用户及用户组, 添加用户及用户组, 添加 sudo权限.2. 安装及配置依赖的软件包, 安装 openssh-server、java、rsync 等, 配置 ssh 免密码登录.3. 下载并安装 Hadoop, 下载 Hadoop 2.6.0, 解压并安装, 配置 Hadoop.4. 测试验证.5. 相关配置文件修改:修改 core-site.xml:6. 格式化 HDFS 文件系统.7. Hadoop 集群启动.8. 测试验证.9. 设置 Host 映射文件.10. 下载并解压 hadoop 安装包11. 在 Hadoop-1.1.2 目录下创建子目录 .12. 启动
6、 hadoop.13. 编译 Hadoop2.X 64 位.14.使用 yum 安装 sun.15. 部署 Hadooop2.X.与 Hadoop1.X 类似。实验环境 hadoop Xfce终端实验结果与分析通过本次实验，让我对 Hadoop有所了解，但是在实验过程中出现许多问题。例如，不知道该如何下载 java jdk，甚至如何创建文件夹目录下的文件，以及 Hadoop的环境配置原理以及编译原理和方法。这些都是实验中出现的问题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在一部分就只能通过课后自学进行解决！通过上述的学习，让我对 Hadoop的基本操作有了基础的掌握，包括 Ha
7、doop介绍及 1.X伪分布式安装，adoop2.X 64位编译，Hadoop2.X 64 位环境搭建等。教师评语注：可根据实际情况加页课 程 实 验 报 告专 业 年 级 14 级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.06.01 实 验 地 点 笃行楼 B 栋 301 实 验 成 绩 教务处制2017 年 03 月 09 日实验项目名称 HDFS 和 MapReduce实验目的及要求1. HDFS原理及操作。2. MapReduce原理及操作。实验内容1. HDFS原理及操
8、作。环境说明，HDFS 原理，HDFS 架构，HDFS 读操作，HDFS 写操作，测试例子2MapReduce 原理及操作。环境说明，MapReduce 原理，Map 过程，Reduce 过程，测试例子实验步骤1.HDFS原理及操作。1.1 环境说明。虚拟机操作系统： CentOS6.6 64 位，单核，1G 内存JDK：1.7.0_55 64 位Hadoop：1.1.21.2 HDFS原理。HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的 GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个
9、高度容错性和高吞吐量的海量数据存储解决方案。1.3 HDFS架构。HDFS是 Master和 Slave的结构，分为 NameNode、Secondary NameNode和 DataNode三种角色。1.4 HDFS读操作。客户端通过调用 FileSystem对象的 open()方法来打开希望读取的文件。1.5 HDFS写操作。客户端通过调用 DistributedFileSystem的 create()方法创建新文件。1.6测试例子 1。1.创建代码目录2. 建立例子文件上传到 HDFS中3. 配置本地环境4. 编写代码5. 编译代码6. 使用编译代码读取 HDFS文件2. MapRedu
10、ce原理及操作。2.1环境说明。虚拟机操作系统： CentOS6.6 64 位，单核，1G 内存JDK：1.7.0_55 64 位Hadoop：1.1.22.2 MapReduce原理。Map 和 Reduce。当你向 MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个 Map 任务，然后分配到不同的节点上去执行，每一个 Map 任务处理输入数据中的一部分，当 Map 任务完成后，它会生成一些中间文件，这些中间文件将会作为 Reduce 任务的输入数据。Reduce 任务的主要目标就是把前面若干个 Map 的输出汇总到一起并输出。2.3 Map过程。每个输入分片会让一个
11、 map任务来处理，默认情况下，以 HDFS的一个块的大小（默认为 64M）为一个分片，当然我们也可以设置块的大小。map 输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为 100M，由 io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的 80%，由 io.sort.spill.percent属性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。2.4 Reduce过程。Reduce会接收到不同 map任务传来的数据，并且每个 map传来的数据都是有序的。如果 reduce端接受的数据量相当小，则直接存储在内存中（缓冲区大小由map
12、red.job.shuffle.input.buffer.percent属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了该缓冲区大小的一定比例（由 mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中。2.5测试例子。1 编写代码。2.编译代码。3.打包编译文件。4.解压气象数据并上传到 HDFS中。5. 运行程序。6. 查看结果。实验环境虚拟机操作系统： CentOS6.6 64 位，单核，1G 内存JDK：1.7.0_55 64 位Hadoop：1.1.2实验结果与分析实验分析：通过学习 HDFS和 MapReduce，了解其原理及操作，但是在实验过程中遇到很多问题，例如无法启动 Hadoop、无法连接到 Hadoop等问题，通过自己请教老师、同学以及网上自己动手查阅资料得以解决。明白其工作原理，从而进一步了解到 Hadoop的运行机制与操作，更加了解大数据。教师评语注：可根据实际情况加页
