1、 平台认证数据工程师培训 1 课堂 实验 一、 基本 信息 文档编号 文档版本 1.0 实验名称 YARN作业执行和管理 所属课程 第 4讲 分布式资源管理框架 YARN 认证等级 数据工程师 （初级） 授课 形式 上机 实验 实验批次 第 4次 / 共 11次 二、 实验目的 掌握 在 YARN上提交和执行作业。 掌握 YARN的作业管理 命令 。 理解 YARN的工作原理和作业执行过程。 三、 实验 准备 在本地 新建 wordcount.txt，文件中输入 若干单词 ，单词间 用 空格分隔。 实验目录规划（ zhangsan代表学员姓名） （ 1）本地目录： mnt/disk1/zhan
2、gsan； （ 2） HDFS作业输入目录： /tmp/zhangsan/wordcount_input； （ 3） HDFS作业输出 目录： /tmp/zhangsan/wordcount_output。 四、 实验内容 1、 上传 作业 输入 文件 任务 ： 将本地 文件 wordcount.txt上传 至 HDFS的 作业 输入目录 中 。 步骤 Linux： / 将 Hadoop当前 用户切换为 yarn， 进行 访问授权 1. export HADOOP_USER_NAME=yarn / 在 HDFS中 创建 作业 输入 目录 2. hadoop fs -mkdir /tmp/zha
3、ngsan/wordcount_input / 上传 wordcount.txt到 作业 输入目录 3. hadoop fs -put wordcount.txt本地 文件路径 /tmp/zhangsan/wordcount_input 平台认证数据工程师培训 2 2、 执行 作业 任务 ： 将 Hadoop Mapreduce样例程序 hadoop-mapreduce-examples-2.7.2-transwarp-5.1.2.jar的 WordCount作业提交给 YARN，并执行得出结果 。 步骤 Linux： / 切换目录 1. cd mnt/disk1/TDH-Client/had
4、oop/hadoop-mapreduce /* 向 YARN 提交并执行作业。 wordcount 是 main 函数所在类的类路径，/tmp/zhangsan/wordcount_input 为 作业 输入目录 ， /tmp/zhangsan/wordcount_output 为作业输出目录 */ 2. hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-5.1.2.jar wordcount /tmp/zhangsan/wordcount_input /tmp/zhangsan/wordcount_output 3、 查看 作业输出 结
5、果 任务 ： 查看 WordCount作业 的输出结果 ， 先 看 输出 目录 是否 创建 ， 再 看生成的 输出 文件是否 完成 了词频统计 。 步骤 Linux： / 查看 输出 目录是否 创建 1. hadoop fs -ls /tmp/zhangsan/wordcount_output / 查看 输出 文件内容 2. hadoop fs -cat /tmp/zhangsan/wordcount_output wordcount_output_filename 4、 管理 作业 任务 ： 先 向 YARN 提交一个 运行时间较长的 tpcds 数据制造 作业 ， 再 通过 YARN 命令
6、查看、停止 作业 。 步骤 （ 1） 运行 tpcds造数 作业 Linux： / 登录文件服务器 ， 拷贝 tpcds-5.x.tar.gz到集群服务器 1. ssh root172.16.140.111 2. scp /mnt/disk1/de_traning/tpcds-5.x.tar.gz 172.16.140.85:/mnt/disk1/zhangsan / 登录集群服务器 ，解压 tpcds-5.x.tar.gz， 生成 tpcds目录 3. ssh root172.16.140.85 4. cd /mnt/disk1/zhangsan 5. tar xzvf tpcds-5.x.tar.gz / 将 Hadoop当前 用户切换为 hdfs 平台认证数据工程师培训 3 6. export HADOOP_USER_NAME=hdfs / 执行造数作业 7. sh ./tpcds/gen-data.sh （ 2） 管理 YARN作业 Linux： / 列出所有运行 的 作业 1. yarn application list / 查看 tpcds作业 的 状态 2. yarn application -status Application ID / 停止 tpcds作业 3. yarn application -kill Application ID
