收藏 分享(赏)

云帆大数据lesson06笔记.docx

上传人:HR专家 文档编号:6238054 上传时间:2019-04-03 格式:DOCX 页数:10 大小:1.72MB
下载 相关 举报
云帆大数据lesson06笔记.docx_第1页
第1页 / 共10页
云帆大数据lesson06笔记.docx_第2页
第2页 / 共10页
云帆大数据lesson06笔记.docx_第3页
第3页 / 共10页
云帆大数据lesson06笔记.docx_第4页
第4页 / 共10页
云帆大数据lesson06笔记.docx_第5页
第5页 / 共10页
点击查看更多>>
资源描述

1、查看系统的 libc 版本ll /lib64/libc.so.6export JAVA_HOME=/usr/java/jdk1.8.0_91fs.default.namehdfs:/cent01:9000hadoop.tmp.dir/home/grid/hadoop/tmpHdfs-site.xmldfs.replication1Yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shufflemapred-site.xmlmapreduce.framework.nameyarnbin/hdfs namenode formatsbin/had

2、oop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanodesbin/hadoop-daemon.sh start secondarynamenodehdfs dfs -mkdir /userhdfs dfs -mkdir /user/grid运行 mapreduce 程序hdfs dfs -mkdir /user/grid/inputhdfs dfs -put etc/hadoop/*.xml /user/grid/input注释 yarn,让 mapreduce 运行在本地vi etc/hadoop/mapred-site

3、.xmlhadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /user/grid/input /user/grid/output1 dfsa-z.+启动 YarnVi yarn_env.shexport JAVA_HOME=/usr/java/jdk1.8.0_91yarn-daemon.sh start resourcemanageryarn-daemon.sh start nodemanagerhttp:/cent01:8088/再次运行 mapreduce 在 yarnvi etc/hado

4、op/mapred-site.xml去掉注释在 mapred-env.sh 中export JAVA_HOME=/usr/java/jdk1.8.0_91hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /user/grid/input /user/grid/output2 dfsa-z.+查看端口占用情况netstat tnlpmr-jobhistory-daemon.sh start historyserverhttp:/cent01:19888hdfs dfs -mkdir -p /user/grid/mr/wordcount/inputhdfs dfs -mkdir -p /user/grid/mr/wordcount/outputhdfs dfs -put hello.txt /user/grid/mr/wordcount/inputyarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/grid/mr/wordcount/input/ /user/grid/mr/wordcount/output1

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 企业管理 > 经营企划

本站链接:文库   一言   我酷   合作


客服QQ:2549714901微博号:道客多多官方知乎号:道客多多

经营许可证编号: 粤ICP备2021046453号世界地图

道客多多©版权所有2020-2025营业执照举报