分享
分享赚钱 收藏 举报 版权申诉 / 40

类型cloudera 安装部署手册.doc

  • 上传人:HR专家
  • 文档编号:11358908
  • 上传时间:2020-04-03
  • 格式:DOC
  • 页数:40
  • 大小:1.55MB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    cloudera 安装部署手册.doc
    资源描述:

    1、clouderaCDH安装功能名称:业务名称:编 写 人:编写日期:2014-7-28确 认 人:确认日期:修订记录日期版本作者/修改者描述审核人目 录1.导言51.1.说明51.2.集群节点51.3.硬件51.4.软件版本52.准备工作52.1.操作系统52.2.磁盘52.2.1.是否需要raid52.2.2.磁盘划分52.2.3.磁盘裸设备的挂载62.3.关闭防火墙62.4.修改主机名并配置Hosts72.4.1.修改主机名72.4.2.设置每台主机的hosts72.5.ssh免登陆配置72.5.1.创建公钥和密钥72.5.2.配置与其他机器的免密码登陆82.6.同步集群时间ntp92.6

    2、.1.配置ntp server集群时钟92.6.2.ntp客户端配置102.6.3.测试112.7.上传安装包以及搭建yum源122.7.1.安装cloudera需要的文件如下安装包122.7.2.上传yum源需要的文件到 /var/www/html目录下122.7.3.启动httpd服务132.7.4.测试HTTPD132.7.5.编辑yum源配置文件142.7.6.安装createrepo152.7.7.创建源索引153.cm安装153.1.上传cm安装启动程序153.2.安装cm的install.bin164.cdh安装194.1.登陆CM194.2.指定主机204.3.群集安装214.

    3、4.安装parcel214.4.1.配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1214.4.2.配置parcel224.5.选择parcel和cm等244.6.安装CM JDK和分发数据包等264.7.分配parcel284.8.检查各个主机284.9.选择需要安装的服务294.10.分配角色并安装305.验证和使用335.1.zookeeper335.2.hbase335.3.hdfs335.4.使用shell验证hbase安装341. 导言1.1. 说明本指导书以潍坊交警hadoop集群为例,指导安装CDH1.2. 集群节点见hadoop服务器角

    4、色清单1.3. 硬件共14台“华为RH2288-HV2 Xeon E5-2620,内存容量:192G,4块2T SATA硬盘”1.4. 软件版本cdh5.3.02. 准备工作2.1. 操作系统操作系统使用64位CentOS6.52.2. 磁盘2.2.1. 是否需要raid集群datanode不需要安装raid磁盘,hadoop的hdfs本身具有冗余和并发机制,namenode为了保证数据安全,需要安装raid。2.2.2. 磁盘划分 磁盘划分datanode要求盘符的划分所有节点要相同,之后的hadoop所有相关安装路径等也需要相同。Namenode划分如下:共有2块raid盘Datanode

    5、如下:4块物理盘2.2.3. 磁盘裸设备的挂载a查看裸设备: fdisk lb 进入分区 fdisk /dev/sdac 分区后的格式化 mkfs.ext4 /dev/sda4d 挂载 mount /dev/sda4 /home/data1e 永久挂载,使挂载重启后有效 vi /etc/fstab 添加 /dev/sda4 /home/data1 ext4 defaults 1 2 保存,reboot机器确认挂载成功f 卸载umount /dev/sda42.3. 关闭防火墙集群所有机器执行:rootnode41 # service iptables stopiptables: Flushin

    6、g firewall rules: OK iptables: Setting chains to policy ACCEPT: filter OK iptables: Unloading modules: OK rootnode41 # chkconfig iptables off每个机器都需要关闭防火墙2.4. 修改主机名并配置Hosts2.4.1. 修改主机名每台机器设置不同的主机名2.4.2. 设置每台主机的hosts在每个机器设置Hostsvi /etc/hosts10.51.82.29 node2910.51.82.30 node3010.51.82.31 node3110.51.8

    7、2.32 node3210.51.82.33 node3310.51.82.34 node3410.51.82.35 node3510.51.82.36 node3610.51.82.37 node3710.51.82.38 node3810.51.82.39 node3910.51.82.40 node4010.51.82.41 node41保存退出,重启机器查看主机名是否变化rootnode29 # 2.5. ssh免登陆配置2.5.1. 创建公钥和密钥rootnode29 # ssh-keygen -t rsaGenerating public/private rsa key pair.

    8、Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:b9:ef:52:0d:94:42:fa:13:f7:ea:bb:ce

    9、:34:50:07:5f rootnode29The keys randomart image is:+- RSA 2048-+| . . E | . oo . | . .oo o | . =.o | S o. | +. | .+ | .= . | +Oo |+-+rootnode29 #rootnode29 .ssh# pwd/root/.sshrootnode29 .ssh# cat id_rsa.pub authorized_keys rootnode29 .ssh# cd .rootnode29 # chmod -R 700 .ssh/rootnode29 # cd .ssh/root

    10、node29 .ssh# chmod 644 authorized_keysrootnode29 .ssh# ssh node29The authenticity of host node29 (10.51.82.29) cant be established.RSA key fingerprint is be:77:86:0c:7e:76:b8:f4:b8:5d:e4:ed:e0:50:14:b5.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added node29,10.51.

    11、82.29 (RSA) to the list of known hosts.Last login: Tue Jul 29 19:46:49 2014 from 10.51.5.179此时自身已经可以ssh,2.5.2. 配置与其他机器的免密码登陆rootnode29 .ssh# pwd/root/.ssh rootnode29 .ssh# ssh-copy-id -i id_rsa.pub rootnode138rootnode30 # chmod -R 700 /root/.ssh/rootnode30 # chmod 644 /root/.ssh/authorized_keys重新在29

    12、上查看ssh 30成功rootnode29 .ssh# ssh node30Last login: Tue Jul 29 19:48:34 2014 from 10.51.5.179rootnode30 #其他datanode同理,需要各个机器之间都可以通过ssh免密码登陆。2.6. 同步集群时间ntpntp服务端设为10.231.220.13集群时区和时间需要保持完全一致,相差最多不要超过15S,否则将导致集群运行出现问题。可以考虑使用时间同步软件,此处手动同步集群时间:10.48.3.192rootnode29 # date -s 21:21:40date -s 20141229同步到硬件

    13、时钟rootnode29 # hwclock w2.6.1. 配置ntp server集群时钟1、node13 配置:vi /etc/ntp.confdriftfile /var/lib/ntp/drift restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict -6 :1 restrict 10.231.220.0 mask 255.255.255.0 nomodify notrap

    14、server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 1includefile /etc/ntp/crypto/pwkeys /etc/ntp/keysrootnode29 etc# service ntpd start正在启动 ntpd:确定设置开机自动启动:rootnode29 etc# chkconfig ntpd on查看状态:rootnode29 etc# ntpstatunsynchronised time server re-starting polling server every 64 s等待5分钟rootnode

    15、29 etc# ntpstatsynchronised to local net at stratum 11 time correct to within 448 ms polling server every 64 s2.6.2. ntp客户端配置vi ntp.conf driftfile /var/lib/ntp/driftrestrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noqueryrestrict 127.0.0.1 restrict -6

    16、 :1server 10.231.220.13includefile /etc/ntp/crypto/pwkeys /etc/ntp/keys#server 127.127.1.0 # local clock 这两行注释掉#fudge 10.51.82.29 stratum 10所有客户端机器都使用如上修改配置scp -r ntp.conf node24:/etc/scp -r ntp.conf node56:/etc/所有客户端启动ntp在所有客户机上执行如下命令同步一次时钟,如果时钟偏差多大会导致无法同步,1000s之内rootnode41 # ntpdate -u 10.231.220.

    17、13 5 Aug 22:35:22 ntpdate76821: step time server 10.51.82.29 offset -65.756888 sec2.6.3. 测试netstat -tlunp |grep ntp1、 客户机启动ntpdrootnode30 # ntpstatUnable to talk to NTP daemon. Is it running?rootnode30 # service ntpd start正在启动 ntpd:确定rootnode30 # ntpstatunsynchronised time server re-starting polling

    18、 server every 64 srootnode30 #隔段时间后:rootnode30 # ntpstatsynchronised to local net at stratum 11 time correct to within 948 ms polling server every 64 srootnode30 #4、排查:正确同步状态“错误同步状态:显示未正常与29同步,将自己作为了服务器rootnode35 # cat /var/log/messages2、 说明:*服务端是上层的客户端,所以服务端和客户端的配置是相通的*设置配置文件中的“restrict”项,主要用于控制客户端

    19、对服务器的访问* fudge 127.127.1.0 stratum 1设置本地时钟源的层次为1,这样如果NTPD服务从本地时钟源获取时间的话,NTPD对外宣布的时间层次为2。*有时候同步过程慢,需等待很多分钟:rootnode41 # ntpstatunsynchronised polling server every 16 srootnode41 # ntpstatsynchronised to NTP server (10.51.82.29) at stratum 3 time correct to within 487 ms polling server every 64 s2.7.

    20、上传安装包以及搭建yum源2.7.1. 安装cloudera需要的文件如下安装包1CentOS_6.5CentOS6.5安装光盘2cm5.3.0CDH安装包(需要分发到各个机器安装)3parcelCloudera-Manager_Agent 安装包(需要分发到各个机器安装)4RPM-GPG-KEY-cloudera5cloudera-manager-installer.bincm安装启动包2.7.2. 上传yum源需要的文件到 /var/www/html目录下在10.231.220.13(任何机器都可以)搭建yum上传yum源需要的文件到 /var/www/html目录下chmod -R 75

    21、5 /var/www/html/*2.7.3. 启动httpd服务service httpd startchkconfig httpd on2.7.4. 测试HTTPDhttp:/10.231.220.13/CentOS_6.5/http:/10.231.220.13/cm5.3.0/http:/10.231.220.13/parcel/2.7.5. 编辑yum源配置文件rootnode13 yum.repos.d# pwd/etc/yum.repos.drootnode13 yum.repos.d# vi CentOS-Base.repobasename=CentOS-$releasever

    22、 - Base#mirrorlist=http:/mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=osbaseurl=http:/10.231.220.13/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#released updatesupdatesname=CentOS-$releasever - Updates#mirrorlist=http:/mirrorlist.centos.org/?release=$relea

    23、sever&arch=$basearch&repo=updatesbaseurl=http:/10.231.220.13/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#additional packages that may be usefulextrasname=CentOS-$releasever - Extras#mirrorlist=http:/mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extrasbaseu

    24、rl=http:/10.231.220.13/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6rootnode13 yum.repos.d# vi cloudera-manager.repocloudera-manager# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64name=Cloudera Managerbaseurl=http:/10.231.220.13/cm5.3.0/gpgkey =http:/

    25、10.231.220.13/RPM-GPG-KEY-clouderagpgcheck = 1将yum配置文件复制到各个节点(每个节点都需要)使得其他节点也使用本机器的yumscp -r CentOS-Base.repo node14:/etc/yum.repos.d/scp -r cloudera-manager.repo node14:/etc/yum.repos.d/2.7.6. 安装createrepo在yum源机器上(这里是node13) 安装createreporootnode13 yum.repos.d#yum install createrepo2.7.7. 创建源索引在yum源

    26、的机器上 创建源的索引(需要在每个目录下建立,这里是只需要在cm5.3.0目录下建立,因为CentOS_6.5目录是centos的安装盘,默认已经建立)rootnode13 cm5.3.0# createrepo .建立后会在cm5.3.0下多出目录 repodata3. cm安装3.1. 上传cm安装启动程序上传cm安装启动程序到namenode节点的任何目录3.2. 安装cm的install.bin rootnode13 repo5.3.0# chmod -R 755 cloudera-manager-installer.bin关闭node13上面的SELinux查看SELinux当前的状

    27、态,使用命令:getenforcevi /etc/selinux/configSELINUX=disabled保存重启机器rootnode13 # getenforceDisabled(显示为Disabled即为修改成功)rootnode13 repo5.3.0# ./cloudera-manager-installer.bin备份提示的文件rootnode13 cloudera-scm-server# mv db.properties db.propertiesbak重试回车回车至此安装cm成功,上图中列出了cm访问地址,以及登陆的用户名和密码4. cdh安装4.1. 登陆CM4.2. 指定

    28、主机在上图的输入框中输入需要安装的主机的ip地址,多个ip地址之间回车,点击“搜索”按钮检查各个主机的通讯情况。4.3. 群集安装此处没有CDH版本,需要安装Parcel4.4. 安装parcel4.4.1. 配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha中的数字要和manifest.json中CDH版本一致在官网下载的parcel中有三个文件,需要配置parcel的版本打开manifest.json文件,此文件时json格式,在其中找到parcelName为“CDH-5

    29、.3.0-1.cdh5.3.0.p0.30-el6.parcel”对应的hash值将此hash拷贝到CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1文件中4.4.2. 配置parcel配置parcel有二种方式:方式一:使用本地parcel(安装cm的机器)将上面配置好的文件拷贝到 /opt/cloudera/parcel-repo 目录下(此目录会在安装完cm后自动创建),修改cm自动检测parcel的时间,默认是1小时(登录cm,在【管理】-【设置】中选择【parcel】,修改“Parcel 更新频率”,点击“保存修改”按钮)重启机器,下次登录就会在1分

    30、钟后检测到parcel。方式二:使用远程URL存储库将之前配置好的parcel上传至之前配置好的yum源机器的/var/www/html/parcel目录下在“集群安装”界面,选择“使用parcel”,点击右面的“更多选项”,修改“远程 Parcel 存储库 URL“为http:/10.231.220.13/parcel/4.5. 选择parcel和cm等选择“自定义存储库”,如上图填写勾选“安装Oracle Java SE开发工具包”输入各个主机的密码(所有主机的密码均要求一致),修改同时安装数量(默认10,同时安装数量太多可能会太卡,取决于网速以及机器的性能)4.6. 安装CM JDK和分

    31、发数据包等某一节点出错,yum有问题将c6-media 修改为enabled=0保存重试4.7. 分配parcel 4.8. 检查各个主机对所有hadoop集群的机器修改swappinessrootnode13 # cat /proc/sys/vm/swappiness 60该值0100越大表示越优先使用虚拟内存,即swap空间,越小表示越优先使用物理内存。使用物理内存的话,性能会快临时修改:rootnode13 # echo 0 /proc/sys/vm/swappiness永久修改,重启也不失效:vi /etc/sysctl.conf 在文件最后追加vm.swappiness=0保存4.9. 选择需要安装的服务4.10. 分配角色并安装5. 验证和使用5.1. zookeeper rootnode25 bin# pwd/usr/binrootnode25 bin# ./zookeeper-clientzk: localhost:2181(CONNECTED) 0 ls /solr, hbase, zookeeper, zkdtsm5.2. hbase 获取单条记录:hbase(main):008:0 get wf_hbase_table,E1C52AD538B6-2652-0903-3561-911051025.3. hdfs5.4. 使用shell验证hbase安装

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:cloudera 安装部署手册.doc
    链接地址:https://www.docduoduo.com/p-11358908.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开