1、 平台认证数据工程师培训 1 课堂 实验 一、 实验 信息 文档编号 文档版本 1.0 实验名称 TDH平台的安装与配置 所属课程 第 8讲 星环大数据产品介绍 第 9讲 大数据平台软硬件环境要求 第 10讲 集群角色分配 认证等级 数据工程师 (初级) 授课 形式 上机 实验 实验批次 第 1次 / 共 11次 二、 实验目的 实践 TDH平台 的 安装 。 实践 TDH平台的 初始 配置 。 初步了解 TDH Manager的使用方法。 三、 实验 准备 为每组学员分配 三台 虚拟 服务器 , 用于安装 TDH平台 。 每组选一名代表 来 安装 平台 。 四、 实验内容 第一步: 准备 D
2、ocker盘 任务 : 格式化 Docker盘, 并 挂载到 指定目录 下 。 步骤 Linux: /* 将 Docker盘 ( /dev/sdd) 格式化成 XFS格式 ( XFS一种高性能的日志文件系统 ) , 命令中 必须 加上 -n ftype=1 */ 1. mkfs.xfs -f -n ftype=1 /dev/sdd / 创建 Docker盘 的 挂载目录 /var/lib/docker 平台认证数据工程师培训 2 2. mkdir /var/lib/docker / 将 Docker盘挂载 到 /var/lib/docker目录下 3. mount /dev/sdd /var/
3、lib/docker / 查看磁盘挂载情况 4. df -lh / 获取 Docker盘 的 UUID( UUID= b194c9ec-fada-4241-909a-3eef607f150f) 5. blkid /dev/sdd /* 设置 Docker 盘 开机 自动挂载 : 编辑 etc/fstab 文件 , 将 “ UUID=b194c9ec-fada-4241-909a-3eef607f150f /var/lib/docker xfs defaults 0 0” 写 入 文件 */ 6. vim /etc/fstab /* 为 三台 服务设置 IP-Hostname 映射: 分别登录三
4、台服务器, 编辑 etc/hosts 文件,将“ 172.16.140.85 tdh-85 172.16.140.86 tdh-86 172.16.140.87 tdh-87”写入文件 */ 7. vim /etc/hosts 第二步: 复制 TDH安装包 任务 : 登录文件服务器,将 TDH相关安装包拷贝到集群的第一台服务器中 ( IP 最小 的 服务器) 。 步骤 Linux: / 登录文件服务器 1. ssh root172.16.140.111 / 进入安装包存储目录 2. cd /mnt/disk1/de_traning / 拷贝 TDH 5.1.2安装包 3. scp TDH-Ba
5、sic-Component-Transwarp-5.1.2-final.tar.gz 172.16.140.85:/mnt/disk1 / 拷贝 TDH 5.1.2授权 包 4. scp TDH-Image-Registry-Transwarp-5.1.2-final.tar.gz 172.16.140.85:/mnt/disk1 / 拷贝 CentOS 7安装包 5. scp CentOS-7-x86_64-DVD-1511.iso 172.16.140.85:/mnt/disk1 第三步: 解压 TDH安装包 ,并授权 任务 :登录 TDH集群的第一台服务器 , 解压 TDH安装包 和授权
6、包 ,并完成授权 。 平台认证数据工程师培训 3 步骤 Linux: / 登录 TDH集群的第一台 服务器 1. ssh root172.16.140.85 / 进入安装包 存储 目录 2. cd /mnt/disk1 / 将 TDH 5.1.2安装包 解压 到 transwarp文件夹 2. tar -xzvf TDH-Basic-Component-Transwarp-5.1.2-final.tar.gz / 将 TDH 5.1.2授权包 解压 到 registry文件夹 3. tar -xzvf TDH-Image-Registry-Transwarp-5.1.2-final.tar.g
7、z / 将 registry移动到 transwarp下 , 完成 授权 4. mv registry transwarp 第四步: 安装 TDH平台 任务 : 安装 TDH平台 ,包括命令行安装 、 Web安装两个阶段 。 步骤 Linux: / 进入 TDH安装 目录 1. cd /mnt/disk1/transwarp / 执行 install脚本 ,开始 命令行 安装 2. ./install Web: 3. 浏览器中 输入 http:/tdh-85:8179, 进入 Transwarp Manager安装 向导 , 基本上采用 默认 配置, 点击下一步 即可完成安装 平台认证数据工程
8、师培训 4 配置网络:采用默认配置 平台认证数据工程师培训 5 选择 CentOS操作系统安装包 ( /mnt/disk1/CentOS-7-x86_64-DVD-1511.iso) 平台认证数据工程师培训 6 第五步: 配置 TDH平台 任务 : 对 TDH平台 进行 初始 配置 。 步骤 Web: 1. 登录 TDH Manager,进入 平台 配置向导 ( 网址: http:/172.16.140.85:8180, 用户名 :admin,密码: admin) 平台认证数据工程师培训 7 设置 集群 名称 : tdh85-87 设置 NTP服务器: 采用 默认 选 项 ( 内部 NTP服务
9、器作为独立 NTP服务器 ) 添加 机柜 : 不添加 ,使用 缺省 机柜 default-rack 平台认证数据工程师培训 8 添加节点 : 按格式要求输入集群 IP 地址,如: 172.16.14085-87 设置 访问 权限 : 输入 root密码 , 缺省为 123456 平台认证数据工程师培训 9 选择 需安装的 服务 : ( 1) 课程前三天 安装: ZooKeeper、 HDFS、 YARN、 Kafka、 TXSQL、 Inceptor、 Hyperbase、Slipstream ( 2) 课程 第四天安装 : Search(开销比较大) ( 3)其他 服务 不要 安装,否则会因 资源 开销过大, 导致集群瘫痪 平台认证数据工程师培训 10 分配 角色 :采用默认配置 Inceptor参数 配置 : ( 1) 修改 inceptor.executor.memory为 4096 ( 2)修改 inceptor.executor.cores为 2 平台认证数据工程师培训 11 如果 下一步过不去 ,请参见以下帖子: http:/ 平台 配置成功 平台认证数据工程师培训 12