收藏 分享(赏)

EasyHadoop技术大全.doc

上传人:春华秋实 文档编号:3291280 上传时间:2018-10-10 格式:DOC 页数:13 大小:370.50KB
下载 相关 举报
EasyHadoop技术大全.doc_第1页
第1页 / 共13页
EasyHadoop技术大全.doc_第2页
第2页 / 共13页
EasyHadoop技术大全.doc_第3页
第3页 / 共13页
EasyHadoop技术大全.doc_第4页
第4页 / 共13页
亲,该文档总共13页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、.页眉.页脚EasyHadoop 技术大学(暨 Hadoop 大数据实战高手班、提高班、基础班)一、为什么参加 Hadoop 培训现在,什么程序员最稀缺?Hadoop!什么技术起薪最高?Hadoop!什么技术培训最火?Hadoop!随着云计算、大数据迅速发展,亟需用 Hadoop 解决大数据量高并发访问的瓶颈。谷歌、facebook、Yahoo、淘宝、百度、京东等底层都应用 Hadoop。越来越多的企业急需引入Hadoop 技术人才。由于掌握 Hadoop 技术的开发人员并不多,直接导致了 Hadoop 技术的薪水远高于 JavaEE程序员。Hadoop 入门薪资已经达到了 8K 以上,工作

2、1 年可达到 1.2W 以上,具有2-3 年工作经验的 Hadoop 人才年薪可以达到 30 万50 万。Hadoop 让你先富起来,并且让你富得流油!二、Easyhadoop 开源社区简介Easyhadoop 开源社区,汇聚国内最顶尖的 hadoop 实战高手。EasyHadoop 是一个开放的,非盈利的 社会公益组织。致力于在中国推广和传播 Hadoop相关技术。Easyhadoop 开源社区由在国内首位获得美国 Cloudera 公司 Apache Hadoop 开发工程师(CCDH: Cloudera Certified Developer for Apache Hadoop )认证考

3、试的童小军创建,汇聚各大公司一线从事 Hadoop 开发工程师,从 2012 年 2 月成功举办七次免费的技术讲座,分享了来自百度、淘宝、腾讯、暴风、阿里巴巴、人民搜索、亿赞普、蓝讯等开发者的经验,受益用户上千人,获得广大技术人员的好评。 。第七次讲座在中科院软件所举办,邀请了大数据作者涂子沛做讲座,参加者近300 多人,有 100 多个公司的工程师参加,有北京和广州两个分会场,实现了网络视频直播,是中国 hadoop 技术圈内最活跃的社区。 三、EasyHadoop 技术大学(暨 Hadoop 大数据实战高手班、提高班、基础班)为了更深入的在中国推动 Hadoop 普及,我们成立 EasyH

4、adoop 技术大学, 建设我们自己心目中的技术大学。 EasyHadoop 创始人 童小军(国内首位获得美国 Cloudera 公司 Apache Hadoop 开发工程师(CCDH: Cloudera Certified Developer for Apache Hadoop )认证考试).页眉.页脚虽然 EasyHadoop 的讲座基于某个专业主题来讲解,但毕竟还是缺乏完整的知识体系,光听讲座要掌握这门技术是远远不够,也难照顾到 Hadoop 入门和需要快速掌握 Hadoop 技术的朋友们。因此在广大网友的强烈要求下,特成立 EasyHadoop 技术大学,推出系列 EasyHadoop

5、 培训实战课程,帮助大家更好学习、掌握、精通 Hadoop。EasyHadoop 技术大学和其他培训的区别 现在做 hadoop 培训的很多,大部分是培训机构根据市场需求推出的初级培训班。而简单的照本宣科入门培训,并不能满足 Hadoop 实战需要。Hadoop 是分布式并发计算系统,涉及到大规模集群和海量数据的并发处理。 Hadoop不仅仅是简单的编程,还涉及到几十台,甚至上百台、上千台集群。Hadoop 要在一秒内处理上 G、上 T,甚至 PB 级的数据量。光简单的培训,不足以应对实战中各种复杂情况。Hadoop 并不难,难在如何求教于一群具有实战经验的专家。Hadoop 并不难,难在如何

6、实战,如何应对复杂系统的经验。EasyHadoop 技术大学和其他培训机构最大区别在于:不是“为了赚钱而培训,为了培训而培训“!而是“为了热爱而分享,为了开源而贡献“!参加 EasyHadoop 技术大学培训,和 hadoop 实战高手在一起成长!.页眉.页脚EasyHadoop技 术 大 学 ( 暨 Hadoop大 数 据 实 战 高手 班 、 提 高 班 、 基 础 班 ) 一 、 为 什 么 参 加 Hadoop培 训 现 在 , 什 么 程 序 员 最 稀 缺 ? Hadoop! 什 么 技 术 起 薪 最 高 ? Hadoop! 什 么 技 术 培 训 最 火 ? Hadoop! 随

7、 着 云 计 算 、 大 数 据 迅 速 发 展 , 亟 需 用 Hadoop解 决 大 数 据 量 高 并 发 访 问 的 瓶 颈 。 谷 歌 、facebook、 Yahoo、 淘 宝 、 百 度 、 京 东 等 底 层 都 应 用 Hadoop。 越 来 越 多 的 企 业 急 需 引 入 Hadoop技 术 人 才 。 由 于 掌 握 Hadoop技 术 的 开 发 人 员 并 不 多 , 直 接 导 致 了 Hadoop技 术 的 薪 水 远 高 于 JavaEE程序 员 。 Hadoop入 门 薪 资 已 经 达 到 了 8K以 上 , 工 作 1年 可 达 到 1.2W以 上 ,

8、 具 有 2-3年 工 作 经 验 的 Hadoop人 才 年 薪 可 以 达 到 30万 50万 。 Hadoop让 你 先 富 起 来 , 并 且 让 你 富 得 流 油 ! 二 、 Easyhadoop开 源 社 区 简 介 Easyhadoop开 源 社 区 , 汇 聚 国 内 最 顶 尖 的 hadoop实 战 高 手 。 EasyHadoop 是 一 个 开 放 的 ,非 盈 利 的 社 会 公 益 组 织 。 致 力 于 在 中 国 推 广 和 传 播 Hadoop相 关 技 术 。 Easyhadoop开 源 社 区 由 在 国 内 首 位 获 得 美 国 Cloudera公

9、司 Apache Hadoop开 发 工 程 师( CCDH: Cloudera Certified Developer for Apache Hadoop ) 认 证 考 试 的 童 小 军 创 建 , 汇 聚 各大 公 司 一 线 从 事 Hadoop开 发 工 程 师 , 从 2012年 2月 成 功 举 办 七 次 免 费 的 技 术 讲 座 , 分 享了 来 自 百 度 、 淘 宝 、 腾 讯 、 暴 风 、 阿 里 巴 巴 、 人 民 搜 索 、 亿 赞 普 、 蓝 讯 等 开 发 者 的 经 验 , 受益 用 户 上 千 人 , 获 得 广 大 技 术 人 员 的 好 评 。 。

10、 第 七 次 讲 座 在 中 科 院 软 件 所 举 办 , 邀 请 了 大 数 据 作 者 涂 子 沛 做 讲 座 , 参 加 者 近 300多 人 , 有 100多 个 公 司 的 工 程 师 参 加 , 有 北 京 和 广 州 两 个 分 会 场 , 实 现 了 网 络 视 频 直 播 , 是中 国 hadoop技 术 圈 内 最 活 跃 的 社 区 。 三 、 EasyHadoop技 术 大 学 ( 暨 Hadoop大 数 据 实 战 高 手 班 、 提高 班 、 基 础 班 ) 为 了 更 深 入 的 在 中 国 推 动 Hadoop普 及 ,我 们 成 立 EasyHadoop技

11、术 大 学 ,建 设 我 们 自 己 心 目 中的 技 术 大 学 。 EasyHadoop创 始 人 童 小 军 ( 国 内 首 位 获 得 美 国 Cloudera公 司 Apache Hadoop开 发 工 程 师 ( CCDH: Cloudera Certified Developer for Apache Hadoop ) 认 证 考 试 ) .页眉.页脚四、EasyHadoop 技术大学课程介绍第一期时间 2013 年 3 月 23 日,以后每月一期,长期有效。和县在线:http:/ 报名及查看详情http:/ Hadoop 课程(课程介绍、点击查看详情、排期(每月滚动举办,长期有

12、效) )Easyhadoop 技术大学:集群安装,监控和管理运维管理(基础) | 集群安装监控和管理课程目标此课程面向公司系统管理员、数据库管理员,希望转型的 DBA 等。以及对 Hadoop感兴趣的各类技术人员。通过此课程的培训,学员可以深入理解 Hadoop 技术架构,对 Hadoop 运作机制有清晰全面的认识,可以独立规划及部署生产环境的 Hadoop集群,掌握 Hadoop 基本运维思路和方法,对 Hadoop 集群进行管理和优化。目标学员软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员、数据分析师学员基础需要了解 Linux 系统,了解网络, 了解 she

13、ll sql python 等脚本语言的一种。课时 一天费用课程模块 课程主题 主要内容集群优化和管理( 第 3 天)模块一 EasyHadoop 集群入门HADOOP 暴风应用案例 EasyHADOOP Manager 安装及部署 模块二 Hadoop 集群管理HADOOP 常见使用命令 HADOOP 运维故障及解决 HADOOP 使用工具 HADOOP 其他应用案例.页眉.页脚模块三EasyHadoop 集群配置:机架感知,开启压缩和任务均衡Hadoop 集群安装和开启 LZO 压缩Hadoop 配置集群具备机架感知Hadoop 集群开启公平任务调度器Hadoop 集群开启能力任务调度器模

14、块四 Hadoop 集群维护与管理查看集群状态HDFS 数据管理Mapreduce 任务管理HDFS 安全模式模拟集群 Namenode,jobtrack 失效添加删除节点数据平衡文件数据跨集群拷贝集群升级模块五 Hadoop 集群规划和测试 集群规划( 硬件,系统,网络)集群性能测试模块六 Hadoop 集群监控和运维 使用 Ganglia 监控 Hadoop 集群使用 Cacti 监控操作系统模块七 Hadoop HDFS 高可用Hadoop 元数据 NFS 备份方案Hadoop SecondaryNameNode 备份方案 Hadoop CheckpointNode 备份方案 Hadoo

15、p BackupNode 备份方案 Hadoop Cloudera HA Namenode 方案Easyhadoop 技术大学:MapReduce 编程基础MR 编程(基础) | MapReduce 编程基础课程目标此课程面向企业软件工程师、数据库工程师、以及对 Hadoop 开发感兴趣的各类技术人员。通过此课程的学习,学员可以全面掌握 Hadoop 的架构原理和使用场景,并通过贯穿课程的习题项目进行实战锻炼,从而熟练使用 Hadoop 进行MapReduce 程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员.页眉.页脚为企业在利用大数据方面体现自身价值。 目标学员软件工程师、高级

16、软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员学员基础需要了解 Linux 系统,了解网络, 懂 JAVA 编程。课时 一天费用课程模块 课程主题 主要内容模块一 Hadoop MapReduce流程分析Hadoop JobTracker 详解回顾 Hadoop TaskTracker 详解回顾Hadoop 任务提交流程详解模块二 使用 Hadoop MapReduce Streaming 编程Hadoop Streaming 和 Java MapReduce Api 差异。学习使用 MapReduce 实现数据库功能,比如 select group by join union

17、all )模块三 MapReduce 分布式程序MapReduce 流程剖析一个 MapReduce 程序基本 MapReduceAPI 概念驱动代码MapperReducerAPI 使用 Eclipse 进行快速开发上机实验新 MapReduce API 模块四 Hadoop 核心代码导读Hadoop Mapper 类核心代码导读Hadoop Reducer 类核心代码导读.页眉.页脚模块五 HDFS 分布式文件系统编程 Hadoop HDFS 回顾Hadoop NameNode 回顾Hadoop DataNode 回顾hadoop I/O 操作 使用 Hadoop HDFS API 对 H

18、DFS 编程模块六 Hadoop Mapreduce 高级编程 ToolRunner 介绍使用 MRUnit 进行测试利用 Combiners 来减少中间数据使用 Configure 和 Close 方法来进行Map/Reduce 设置和关闭编写 Partitioner 来优化负载平衡上机实验直接访问 Hadoop 分布式文件系统(HDFS)使用分布式缓存(Distributed Cache)上机实验 模块七 MapReduce 的优化 map 优化reduce 优化小文件优化模块八 MapReduce 的任务调度 Queue 调度的使用公平调度的使用能力调度的使用模块九 MapReduce

19、编程实战Hadoop 的 join 操作Hadoop 的二次排序Hadoop 的海量日志分析模块十 flume+hadoop 日志的收集实战flume 介绍flume 核心组件讲解flume 自带的组件分析flume 二次开发实战Easyhadoop 技术大学:Hive、Pig、Mahout 数据挖掘.页眉.页脚数据挖掘 (实战) | Hive、Pig、Mahout 数据挖掘课程目标此课程面向公司数据挖掘工程师等。以及对 Hadoop 数据挖掘感兴趣的各类技术人员。通过此课程的培训,学员可以深入理解 Hadoop 技术架构下如何使用MapReduce 思维从事大量数据的挖掘工作。目标学员软件工

20、程师、高级软件工程师、数据库开发人员、数据分析师、数据挖掘工程师学员基础需要了解 Linux 系统,了解网络, 了解 shell sql python 等脚本语言的一种。课时 一天费用课程模块 课程主题 主要内容数据挖掘( 上午)模块一 EasyHive 仓库集群 Hive 的作用和原理说明Hadoop 仓库和传统数据仓库的协作关系Hadoop/Hive 仓库数据数据流Hive 部署和安装Hive Cli 的基本用法HQL 基本语法模块二 EasyHive 仓库集群高使用 JDBC 连接 Hive 进行查询和分析使用正则表达式加载数据HQL 高级语法编写 UDF 函数模块三 EasyHive

21、仓库优化使用 Hive 分区优化查询使用 Lzo 压缩优化数据存储容量HiveServer HA (使用 haproxy 提高 HiveServer 可用性)编写 Hive 自定义 MapReduce 脚本优化查询Hive 数据倾斜和查询性能优化模块四 EasyHive 仓库外围系使用 Sqoop 进行数据分析使用 oozie 配置工作流phpHiveAdmin 安装和使用Mahout 数据挖掘(下午)模块一 推荐算法推荐算法介绍item-base 算法 mapreduce 实现.页眉.页脚模块二 分类算法 基于 MapReduce 的文本分类算法聚类算法原理介绍模块三 聚类算法使用 MapR

22、educe 研发聚类算法关联规则算法和 MapReduce 实现模块四 其他挖掘算法 标签传播算法和 MapReduce 实现Easyhadoop 技术大学:Hbase 入门和高级Hbase 编程(实战) | Hbase 入门和高级课程目标此课程面向公司分布式系统研发、数据库开发、转型做大数据存储、大数据分析等方向开发和研究,以及对 HBase 感兴趣的各类技术人员。通过此课程的培训,学员可以对 HBase 的基本概念和架构有全面的认识,可以独立安装、部署和运行生产环境的 HBase 集群,掌握 HBase 常用编程接口,可以针对业务系统需求开发读写 HBase 代码,能够了解进阶学习的方向和

23、重点。目标学员软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员学员基础需要了解 Linux 系统,Hadoop 分布式系统,有一定 Java、shell 基础课时 一天费用课程模块 课程主题 主要内容HBase 入门和高级(第 5 天)模块一 HBase 简介和架构(0.5h)HBase 基本概念HBase 架构和核心模块介绍HBase 存储逻辑结构介绍模块二 HBase 核心知识点(0.5h)基本方法:Get/Put/Scan/Delete列式存储核心:LSM日志系统:WAL底层存储:HFile复制、备份:Replication过渡期:RIT分裂、合并:Split

24、/Compact负载均衡:Load Balance.页眉.页脚模块三 HBase 高级应用简单介绍(0.5h)批量记载:bulk load监控系统:OpenTSDB主键设计:key design二级索引:secondary index协处理器:Coprocessors过滤器:bloomfilter版本:version模块四 安装、部署、启动(2h )集群下安装部署 HBase启动 HBase,启动顺序测试启动多种方法模块五 常用接口介绍、案例讲解(2.5h)native java 接口shell clientthrift 接口“用户搜索日志查询系统”案例讲解(包含 2 种接口实现、随机批量写入

25、、查询用户搜索结果)Easyhadoop 技术大学:Hadoop 数据与集群安全Hadoop 数据与集群安全课程目标此课程面向企业 hadoop 管理、解决方案师、数据平台架构师以及对 Hadoop 感兴趣的各类技术人员。通过此课程的培训,学员能够基本掌握 Hadoop 在大型企业中如何安全开放,能够深入 hadoop 安全认证以及 kerberos 认证协议,可以在已有的 hadoop 集群中扩展安全模块,深入 hadoop 的权限管理并能适当的实施到现有的集群中,能够根据实际运营场景对集群参数进行相应的优化,了解 hadoop灾备的各种实施方案。目标学员hadoop 管理员、数据平台架构师

26、、解决方案师学员基础需要了解 Linux 系统,了解大数据应用, 了解 java shell sql python 等脚本语言的一种。课时 一天费用课程模块 课程主题 主要内容Hadoop 数据与集群安全(第 6 天)模块一 安全开放 hadoop集群概述 小集群蜕变为开放平台要素模块二 hadoop 安全认证 kerberos 认证协议分析、 hadoop 集成 kerberos 配置、kerberos 管理与应用模块三 hadoop 权限控制 自定义权限模块、用户权限组划分、资源权限规划、队列池管理.页眉.页脚模块四 hadoop 灾备 数据迁移、通过案例描述灾难发生带来的损失、HA方案、

27、次灾备方案模块五 运营监控及报表 MapReduce 自动化诊断、运营数据采集、运营报表分析、集群参数优化Easyhadoop 技术大学:MapReduce 编程基础EasyHadoop 管理员- 集群环境调优和 Debug课程目标此课程面向公司系统管理员、数据库管理员,希望转型的 DBA 等。以及对Hadoop 感兴趣的各类技术人员。通过此课程的培训,学员可以深入理解Hadoop 技术架构 ,对 Hadoop 运作机制有清晰全面的认识,可以独立规划及部署生产环境的 Hadoop 集群,掌握 Hadoop 基本运维思路和方法,对Hadoop 集群进行管理和优化。目标学员 软件工程师、高级软件工

28、程师、数据库开发人员、互联网服务后台开发人 员、运维人员学员基础 需要了解 Linux 系统, 了解网络, 了解 java shell sql python 等脚本语言的一种。课时 一天费用课程模块 课程主题 主要内容EasyHadoop 管理员-集群环境调优和 Debug(第五天)模块一 Linux 集群系统,网络优化Linux 下常用的观察性能的各种工具,以及怎么分析系统的瓶颈CPU 使用情况的分析 IO 监控、网络流量监控模块二 JAVA-JVM 调优各种垃圾回收算法及其优劣;针对不同应用类型如何选择 JVM 参数常用用具的使用(jps/jstat/jmap/jstack/jinfo/j

29、hat)调优案例分析( 如何选择不同内存块的大小,如何选择不同的算法来提升性能、响应时间) 模块三JAVA 优化-CPU占用率、使用情况分析,线程死锁系统性能瓶颈的分析定位JStack 的深度使用,各种 Linux 监控命令的配合使用(top,vmstat,iostat,sar 不要轻信自己能完全掌控这些命令)、分析(前一阵 Java 漏洞通过制造 Hash 冲突来占尽 CPU 资源就可以通过 top 命令快速定位到,你肯定没有这么用过)JProfiler 的详细使用.页眉.页脚模块四 JAVA 优化-内存溢出分析 用 EMA 来分析内存占用情况通过案例分析来定位内存泄漏模块五 用 EMA 来

30、分析内存占用情况通过案例分析来定位内存泄漏更多详情请到 http:/ 点击报名咨询部分培训客户报名联系人:高老师 13522751250,QQ2815764690,; ;李老师 13520809508,QQ1417298576,;报名地址: 北京市朝阳区祁家豁子 8 号健翔大厦 6 层 635 号报名汇款账号:工商银行:6212 2602 0002 0969 909 户名:高路, 中国工商银行北京马甸支行 Easyhadoop 开源社区 QQ 群 145680489,151104903,93086930。Easyhadoop 技术大学(暨实战培训)QQ 群:246972879。.页眉.页脚Ea

31、syHadoop 技术大学 培训(三月)快车月份 日期 EasyHadoop 基础班(培训) EasyHadoop 实战班(培训) EasyHadoop 优化班(培训)2013年3月23日集群安装,监控和管理Hive,Pig,Mahout数据挖掘Hadoop 数据和集群信息安全2013年3月24日MapReduce 入门和高级 Hbase 入门和高级JVM 集群,网络性能优化价格 3000元 3000元 3000元优惠 2600元(优惠400元) 2600元(优惠400元) 2600元(优惠400元)三月人数 20人 20人 20人EasyHadoop 技术大学 培训(四月)快车月份 日期 EasyHadoop 基础班(培训) EasyHadoop 实战班(培训) EasyHadoop 优化班(培训)2013年4月20日集群安装,监控和管理Hive,Pig,Mahout数据挖掘Hadoop 数据和集群信息安全2013年4月21日MapReduce 入门和高级 Hbase 入门和高级JVM 集群,网络性能优化价格 3000元 3000元 3000元优惠 2800元(优惠200元) 2800元(优惠200元) 2800元(优惠200元)四月人数 20人 20人 20人点击报名咨询

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 学术论文 > 毕业论文

本站链接:文库   一言   我酷   合作


客服QQ:2549714901微博号:道客多多官方知乎号:道客多多

经营许可证编号: 粤ICP备2021046453号世界地图

道客多多©版权所有2020-2025营业执照举报