收藏 分享(赏)

大数据课程体系.docx

上传人:HR专家 文档编号:12065906 上传时间:2021-08-26 格式:DOCX 页数:9 大小:39.24KB
下载 相关 举报
大数据课程体系.docx_第1页
第1页 / 共9页
大数据课程体系.docx_第2页
第2页 / 共9页
大数据课程体系.docx_第3页
第3页 / 共9页
大数据课程体系.docx_第4页
第4页 / 共9页
大数据课程体系.docx_第5页
第5页 / 共9页
点击查看更多>>
资源描述

1、。Java 基础JAVA 开发基础知识Eclipse开发环境多线程技术Socket 网络技术Regular ExpressionJava 反射技术各种实战设计模式面向对象设计原则详解Java collectionReflectionJVM原理与配置、调优Java 设计模式Linux大Linux 的介绍与安装纲VMware Workstation 虚拟软件安装 ubuntu 安装Linux 的常用命令Linux 系统进程管理常用命令ps、pkill、top 、htop 等的使用;Linux 启动流程,运行级别详解,chkconfig详解nano 编辑器Linux 权限管理:用户、组Linux 权

2、限管理:文件权限rwxLinux 网络管理: hosts,hostname,ifconfig安装 JDKHadoopHadoop介绍,发展史,国内外现状,未来Hadoop 核心组成介绍及 hdfs 、mapreduce 体系结构 Hadoop 的集群结构Hadoop 独立模式安装与测试Hadoop 启动与停止SSH安装与配置Hadoop 伪分布式和完全分布式安装配置HDFS底层工作原理HDFS datanode,namenode详解Hdfs shellHdfs java apiInputSplit和 OutputSplitBlockSize 配置最少副本数配置MR作业流程分析编写 Mapper

3、程序编写 Reducer 程序执行 Mapreduce过程Hadoop 核心类讲解 ,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层 IPC 原理和 RPC。1。Hadoop的底层 google ProtoBuf 的协议分析分 布 式数HBase简介与 RDBMS的对比据库系统架构HbaseHBase上的 MapReduceHbase核心术语介绍Hbase基本操作HBase Shell 以及演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优 ( 读、写、设计 )数 据 仓库Hive 简介HiveHive 集群客户端简介HiveQL 介绍与 SQ

4、L的比较数据类型外部表和分区表ddl 与 CLI 客户端演示dml 与 CLI 客户端演示select与 CLI 客户端演示Operators 和 functions 与 CLI 客户端演示Hive server2与 jdbc用户自定义函数( UDF 和 UDAF)的开发与演示Hive优化数 据 迁移Sqoop简介和配置工具Sqoop shell 常见命令SqoopSqoop导入与导出Flume分flume 简介 - 基础知识布式flume 安装与测试日志框架flume 部署方式flume source 相关配置及测试flume sink 相关配置及测试flume selector相关配置与案

5、例分析flume Sink Processors相关配置和案例分析flume Interceptors相关配置和案例分析flume AVRO Client 开发flume和 kafka的整合ZookeeperZookeeper java api开发开发Zookeeper rmi高可用分布式集群开发Zookeeper redis 高可用监控实现Netty异步 io通信框架Zookeeper 实现 netty分布式架构的高可用kafkakafka是什么kafka体系结构kafka配置详解。2。kafka 的安装kafka 的存储策略kafka 分区特点kafka 的发布与订阅zookeeper 协

6、调管理java 编程操作 kafkascala 编程操作 kafkaflume和 kafka的整合Kafka 和 storm 的整合StormStorm 的基本概念Storm 的应用场景Storm 和 Hadoop的对比Storm 集群的安装的 linux 环境准备zookeeper 集群搭建Storm 集群搭建Storm 配置文件配置项讲解集群搭建常见问题解决Storm 常用组件和编程 API:Topology 、 Spout 、BoltStorm 分组策略 (stream groupings)使用 Strom 开发一个 WordCount例子Storm 程序本地模式 debug、Storm

7、 程序远程 debugStorm 事物处理Storm 消息可靠性及容错原理Storm 结合消息队列 Kafka :消息队列基本概念 (Producer 、Consumer、Topic 、Broker 等) 、消息队列 Kafka 使用场景、 Storm 结合 Kafka 编程 APIStorm Trident概念Trident state原理Trident 开发实例Storm DRPC(分布式远程调用 ) 介绍Storm DRPC实战讲解Storm 和 Hadoop 2.x 的整合: Storm on YarnStorm 开发实战: Kafka+Storm+Hbase+redis项目实战,以及

8、多个案例Scalascala解释器、变量、常用数据类型等scala的条件表达式、输入输出、循环等控制结构scala的函数、默认参数、变长参数等scala的数组、变长数组、多维数组等scala的映射、元组等操作scala的类,包括 bean 属性、辅助构造器、主构造器等scala的对象、单例对象、伴生对象、扩展类、apply 方法等scala的包、引入、继承等概念scala的特质scala的操作符scala的高阶函数scala的集合。3。scala 数据库连接SparkSpark 简介与应用场景大 数 据处RDD理TransformationActionSpark 计算 PageRankLine

9、ageSpark 模型简介Spark 缓存策略和容错处理宽依赖与窄依赖Spark 配置讲解Spark 集群搭建集群搭建常见问题解决Spark 原理核心组件和常用 RDD数据本地性任务调度DAGSchedulerTaskSchedulerSpark 源码解读性能调优Spark 和 Hadoop2.x 整合: Spark on Yarn原理SparkSpark Streaming :数据源和 DStreamStreaming无状态 transformation 与有状态 transformation实时计算Streaming Window 的操作sparksql编程实战spark 的多语言操作Sp

10、ark介绍MLlib回归算法机器学习分类算法第四章 推荐系统第五章 聚类KmeansDocker基本介绍vm docker 对比docker 基本架构介绍unfs cgroup namespace进程虚拟化 轻量级虚拟化docker安装docker镜像制作docker常用命令docker镜像迁移docker pipework1docker weave。4。虚拟化虚拟化介绍,虚拟化适用场景等等KVMQemu Libvirt & KVM安装 KVM, Qemu, LibvirtQEMU-KVM:安装第一个能上网的虚拟机Kvm虚拟机 nat, 网桥基本原理kvm虚拟机克隆kvm虚拟机 vnc 配置k

11、vm虚拟机扩展磁盘空间Kvm快照Kvm 迁移Java,python,c语言编程控制 kvm云平台openstack 介绍和模块基本原理分析OpenStackopenstack 多节点安装部署【 a. 采用 centos6.x系统】Keystone 基本原理glanceCinderSwiftNeutronOpenstack api二次开发综 合 项目结合基于 SSH技术的 jee 项目 互联网大数据调查系统,可针对当下流行的演练 1事件进行网络调查,然后从海量的调查调查问卷中通过大数据手段对其进行分析和汇总,最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析,掌握大众的心理导向,有效指定企业的战略规划和部署。综 合 项目结合国内某知名网站账户的泄露信息,运用大数据技术对所有账户的密码部演练 2分进行分析,从而判断国人在密码设置上的缺陷和漏洞,进而计算我们自己所设密码被成功破解的概率,最终通过改变个人的密码设置习惯有效保护个人的账户和财产安全。5。欢迎您的下载,资料仅供参考!致力为企业和个人提供合同协议,策划案计划书, 学习资料等等打造全网一站式需求。6

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 网络科技 > 计算机原理

本站链接:文库   一言   我酷   合作


客服QQ:2549714901微博号:道客多多官方知乎号:道客多多

经营许可证编号: 粤ICP备2021046453号世界地图

道客多多©版权所有2020-2025营业执照举报