分享
分享赚钱 收藏 举报 版权申诉 / 5

类型大数据课程体系.doc

  • 上传人:精品资料
  • 文档编号:9783033
  • 上传时间:2019-09-04
  • 格式:DOC
  • 页数:5
  • 大小:25.05KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    大数据课程体系.doc
    资源描述:

    1、Java 基础 JAVA 开发基础知识Eclipse 开发环境多线程技术 Socket 网络技术 Regular Expression Java 反射技术各种实战设计模式面向对象设计原则详解Java collectionReflectionJVM 原理与配置、调优Java 设计模式 Linux 大纲Linux 的介绍与安装VMware Workstation 虚拟软件安装 ubuntu 安装Linux 的常用命令Linux 系统进程管理常用命令 ps、pkill、top、htop 等的使用;Linux 启动流程,运行级别详解,chkconfig 详解nano 编辑器Linux 权限管理:用户、

    2、组Linux 权限管理:文件权限 rwxLinux 网络管理:hosts,hostname,ifconfig安装 JDK Hadoop Hadoop 介绍,发展史,国内外现状,未来Hadoop 核心组成介绍及 hdfs、mapreduce 体系结构Hadoop 的集群结构Hadoop 独立模式安装与测试Hadoop 启动与停止SSH 安装与配置Hadoop 伪分布式和完全分布式安装配置HDFS 底层工作原理HDFS datanode,namenode 详解Hdfs shellHdfs java apiInputSplit 和 OutputSplitBlockSize 配置最少副本数配置MR 作

    3、业流程分析编写 Mapper 程序编写 Reducer 程序执行 Mapreduce 过程Hadoop 核心类讲解,RM,NM,NN,DNYARN 调度框架事件分发机制Hadoop 底层 IPC 原理和 RPCHadoop 的底层 google ProtoBuf 的协议分析分布式数据库HbaseHBase 简介与 RDBMS 的对比系统架构HBase 上的 MapReduceHbase 核心术语介绍Hbase 基本操作HBase Shell 以及演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优(读、写、设计)数据仓库HiveHive 简介Hive 集群客户端简介

    4、HiveQL 介绍与 SQL 的比较数据类型外部表和分区表ddl 与 CLI 客户端演示dml 与 CLI 客户端演示select 与 CLI 客户端演示Operators 和 functions 与 CLI 客户端演示Hive server2 与 jdbc用户自定义函数(UDF 和 UDAF)的开发与演示Hive 优化数据迁移工具SqoopSqoop 简介和配置Sqoop shell 常见命令Sqoop 导入与导出Flume 分布式日志框架flume 简介-基础知识flume 安装与测试flume 部署方式flume source 相关配置及测试flume sink 相关配置及测试flume

    5、 selector 相关配置与案例分析flume Sink Processors 相关配置和案例分析flume Interceptors 相关配置和案例分析flume AVRO Client 开发flume 和 kafka 的整合Zookeeper开发Zookeeper java api 开发Zookeeper rmi 高可用分布式集群开发Zookeeper redis 高可用监控实现Netty 异步 io 通信框架Zookeeper 实现 netty 分布式架构的高可用kafka kafka 是什么kafka 体系结构kafka 配置详解kafka 的安装kafka 的存储策略kafka 分

    6、区特点kafka 的发布与订阅zookeeper 协调管理java 编程操作 kafkascala 编程操作 kafkaflume 和 kafka 的整合Kafka 和 storm 的整合Storm Storm 的基本概念Storm 的应用场景Storm 和 Hadoop 的对比Storm 集群的安装的 linux 环境准备zookeeper 集群搭建Storm 集群搭建Storm 配置文件配置项讲解集群搭建常见问题解决Storm 常用组件和编程 API:Topology、 Spout、BoltStorm 分组策略(stream groupings)使用 Strom 开发一个 WordCoun

    7、t 例子Storm 程序本地模式 debug、Storm 程序远程 debugStorm 事物处理Storm 消息可靠性及容错原理Storm 结合消息队列 Kafka:消息队列基本概念(Producer、Consumer、Topic、Broker 等)、消息队列 Kafka 使用场景、Storm 结合 Kafka 编程 APIStorm Trident 概念Trident state 原理Trident 开发实例Storm DRPC(分布式远程调用)介绍Storm DRPC 实战讲解Storm 和 Hadoop 2.x 的整合:Storm on YarnStorm 开发实战: Kafka+St

    8、orm+Hbase+redis 项目实战,以及多个案例Scala scala 解释器、变量、常用数据类型等scala 的条件表达式、输入输出、循环等控制结构scala 的函数、默认参数、变长参数等scala 的数组、变长数组、多维数组等scala 的映射、元组等操作scala 的类,包括 bean 属性、辅助构造器、主构造器等scala 的对象、单例对象、伴生对象、扩展类、apply 方法等scala 的包、引入、继承等概念scala 的特质scala 的操作符scala 的高阶函数scala 的集合scala 数据库连接Spark大数据处理Spark 简介与应用场景RDDTransforma

    9、tionActionSpark 计算 PageRankLineageSpark 模型简介Spark 缓存策略和容错处理宽依赖与窄依赖Spark 配置讲解Spark 集群搭建集群搭建常见问题解决Spark 原理核心组件和常用 RDD数据本地性任务调度DAGSchedulerTaskSchedulerSpark 源码解读性能调优Spark 和 Hadoop2.x 整合:Spark on Yarn 原理Spark Streaming实时计算Spark Streaming:数据源和 DStream无状态 transformation 与有状态 transformationStreaming Windo

    10、w 的操作sparksql 编程实战spark 的多语言操作Spark MLlib机器学习介绍 回归算法 分类算法第四章 推荐系统 第五章 聚类 KmeansDocker 基本介绍vm docker 对比docker 基本架构介绍unfs cgroup namespace进程虚拟化 轻量级虚拟化docker 安装docker 镜像制作docker 常用命令docker 镜像迁移docker pipework1docker weave虚拟化KVM虚拟化介绍,虚拟化适用场景等等Qemu Libvirt & KVM安装 KVM, Qemu, LibvirtQEMU-KVM: 安装第一个能上网的虚拟机

    11、Kvm 虚拟机 nat,网桥基本原理kvm 虚拟机克隆kvm 虚拟机 vnc 配置kvm 虚拟机扩展磁盘空间Kvm 快照Kvm 迁移Java,python,c 语言编程控制 kvm云平台OpenStackopenstack 介绍和模块基本原理分析openstack 多节点安装部署【a.采用 centos6.x 系统】Keystone 基本原理glanceCinderSwiftNeutronOpenstack api 二次开发综合项目演练 1结合基于 SSH 技术的 jee 项目互联网大数据调查系统,可针对当下流行的事件进行网络调查,然后从海量的调查调查问卷中通过大数据手段对其进行分析和汇总,最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析,掌握大众的心理导向,有效指定企业的战略规划和部署。综合项目演练 2结合国内某知名网站账户的泄露信息,运用大数据技术对所有账户的密码部分进行分析,从而判断国人在密码设置上的缺陷和漏洞,进而计算我们自己所设密码被成功破解的概率,最终通过改变个人的密码设置习惯有效保护个人的账户和财产安全。

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:大数据课程体系.doc
    链接地址:https://www.docduoduo.com/p-9783033.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开