咨询热线:    40000-53353(全国)    0571-28976118(浙江)    
 

Hadoop原理与实践 预约试听

 

课程长度:4天/24小时

课程描述:

本次课程从基础理论出发,结合一线实战经验,从开发(DEV),运维(OPS),数据库管理(DBA)三方面对HADOOP进行由浅入深的讲解。能够让学员结合自身特点,有的放矢。在理解Hadoop系统适用场景,搭建稳定可靠的Hadoop集群,满足生产环境的前提下,掌握MapReduce与Hive的中高级数据开发技能,HDFS管理技能和HBASE(NOSQL)数据库的管理技能。

 

学员基础:

1.计算机相关专业

2.具备基本Linux系统管理经验

3具备编程经验的开发人员

4.熟悉Java

5.不需要事先掌握Hadoop相关知识。

 

培训目标:

·对于有开发经验的学员,通过对MAPREDUCE计算模型和数据流的讲解,能快速的适应在HADOOP集群上进行数据开发相关工作。

·对于有运维经验的学员,通过对HDFS文件系统和HADOOP集群维护管理的讲解,能快速适应企业的HADOOP集群维护工作。

·对于有数据库管理经验的学员,通过对HBASE的讲解,加深对NOSQL产品的理解,能快速适应大数据下的数据库管理工作。

 

培训内容:

第一部分:Hadoop简介

一、初识Hadoop

·数据存储和分析

·传统RDBMS和HADOOP应用场景和区别

·Hadoop项目及其结构

·Hadoop单点安装VMware,ubuntu,Java,Hadoop

第二部分:开发人员DEV 课程

二.初级MapReduce,Hadoop平台数据开发人员基础课程

·Hadoop Eclipse开发环境配置

·理解mapReduce计算模型

·分布式下MapReduce作业的执行过程

·WordCount实例讲解及数据流分析

·hadoop 流

·使用Combiner和Partitioner优化mapReduce执行过程

·编写mapper或reduce单元测试

·MapReduce的WEB界面

·其他案例分析

三.高级MapReduce,Hadoop平台高级数据开发关键课程

·深入理解MapReduce执行过程(Suffle&Sort)

·Mapper端相关参数设置和优化

·Reduce端相关参数设置和优化

·JOB Counter讲解

四.HIVE,Hadoop构建数据仓库必备工具

·HIVE安装配置

·HIVE体系架构

·HiveQL

第三部分:运维人员OPS 课程

五.分布式文件系统HDFS, 是Hadoop平台运维人员的基础课程

·HDFS的架构设计

·HDFS的基本操作

·HDFS数据流(读取,写入,一致性模型)

·HDFS API编程

六.Hadoop集群与管理,是Hadoop平台运维人员的高级课程

·集群安装和配置

·集群下运行MR程序

·Hadoop监控和管理工具

·维护(常用命令,备份)

第四部分:数据库管理员DBA 课程

七.HBase基础知识,面向列的实时分布式数据库

·NOSQL简介

·CAP理论

·HBASE体系架构

·HBASE数据模型

·HBASE集群安装和管理6.业务连贯性与灾难恢复(14%):提供鉴证服务,确保一旦发生中断,业务连贯性和灾难恢复流程将保证及时恢复信息系统服务,同时使业务受到的影响降到最低。