北科培训“Hadoop系统原理、开发与运维”培训班

  • 课程分类:IT认证
  • 原始价格:3,980 优惠价格:3,980
  • 所在地区:北京
  • 发布机构:北京市北科信息处理公司

课程介绍

北科培训“Hadoop系统原理、开发与运维”培训班

主办单位:北京市北科信息处理公司

培训地点:中国 北京

培训时间:2014年5月1618

【课程简介】

通过此课程的培训,学员可以了解大数据技术的发展方向并深入理解Hadoop技术架构、运作机制和使用场景,对于MapReduce程序开发有清晰全面的认识,可以开发测试Hadoop程序,以及独立规划、部署以及调试生产环境的Hadoop集群,并进行版本管理。课程还涵盖了对新一代大数据操作系统--YARN的深入介绍,帮助学员在企业大数据战略方向上体现自身价值。课程主要涵盖以下内容:Hadoop基础知识、HDFS和MapReduce基本原理和架构、HDFS配置和部署、Mapreduce开发、Hadoop 2.0 – YARN、大数据生态系统。

 

【讲师简介】

堵老师,知名外企资深架构师,中国大陆地区唯一Apache Hadoop项目的Committer,负责Hadoop相关代码的审查和变更。有多年云计算与大数据开发和实施经验,熟悉大数据领域各项技术和商业模式,并活跃于国内外重要的大数据会议和论坛。

 

【课程对象】

1. 各类 IT/软件企业和研发机构的技术总监、企业CIO;

2. 大数据系统工程师、软件架构师、软件设计师、高级软件工程师等;

3. 数据库开发人员、互联网产品后台开发人员;

4. 运维人员、数据分析师、软件测试人员。

 

【课程内容】

课题

课程内容

第一天:Hadoop基础知识、基本原理和部署

模块一  大数据和Hadoop入门

大数据Hadoop的前世今生

Hadoop经典应用案例

模块二  Hadoop基础知识

Hadoop与分布式系统

Hadoop扩展性分析

Hadoop基本模块

模块三  HDFS与MAPREDUCE基本原理与架构

HDFS架构与功能分析

HDFS读与写流程分析

HDFS守护进程分析

MapReduce基础知识

MapReduce基本功能分析

MapReduce架构分析与故障恢复

模块四  Hadoop集群管理与配置

Hadoop常见使用命令

Hadoop运维故障及解决

Hadoop常用工具

Hadoop集群安装和开启LZO压缩

Hadoop配置集群具备机架感知

Hadoop集群开启公平/能力任务调度器

模块五  Hadoop集群维护与管理

查看集群状态

HDFS数据管理

Mapreduce 任务管理

HDFS安全模式

Namenode,Jobtrack单点失效问题

添加删除节点

数据平衡

文件数据跨集群拷贝

集群升级

模块六  Hadoop集群规划、测试、监控与高可用

集群规划(硬件,系统,网络)

集群性能测试

使用Ganglia 监控Hadoop集群

使用Cacti 监控操作系统

Hadoop 元数据NFS备份方案

Hadoop SecondaryNameNode备份方案

第二天:Hadoop MapReduce开发

模块七  Hadoop MapReduce流程分析

Hadoop JobTracker 详解回顾

Hadoop TaskTracker 详解回顾

Hadoop 任务提交流程详解

模块八  使用 Hadoop MapReduce Streaming 编程

Hadoop Streaming 和 Java MapReduce API 差异。

学习使用 MapReduce 实现数据库功能,比如select group by join union all )

模块九  MapReduce分布式程序

MapReduce流程

剖析一个MapReduce程序

基本MapReduceAPI 概念

驱动代码

Mapper

Reducer

API 使用Eclipse进行快速开发

上机实验

新MapReduce API

模块十  HDFS分布式文件系统编程

Hadoop HDFS 回顾

Hadoop NameNode 回顾

Hadoop DataNode 回顾

Hadoop I/O 操作

使用Hadoop HDFS API对HDFS编程

模块十一  Hadoop MapReduce高级编程和优化

ToolRunner介绍

使用MRUnit进行测试

利用Combiners来减少中间数据

使用Configure和Close方法来进行Map/Reduce设置和关闭

编写Partitioner来优化负载平衡

直接访问Hadoop分布式文件系统(HDFS)

使用分布式缓存(Distributed Cache)

map优化

reduce优化

小文件优化

第三天:Hadoop 2.0 — YARN和大数据生态系统

模块十二  YARN基础知识与架构分析

下一代HADOOP – YARN介绍

YARN的主要模块分析

YARN的 RPC通信机制

YARN的 两级资源调度机制

YARN的 多应用支持

模块十三  YARN集群配置和MapReduce特性

YARN基础配置

脚本化部署与卸载

YARN配置文件

YARN高级配置

高可用性配置

机架感知

基于CPU, Memory资源的公平、能力调度器

MapReduce的兼容性分析

插件化Shuffle和排序

模块十四  YARN集群维护与管理

查看YARN集群状态

查看YARN高可用性状态

YARN任务管理与追踪

集群ResourceManager失效

添加删除节点

集群升级

任务历史服务器

集群安全认证

模块十五  Hadoop YARN二次开发

YARN Resource Manager API

YARN客户端和Application Master

剖析Distributed Shell

总结不同应用的Application Master定制方案

模块十六  大数据生态系统

大数据与存储系统

大数据与线上系统

大数据与实时系统

大数据与数据仓库

大数据与内存计算

大数据与虚拟化

大数据与云计算

【注】:北信保留对以上课程信息(包括课程设置,课程内容和其他细节等)进行调整的权利,具体课程信息以实际上课为准。

【培训费用】

培训费:3980元/人,包括培训费、版资料费。培训期间免费提供午餐。可协助安排住宿,食宿费用自理。

 

【优惠政策】

1. 4月20日(含)之前报名且付款的学员可享受九折优惠;

2. 4月21日之后,5月10日之前报名且付款的学员可享受九五折优惠;

3. 3+1团报,同期班同单位3人报名且付款的团体,免费赠送1个学员名额;

4. 参加过往届北信培训班(不包含公开课)的学员享受八八折优惠。

(1,2,3,4的优惠不能同时使用,最终解释权归北信所有)

 

【温馨提示】

1. 名额有限,报满为止。我们将在报名后3个工作日内发送确认函,报名是否成功以收到我们的确认邮件为准;

2. 请自带笔记本电脑方便上机操作;

3. 已经成功付款的学员,若临时有事不能参加培训,请提前联系我们报退,可退还100%的培训费用;也可以转邀其他人代为参加;或者提交延期申请,推迟至下一期的培训。

 

【报名方式】

1. 或者填写报名回执表,将报名回执表以附件的形式发送到邮箱bktraining@163.com;

2. 报名咨询: 张老师   (咨询时间:周一至周五9:00-17:00)

3. 电话:010-57674188 手机:13466732145

4. 联系邮箱:bktraining@163.com

 

【付费方式】  现金、支票、银行转账汇款

账户名称:北京市北科信息处理公司

开户银行:北京银行健翔支行

账号:0109  1122  8001  2010  2013  270

汇款信息:Hadoop系统原理、开发与运维培训班

 

培训班报名回执

姓名

 

性别

 

职务

 

身份证号

 

报名日期

 

工作单位

 

研究方向

 

固定电话

 

手机

 

E-mail

 

是否住宿

 

是否用餐

 

备注

 

 

查看更多IT认证课程>>

相关课程

热门课程