杭州博学教育IT认证培训学校

杭州西湖区达内hadoop培训

课程长度:10天/60小时

学员基础:

计算机相关专业;具备基本Linux系统管理经验;具备编程经验的开发人员;熟悉Java;不需要事先掌握Hadoop相关知识。

课程目标:

**可获得 Cloudera Certified Administrator for Apache Hadoop (CCAH) ;Cloudera Certified Developer for Apache Hadoop (CCDH)

培训内容:

**部分:Hadoop基础

· 初识Hadoop及其分布式文件系统

Hadoop是什么;Hadoop可以做什么;Hadoop的分布式文件系统(HDFS)及其特点,HDFS如何承载应用

· 搭建伪分布式的Hadoop环境

如何利用一台Linux机器搭建你的**个Hadoop环境 ? 如何从Hadoop的日志中发现它的故障、异常等

· 开发你的**个MapReduce程

函式编程与MapReduce,MapReduce程序的主题结构;在Eclipse上搭建MapReduce开发环境;

如何运行你MapReduce程序;用ANT自动化MapReduce程序的部署

· 在企业内网中**搭建真正分布式的Hadoop环境

如何在企业内网中**搭建一个真正的分布式的Hadoop环境?涉及YUM源,部署脚本等。

· HIVE基础与实践

HIVE的架构和实现方式;HIVE Me




培训课程详情

第二部分:深入解析HDFS

· 深度解析HDFS系统配置

HDFS及Linux中与HDFS相关的配置项详解,常用的HDFS必配项及其在实践中的设置方法

· 玩转HDFS

如何管理和维护HDFS,查找HDFS的基本命令,如何获取帮助,HDFS中的两个**常用命令集dfs和dfsadmin

· 深度解析HDFS的五大关键特性

EditLog、Checkpoint、 Rebalance、Rack Awareness和Replication

· 深度解析HDFS的读写过程和性能优化

HDFS在文件读写过程(结合HDFS源代码),HDFS的租约机制与无锁读写特性,如何从操作系统磁盘、

文件系统和网络等几个层面来优化的HDFS性能

· Trouble Shooting HDFS

HDFS的常见问题,Namenode的常见问题及其处理方法 , 元数据损坏时如何恢复,Datanode的常见问题及其处理方法

· 深入浅出Zookeeper

Paxos与Google的分布式 协同 机 制 , Chubby与Zookeeper, Zookeeper的 原 理、部署方法和应用技巧

· Hadoop Ha理论与实践

Hadoop HA的前世今生,Hadoop HA中是否存在数据丢失 的 风险 , Hadoop2中的 两 种HA方 式 QJM和 NFS, QJM方案配置演示

· HDFS RAID与HttpFS

· 案例分析:制作基于HDFS的对象存储


第三部分:深入解析MapReduce

· 深度刨析JobTracker和TaskTracker

JobTracker和TaskTracker的工作原理详解

· MapReduce经典案例刨析与开发思想

函式编程的回顾与深化,MapReduce典 型 程 序 分析:Wordcount、Top-k与Join

· 定制你的MapReduce

Inputformat、OutputFormat和Partitioner等

· 让Ma pRed uce 程序飞速运行(一)

深度解析 Split、Sort、 Shuffling、 Merge四 大MapReducce程序执行过程中所经历的四大关键过程,

如何利用这4大过程来优化MapReduce程序

· 让Ma pRed uce 程序飞速运行(二)

Combiner原理及其在MapReduce中的作用 ,MapReduce实际案例分析

· MapReduce程序开发的技巧

用Python等第三方语言**编写MapReduce程序、自动串接多个Mapper 和Reducer、

容忍一定程度的失败任务和错误记录等

· 进一步玩转MapReduce的平台级优化

MapReduce程序的主要性能瓶颈及各种“坑”,MapReduce的主要性能配置项及其配置方法

· YARN和MRv2选讲

案例分析:挖掘运营商中的大数据

博学教育

目前是浙江省的Oracle合作伙伴,Cisco授权培训中心,红帽授权培训中心,Prometric、VUE授权中心,每年培训学员5000人次,是100余家500强、单位、大型国企、上市公司的专业IT培训供应商。 博学致力于IT高端教育,在计算机软件(Oracle、Microsoft、SUN、CIW、RedHat Linux等),硬件(如HP、IBM、SUN等),网络(Cisco、华为)等与厂商有着良好的合作关系并**长期努力得了厂家别的授权合作,并与多家国内、外IT企业建立了合作伙伴关系。博学拥有一支强大的技术服务队伍,具有的技术服务力量和教学设施,同时与专业伙伴紧密结合,拥有丰富的计算机培训服务经验以及为部门、电信、教育、金融等行业提供专业计算机技术服务经验,专职培训老师均为业内的讲师或技术工程师。杭州博学成立至今已有HP上海分公司、TOSHIBA公司、UTStarcom中国、浙江电信、浙江移动、浙江联通、东方通信、杭州海关、新世纪信息、中程科技、恒生电子、浙大快威、浙大网新、用友软件、重庆电信、西安电信、山西电信、重庆电信、江苏电信、江苏网通、江西联通、国航浙江、南方航空、沙钢集团、浙江传化、信雅达、西子奥的斯、大和热磁、博世电动、中国石化、BP、AMDOCS中国、浙江电力、浙江烟草、杭州华数、创联软件、黄山地税、马尼托瓦(中国)、威睿电通等一批大客户。

学校简介:      

杭州博学信息技术服务有限公司(即博学教育培训中心),成立于2003年8月,是一家以教育培训、技术服务为主的IT服务型企业,其宗旨在于为社会各界人士提供、定制的专业IT培训,认证培训,职业就业培训等服务。



博学培训

开设课程:

博学教育专注it培训

等培训课程

咨询QQ   

滨江区至善路337号

课程安排时间:

白班、晚班、业余制班、周末班、一对一定制课程(详情请咨询顾问)

课程周期:

课程周期长短以学员实际所报班级为准,一对一课程培训老师沟通安排

课程收费:

因学员自身基础和所要学习达到的程度、报班时间长短等客观因素不等,我们开设有不同的班级,费用有所区别,费用以学员所报班级为准,学员根据自身要求选择报班,如有疑问请咨询报名老师。

不同时间校区有不同的优惠活动,详细优惠以当时参加的优惠活动为准。

我们竭诚为您服务,如需帮助或了解优惠活动,请在线联系顾问,顾问会及时安排课程老师电话和您沟通介绍!










| 回到顶部