1. 全部课程
  2. Hadoop
  3. Hadoop 核心组件基础实战

Hadoop 核心组件基础实战

训练营

257 人学过 23 人关注 作者: yuanchunrong

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

你将学到的
  • Hadoop 基础概念
  • Hadoop 伪分布式模式部署
  • HDFS 的初始化方法
  • HDFS 基本操作
  • MapReduce 应用的编写和编译方法
  • YARN 配置文件的作用
  • HBase 的数据模型和基本操作
  • Sqoop 的数据传输方法
  • 向 Solr 添加数据的方法
  • Hive 架构及部署
  • Flume 的架构和数据流模型
  • Flume Agent 配置方法
  • Kafka 的架构及部署
  • Flume 与 Kafka 的连接方法
  • Pig 使用方法
  • HDFS 的基本使用
  • Hadoop 各配置项的作用
  • HDFS 架构
  • MapReduce 核心思想及架构
  • YARN 核心思想及架构
  • YARN 应用开发方式
  • Sqoop 的体系结构
  • Solr 特性及部署
  • Solr 检索数据的方式
  • Hive HQL 语言
  • 多数据源下配置和启动 Agent 的方法
  • Hive 导入外部数据的方法
  • Kafka Connect 的用法
  • Pig 架构及部署
课程内容
  共21个章节
lab-classic 实验 1 Hadoop 简介与安装部署

知识点: 1.Hadoop的体系结构 2.Hadoop的主要模块 3.Hadoop伪分布式模式部署 4.HDFS的基本使用 5.WordCount测试用例

lab-challenge 挑战 1 挑战：Hadoop 系统部署

知识点: 1.Hadoop各个配置项的作用 2.启动Hadoop守护进程的方法 3.HDFS的初始化方法

lab-classic 实验 2 HDFS 架构与操作

知识点: 1.HDFS架构 2.HDFS基本操作 3.Web管理界面 4.WebHDFSAPI的使用

lab-classic 实验 3 MapReduce 原理与实践

知识点: 1.MapReduce核心思想 2.MapReduce编程框架的结构 3.MapReduce应用的编写和编译方法

lab-challenge 挑战 2 挑战：使用 MapReduce 进行日志分析

知识点: 1.Hadoop服务的启动 2.MapReduce应用的编写 3.生成Jar包的方法 4.HDFS的基本操作

lab-classic 实验 4 YARN 架构

知识点: 1.YARN核心思想及架构 2.YARN配置文件的作用 3.YARN应用开发方式 4.YARNWebUI的使用

lab-challenge 挑战 3 挑战：用 Hadoop 计算圆周率

知识点: 1.HadoopMapReduce任务执行 2.Hadoop示例程序的使用 3.Bash输出重定向

lab-classic 实验 5 HBase 基础

知识点: 1.关系型数据库与非关系型数据库的联系和区别 2.HBase的安装部署方法 3.HBase的数据模型和基本操作

lab-challenge 挑战 4 挑战：HBase 数据导入

知识点: 1.HBase创建表的方法 2.HBase导入外部数据的方法 3.HDFS的基本操作

lab-classic 实验 6 Sqoop 数据迁移

知识点: 1.待迁移数据源的配置 2.Sqoop的体系结构 3.Sqoop的数据传输方法

lab-challenge 挑战 5 挑战：HBase 实现 Web 日志场景数据处理

知识点: 1.HBase过滤器的用法 2.HBase导入数据的方式 3.HBase表操作 4.Bash输出重定向

lab-classic 实验 7 Solr 基础实战

知识点: 1.Solr的特性 2.Solr的部署方法 3.向Solr添加数据的方法 4.Solr检索数据的方式

lab-classic 实验 8 Hive 基础实战

知识点: 1.Hive的架构 2.Hive的基本数据单位 3.部署Hive的方法 4.HiveHQL语言

lab-challenge 挑战 6 挑战：导入数据到 Hive

知识点: 1.在Hive中创建表的方法 2.导入CSV数据到Hive表的方法 3.在Hive中执行SQL查询的方法 4.Bash输出重定向

lab-classic 实验 9 Flume 基础实战

知识点: 1.Flume的架构和数据流模型 2.Flume的安装部署方法 3.多数据源下配置和启动Agent的方法

lab-classic 实验 10 Flume、HDFS和Hive实现日志收集和分析

知识点: 1.FlumeAgent配置方法 2.Hive启动方法 3.Hive中创建表的方式 4.Hive导入外部数据的方法 5.在Hive命令行运行HQL查询

lab-challenge 挑战 7 挑战：用Flume和MapReduce进行日志分析

知识点: 1.FlumeAgent配置 2.MapReduce框架的编写 3.MapReduce任务的执行

lab-classic 实验 11 Kafka 基础实战

知识点: 1.Kafka的应用场景 2.Kafka的架构 3.Kafka与Flume的区别 4.Kafka的安装部署方法 5.Kafka的故障恢复能力 6.KafkaConnect的用法

lab-challenge 挑战 8 挑战：按需部署 Kafka

知识点: 1.KafkaZooKeeper的配置 2.KafkaServer的用法 3.Kafka创建主题的方法 4.KafkaConnect的配置和使用

lab-classic 实验 12 使用 Flume 和 Kafka 实现实时日志收集

知识点: 1.模拟日志的生成方法 2.FlumeAgent的配置方法 3.Kafka的配置方法 4.Flume与Kafka的连接方法

lab-classic 实验 13 Pig 基础实战

知识点: 1.Pig的特性 2.Pig的架构 3.Pig的安装部署方法 4.Pig的启动模式 5.PigLatin

课程介绍

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。

内容安排上先介绍各个组件核心知识，然后按照各组件的安装、配置、使用方法的顺序直接上手实操。 完成本课程的学习后，可掌握 Hadoop 各个组件的基本使用方法并能够解决一些开发中遇到的实际问题：如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

实验任务

  • 动手实践 Hadoop 伪分布式模式部署。
  • WordCount 测试用例的编写。
  • Hadoop 系统部署挑战。
  • 动手实践 HDFS 的基本操作。
  • 运用 MapReduce 优化 WordCount 程序。
  • 使用 MapReduce 进行日志分析挑战。
  • YARN 测试用例的编写。
  • 用 Hadoop 计算圆周率挑战。
  • 实践 HBase 的基本操作。
  • HBase 数据导入挑战。
  • 使用 Sqoop 进行数据传输。
  • HBase 实现 Web 日志场景数据处理。
  • 使用 Solr 检索数据。
  • 实践 Hive 基本操作。
  • 导入数据到 Hive 挑战。
  • 配置和启动 Flume。
  • Flume、HDFS 和 Hive 实现日志收集和分析。
  • 用 Flume 和 MapReduce 进行日志分析挑战。
  • Kafka 基础实战。
  • 按需部署 Kafka 挑战。
  • 使用 Flume 和 Kafka 实现日志收集。
  • Pig 基础实战。

课程特点

  • 提供完善的在线实验环境，保证可以完全在线完成所有实验，省去本地配置环境的繁琐。
  • 实验步骤尽可能的详细，提供每个步骤的详细截图，确保你能完成所有实验操作，且大部分实验步骤都配有对应的视频解析，如果操作遇到问题也可以查看
  • 1 门课程便可广泛学习 Hadoop 相关核心组件的知识点，每个实验都是组件基础知识搭配动手实际操作，保证在动手的过程中掌握组件的使用方法

适合人群

具有一定的计算机基础和 Java 基础，对 Hadoop 感兴趣，想要进一步深入系统学习 Hadoop 核心组件的同学。

课程信息

  • 学习周期：课程有效期 2 个月，2 个月后实验文档一直可以看，但无法进行在线实验。高级会员有效期内可一直学习，高级会员到期后课程失效（不能看文档）。
  • 课程价格：当前优惠价格 149 元 。
  • 企业团报：可获得更多支持服务，请点击购买咨询。
课程教师

yuanchunrong 共发布过 6 门课程

查看老师的所有课程 >
风中夜
L18
啥都不是
2019-12-04 09:15:16 来自：挑战：HBase 数据导入
回复
junlz
L97
还不错哦
2019-11-11 14:45:49 来自：挑战：Hadoop 系统部署
回复
junlz
L97
体验还不错
2019-11-11 14:31:25 来自：Hadoop 简介与安装部署
回复
LOU1083296793
L14
多来几个免费章节
2019-11-11 09:02:34 来自：Hadoop 简介与安装部署
回复
junlz
L97
还可以
2019-11-07 11:34:18 来自：Hadoop 简介与安装部署
回复
风中夜
L18
不慎了了
2019-10-31 10:43:19 来自：MapReduce 原理与实践
回复
风中夜
L18
啥也没干啊，逗逼
2019-10-23 08:43:25 来自：挑战：Hadoop 系统部署
回复
LOU160403074
L120
哈哈哈
2019-05-04 17:22:00 来自：Flume 基础实战
回复
LOU160403074
L120
测测
2019-05-03 17:52:45 来自：挑战：导入数据到 Hive
回复
LOU160403074
L120
的订单
2019-05-03 16:42:41 来自：Solr 基础实战
回复
LOU160403074
L120
测
2019-05-03 15:28:47 来自：Hive 基础实战
回复
LOU160403074
L120
仓储
2019-05-03 11:50:00 来自：Solr 基础实战
回复
LCeHoEnN
L3
有些地方不是很清楚，而且4.4创建不成功，导致后面的没法做，很奇怪
2019-04-28 15:57:52 来自：Hadoop 简介与安装部署
回复
LOU160403074
L120
发发发
2019-04-12 10:40:43 来自：挑战：用 Hadoop 计算圆周率
回复
LOU160403074
L120
发发发
2019-04-12 09:33:05 来自：挑战：用 Hadoop 计算圆周率
回复
LOU160403074
L120
写的我手疼
2019-04-11 18:26:44 来自：YARN 架构
回复
学过本课的同学也学过...
Hadoop入门进阶课程
Hadoop入门进阶课程
课程涵盖了大数据领域常见的组件，如Hadoop、Mapreduce、HBase、Mahout、Pig、Hive、Sqoop等。首先从理论上进行介绍，然后让您在实验环境中一步步搭建，及相应的案例学习。学习完本课程您将对大数据有深入的了解，并能够很快的上手。
19378
Hadoop部署及管理
Hadoop部署及管理
Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架，本实验学习并实践Hadoop系统的不同模式的部署，以及基本的系统使用与管理。
11033
HIVE 教程
HIVE 教程
Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能。还可以将 sql 语句转换为 MapReduce 任务运行。
4780
Hadoop 核心组件基础实战

￥149

免费  高级会员 可选优惠

开通高级会员，立享免费学 去开通

  •  21 个在线动手实验
  •  8 个实战场景挑战
follow 关注
实验楼楼+
实验楼会员