你将学到的
  • Hadoop 基础概念
  • Hadoop 伪分布式模式部署
  • HDFS 的初始化方法
  • HDFS 基本操作
  • MapReduce 应用的编写和编译方法
  • YARN 配置文件的作用
  • HBase 的数据模型和基本操作
  • Sqoop 的数据传输方法
  • 向 Solr 添加数据的方法
  • Hive 架构及部署
  • Flume 的架构和数据流模型
  • Flume Agent 配置方法
  • Kafka 的架构及部署
  • Flume 与 Kafka 的连接方法
  • Pig 使用方法
  • HDFS 的基本使用
  • Hadoop 各配置项的作用
  • HDFS 架构
  • MapReduce 核心思想及架构
  • YARN 核心思想及架构
  • YARN 应用开发方式
  • Sqoop 的体系结构
  • Solr 特性及部署
  • Solr 检索数据的方式
  • Hive HQL 语言
  • 多数据源下配置和启动 Agent 的方法
  • Hive 导入外部数据的方法
  • Kafka Connect 的用法
  • Pig 架构及部署
课程内容
  共21个章节
lab-classic 实验 1 Hadoop 简介与安装部署

知识点: 1.Hadoop的体系结构 2.Hadoop的主要模块 3.Hadoop伪分布式模式部署 4.HDFS的基本使用 5.WordCount测试用例

lab-challenge 挑战 1 挑战:Hadoop 系统部署

知识点: 1.Hadoop各个配置项的作用 2.启动Hadoop守护进程的方法 3.HDFS的初始化方法

lab-classic 实验 2 HDFS 架构与操作

知识点: 1.HDFS架构 2.HDFS基本操作 3.Web管理界面 4.WebHDFSAPI的使用

lab-classic 实验 3 MapReduce 原理与实践

知识点: 1.MapReduce核心思想 2.MapReduce编程框架的结构 3.MapReduce应用的编写和编译方法

lab-challenge 挑战 2 挑战:使用 MapReduce 进行日志分析

知识点: 1.Hadoop服务的启动 2.MapReduce应用的编写 3.生成Jar包的方法 4.HDFS的基本操作

知识点: 1.YARN核心思想及架构 2.YARN配置文件的作用 3.YARN应用开发方式 4.YARNWebUI的使用

lab-challenge 挑战 3 挑战:用 Hadoop 计算圆周率

知识点: 1.HadoopMapReduce任务执行 2.Hadoop示例程序的使用 3.Bash输出重定向

知识点: 1.关系型数据库与非关系型数据库的联系和区别 2.HBase的安装部署方法 3.HBase的数据模型和基本操作

lab-challenge 挑战 4 挑战:HBase 数据导入

知识点: 1.HBase创建表的方法 2.HBase导入外部数据的方法 3.HDFS的基本操作

lab-classic 实验 6 Sqoop 数据迁移

知识点: 1.待迁移数据源的配置 2.Sqoop的体系结构 3.Sqoop的数据传输方法

lab-challenge 挑战 5 挑战:HBase 实现 Web 日志场景数据处理

知识点: 1.HBase过滤器的用法 2.HBase导入数据的方式 3.HBase表操作 4.Bash输出重定向

lab-classic 实验 7 Solr 基础实战

知识点: 1.Solr的特性 2.Solr的部署方法 3.向Solr添加数据的方法 4.Solr检索数据的方式

lab-classic 实验 8 Hive 基础实战

知识点: 1.Hive的架构 2.Hive的基本数据单位 3.部署Hive的方法 4.HiveHQL语言

lab-challenge 挑战 6 挑战:导入数据到 Hive

知识点: 1.在Hive中创建表的方法 2.导入CSV数据到Hive表的方法 3.在Hive中执行SQL查询的方法 4.Bash输出重定向

lab-classic 实验 9 Flume 基础实战

知识点: 1.Flume的架构和数据流模型 2.Flume的安装部署方法 3.多数据源下配置和启动Agent的方法

lab-classic 实验 10 Flume、HDFS和Hive实现日志收集和分析

知识点: 1.FlumeAgent配置方法 2.Hive启动方法 3.Hive中创建表的方式 4.Hive导入外部数据的方法 5.在Hive命令行运行HQL查询

lab-challenge 挑战 7 挑战:用Flume和MapReduce进行日志分析

知识点: 1.FlumeAgent配置 2.MapReduce框架的编写 3.MapReduce任务的执行

lab-classic 实验 11 Kafka 基础实战

知识点: 1.Kafka的应用场景 2.Kafka的架构 3.Kafka与Flume的区别 4.Kafka的安装部署方法 5.Kafka的故障恢复能力 6.KafkaConnect的用法

lab-challenge 挑战 8 挑战:按需部署 Kafka

知识点: 1.KafkaZooKeeper的配置 2.KafkaServer的用法 3.Kafka创建主题的方法 4.KafkaConnect的配置和使用

lab-classic 实验 12 使用 Flume 和 Kafka 实现实时日志收集

知识点: 1.模拟日志的生成方法 2.FlumeAgent的配置方法 3.Kafka的配置方法 4.Flume与Kafka的连接方法

lab-classic 实验 13 Pig 基础实战

知识点: 1.Pig的特性 2.Pig的架构 3.Pig的安装部署方法 4.Pig的启动模式 5.PigLatin

课程介绍

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件,主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。

内容安排上先介绍各个组件核心知识,然后按照各组件的安装、配置、使用方法的顺序直接上手实操。 完成本课程的学习后,可掌握 Hadoop 各个组件的基本使用方法并能够解决一些开发中遇到的实际问题:如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

实验任务

  • 动手实践 Hadoop 伪分布式模式部署。
  • WordCount 测试用例的编写。
  • Hadoop 系统部署挑战。
  • 动手实践 HDFS 的基本操作。
  • 运用 MapReduce 优化 WordCount 程序。
  • 使用 MapReduce 进行日志分析挑战。
  • YARN 测试用例的编写。
  • 用 Hadoop 计算圆周率挑战。
  • 实践 HBase 的基本操作。
  • HBase 数据导入挑战。
  • 使用 Sqoop 进行数据传输。
  • HBase 实现 Web 日志场景数据处理。
  • 使用 Solr 检索数据。
  • 实践 Hive 基本操作。
  • 导入数据到 Hive 挑战。
  • 配置和启动 Flume。
  • Flume、HDFS 和 Hive 实现日志收集和分析。
  • 用 Flume 和 MapReduce 进行日志分析挑战。
  • Kafka 基础实战。
  • 按需部署 Kafka 挑战。
  • 使用 Flume 和 Kafka 实现日志收集。
  • Pig 基础实战。

课程特点

  • 提供完善的在线实验环境,保证可以完全在线完成所有实验,省去本地配置环境的繁琐。
  • 实验步骤尽可能的详细,提供每个步骤的详细截图,确保你能完成所有实验操作,且大部分实验步骤都配有对应的视频解析,如果操作遇到问题也可以查看
  • 1 门课程便可广泛学习 Hadoop 相关核心组件的知识点,每个实验都是组件基础知识搭配动手实际操作,保证在动手的过程中掌握组件的使用方法

适合人群

具有一定的计算机基础和 Java 基础,对 Hadoop 感兴趣,想要进一步深入系统学习 Hadoop 核心组件的同学。

课程信息

  • 学习周期:课程有效期 2 个月,2 个月后实验文档一直可以看,但无法进行在线实验。高级会员有效期内可一直学习,高级会员到期后课程失效(不能看文档)。
  • 课程价格:当前优惠价格 149 元 。
  • 企业团报:可获得更多支持服务,请点击购买咨询
课程教师

yuanchunrong 共发布过 6 门课程

查看老师的所有课程 >
实验楼楼+
实验楼会员