本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。
实验 1
Hadoop 简介与安装部署
知识点: 1.Hadoop的体系结构 2.Hadoop的主要模块 3.Hadoop伪分布式模式部署 4.HDFS的基本使用 5.WordCount测试用例
挑战 1
挑战：Hadoop 系统部署
知识点: 1.Hadoop各个配置项的作用 2.启动Hadoop守护进程的方法 3.HDFS的初始化方法
实验 2
HDFS 架构与操作
知识点: 1.HDFS架构 2.HDFS基本操作 3.Web管理界面 4.WebHDFSAPI的使用
实验 3
MapReduce 原理与实践
知识点: 1.MapReduce核心思想 2.MapReduce编程框架的结构 3.MapReduce应用的编写和编译方法
挑战 2
挑战：使用 MapReduce 进行日志分析
知识点: 1.Hadoop服务的启动 2.MapReduce应用的编写 3.生成Jar包的方法 4.HDFS的基本操作
实验 4
YARN 架构
知识点: 1.YARN核心思想及架构 2.YARN配置文件的作用 3.YARN应用开发方式 4.YARNWebUI的使用
挑战 3
挑战：用 Hadoop 计算圆周率
知识点: 1.HadoopMapReduce任务执行 2.Hadoop示例程序的使用 3.Bash输出重定向
实验 5
HBase 基础
知识点: 1.关系型数据库与非关系型数据库的联系和区别 2.HBase的安装部署方法 3.HBase的数据模型和基本操作
挑战 4
挑战：HBase 数据导入
知识点: 1.HBase创建表的方法 2.HBase导入外部数据的方法 3.HDFS的基本操作
实验 6
Sqoop 数据迁移
知识点: 1.待迁移数据源的配置 2.Sqoop的体系结构 3.Sqoop的数据传输方法
挑战 5
挑战：HBase 实现 Web 日志场景数据处理
知识点: 1.HBase过滤器的用法 2.HBase导入数据的方式 3.HBase表操作 4.Bash输出重定向
实验 7
Solr 基础实战
知识点: 1.Solr的特性 2.Solr的部署方法 3.向Solr添加数据的方法 4.Solr检索数据的方式
实验 8
Hive 基础实战
知识点: 1.Hive的架构 2.Hive的基本数据单位 3.部署Hive的方法 4.HiveHQL语言
挑战 6
挑战：导入数据到 Hive
知识点: 1.在Hive中创建表的方法 2.导入CSV数据到Hive表的方法 3.在Hive中执行SQL查询的方法 4.Bash输出重定向
实验 9
Flume 基础实战
知识点: 1.Flume的架构和数据流模型 2.Flume的安装部署方法 3.多数据源下配置和启动Agent的方法
实验 10
Flume、HDFS和Hive实现日志收集和分析
知识点: 1.FlumeAgent配置方法 2.Hive启动方法 3.Hive中创建表的方式 4.Hive导入外部数据的方法 5.在Hive命令行运行HQL查询
挑战 7
挑战：用Flume和MapReduce进行日志分析
知识点: 1.FlumeAgent配置 2.MapReduce框架的编写 3.MapReduce任务的执行
实验 11
Kafka 基础实战
知识点: 1.Kafka的应用场景 2.Kafka的架构 3.Kafka与Flume的区别 4.Kafka的安装部署方法 5.Kafka的故障恢复能力 6.KafkaConnect的用法
挑战 8
挑战：按需部署 Kafka
知识点: 1.KafkaZooKeeper的配置 2.KafkaServer的用法 3.Kafka创建主题的方法 4.KafkaConnect的配置和使用
实验 12
使用 Flume 和 Kafka 实现实时日志收集
知识点: 1.模拟日志的生成方法 2.FlumeAgent的配置方法 3.Kafka的配置方法 4.Flume与Kafka的连接方法
实验 13
Pig 基础实战
知识点: 1.Pig的特性 2.Pig的架构 3.Pig的安装部署方法 4.Pig的启动模式 5.PigLatin
本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。
内容安排上先介绍各个组件核心知识，然后按照各组件的安装、配置、使用方法的顺序直接上手实操。 完成本课程的学习后，可掌握 Hadoop 各个组件的基本使用方法并能够解决一些开发中遇到的实际问题：如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。
完全在线完成所有实验，省去本地配置环境的繁琐提供每个步骤的详细截图，确保你能完成所有实验操作，且大部分实验步骤都配有对应的视频解析，如果操作遇到问题也可以查看组件基础知识搭配动手实际操作，保证在动手的过程中掌握组件的使用方法具有一定的计算机基础和 Java 基础，对 Hadoop 感兴趣，想要进一步深入系统学习 Hadoop 核心组件的同学。
yuanchunrong 共发布过 4 门课程
查看老师的所有课程 >
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
