本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。
知识点: 1.Hadoop的体系结构 2.Hadoop的主要模块 3.Hadoop伪分布式模式部署 4.HDFS的基本使用 5.WordCount测试用例
知识点: 1.Hadoop各个配置项的作用 2.启动Hadoop守护进程的方法 3.HDFS的初始化方法
知识点: 1.HDFS架构 2.HDFS基本操作 3.Web管理界面 4.WebHDFSAPI的使用
知识点: 1.MapReduce核心思想 2.MapReduce编程框架的结构 3.MapReduce应用的编写和编译方法
知识点: 1.Hadoop服务的启动 2.MapReduce应用的编写 3.生成Jar包的方法 4.HDFS的基本操作
知识点: 1.YARN核心思想及架构 2.YARN配置文件的作用 3.YARN应用开发方式 4.YARNWebUI的使用
知识点: 1.HadoopMapReduce任务执行 2.Hadoop示例程序的使用 3.Bash输出重定向
知识点: 1.关系型数据库与非关系型数据库的联系和区别 2.HBase的安装部署方法 3.HBase的数据模型和基本操作
知识点: 1.HBase创建表的方法 2.HBase导入外部数据的方法 3.HDFS的基本操作
知识点: 1.待迁移数据源的配置 2.Sqoop的体系结构 3.Sqoop的数据传输方法
知识点: 1.HBase过滤器的用法 2.HBase导入数据的方式 3.HBase表操作 4.Bash输出重定向
知识点: 1.Solr的特性 2.Solr的部署方法 3.向Solr添加数据的方法 4.Solr检索数据的方式
知识点: 1.Hive的架构 2.Hive的基本数据单位 3.部署Hive的方法 4.HiveHQL语言
知识点: 1.在Hive中创建表的方法 2.导入CSV数据到Hive表的方法 3.在Hive中执行SQL查询的方法 4.Bash输出重定向
知识点: 1.Flume的架构和数据流模型 2.Flume的安装部署方法 3.多数据源下配置和启动Agent的方法
知识点: 1.FlumeAgent配置方法 2.Hive启动方法 3.Hive中创建表的方式 4.Hive导入外部数据的方法 5.在Hive命令行运行HQL查询
知识点: 1.FlumeAgent配置 2.MapReduce框架的编写 3.MapReduce任务的执行
知识点: 1.Kafka的应用场景 2.Kafka的架构 3.Kafka与Flume的区别 4.Kafka的安装部署方法 5.Kafka的故障恢复能力 6.KafkaConnect的用法
知识点: 1.KafkaZooKeeper的配置 2.KafkaServer的用法 3.Kafka创建主题的方法 4.KafkaConnect的配置和使用
知识点: 1.模拟日志的生成方法 2.FlumeAgent的配置方法 3.Kafka的配置方法 4.Flume与Kafka的连接方法
知识点: 1.Pig的特性 2.Pig的架构 3.Pig的安装部署方法 4.Pig的启动模式 5.PigLatin
本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。
内容安排上先介绍各个组件核心知识，然后按照各组件的安装、配置、使用方法的顺序直接上手实操。 完成本课程的学习后，可掌握 Hadoop 各个组件的基本使用方法并能够解决一些开发中遇到的实际问题：如 HDFS 文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。
chunrong 共发布过 9 门课程
查看老师的所有课程 >
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
回复
