你将学到的
  • Hadoop 介绍
  • HDFS 原理
  • Pig 介绍
  • Mahout 介绍
  • Sqoop 介绍
  • Chukwa 介绍
  • Hadoop1.X 伪分布安装
  • MapReduce 原理
  • Hive 介绍
  • HBase 介绍
  • Flume 介绍
课程内容
  共13个章节
lab-classic 实验 1 Hadoop介绍及1.X伪分布式安装
lab-classic 实验 2 HDFS原理及操作
lab-classic 实验 3 MapReduce原理及操作
lab-classic 实验 4 MapReduce应用案例
lab-classic 实验 5 Pig介绍、安装与应用案例
lab-classic 实验 6 Hive介绍和安装部署
lab-classic 实验 7 Mahout介绍、安装与应用案例
lab-classic 实验 8 HBase介绍、安装与应用案例
lab-classic 实验 9 Sqoop介绍、安装与操作
lab-classic 实验 10 Flume介绍与安装
lab-classic 实验 11 Chukwa介绍与安装部署
lab-classic 实验 12 Hadoop2.X 64位编译(选学)
lab-classic 实验 13 Hadoop2.X 64位环境搭建(选学)
课程介绍

实验任务

  • Hadoop 环境搭建
  • 读取 HDFS 文件内容
  • 读取本地文件并将其内容写入 HDFS 成为新文件
  • 使用 MapReduce 完成多个实际案例的应用
  • 搭建 Pig 环境
  • 使用 Pig 计算出网站访问日志中每个 IP 的点击次数
  • 搭建 Hive 环境
  • 搭建 Mahout 环境
  • 对 20 个新闻组数据集使用朴素贝叶斯算法进行分类
  • 安装部署 HBase
  • 使用 HBase 对学生成绩表进行操作
  • 安装部署 Sqoop
  • MySql 数据导入到 HDFS 中
  • MySql 数据导入到 Hive 中
  • 安装部署 Flume
  • 使用 Flume 收集日志到 HDFS 中
  • 安装部署 Chukwa
  • 使用 Chukwa 监听日志数据文件并将其存储到 HDFS 中
  • 编译 Hadoop2.X 64 位
  • 编译 Hadoop
  • 部署 Hadoop2.X

先学知识

需要了解 Java 相关的基础知识,推荐学习Java 编程语言基础

课程难度

本课程难度为中等。

面向用户

本课程为 Hadoop 入门进阶课程,由于实验过程中需要使用 Java 编写代码,所以面向已经掌握 Linux 基础以及 Java 基础,同时希望能够快速了解上手 Hadoop 相关组件的同学进行学习。

课程教师

jan98341 共发布过 1 门课程

大数据架构师,拥有10年以上的开发经验,对Hadoop和Spark等大数据技术充满兴趣。希望大家能够喜欢他所整理的大数据技术文章。

查看老师的所有课程 >
实验楼楼+
实验楼会员