你将学到的
  • MQ 消息系统的概念
  • Zookeeper 和 Kafka 的关系
  • 使用 Java 调用 Kafka topic 相关 API
  • Producer 入门开发
  • Consumer 入门开发
  • Kafka 整合 Flume
  • Kafka 发送接收非结构化数据实战
  • Kafka 消息系统的基本架构
  • 使用 shell 命令修改和删除 topic
  • 查看 Kafka 中消息的存储位置
  • Producer 进阶开发
  • Consumer 进阶开发
  • Kafka 发送接收结构化数据实战
  • Spark 2.0 读取 Kafka 数据实战
课程内容
  共11个章节
lab-classic 实验 1 Kafka,你好!

知识点: 1.了解MQ消息系统的概念 2.理解Kafka消息系统的基本架构 3.安装单机版Kafka集群 4.使用Shell命令创建Topic 5.使用Consumer、Producer发送和接收消息

lab-classic 实验 2 理解 Kafka 集群

知识点: 1.理解Zookeeper和Kafka的关系 2.理解broker、topic、producer、consumer、partition等专有术语 3.用本节的专业术语重新回顾上节课的实验

lab-classic 实验 3 理解 Kafka topic

知识点: 1.使用shell命令修改topic、删除topic 2.使用Java语言调用Kafkatopic相关API 3.查看Kafka中消息的存储位置

lab-classic 实验 4 Producer 开发入门

知识点: 1.开发Producer程序的基础知识 2.开发Java程序发送消息到Kafka集群 3.学习如何创建一个KafkaProducer和ProducerRecord对象 4.学习如何使用默认的partitioner和serializer发送消息

lab-classic 实验 5 Producer 开发进阶

知识点: 1.画图展示producer发送消息到Kafka的过程 2.查看Kafka源代码,从源码级别理解producer发送消息的过程 3.开发自定义partitioner分区器

lab-classic 实验 6 Consumer 开发入门

知识点: 1.理解消费者组的概念 2.学习开发consumer程序的基本步骤 3.编程控制消费指定offset的消息

lab-classic 实验 7 Consumer 开发进阶

知识点: 1.消息offset的同步提交 2.消息offset的异步提交 3.按partition维度提交offset 4.按处理的消息量提交offset

lab-classic 实验 8 Kafka 整合 Flume

知识点: 1.Flume的安装和配置 2.Flume接收命令行消息发送到Kafka

lab-classic 实验 9 Kafka 发送接收结构化数据

知识点: 1.使用Java开发消息发送程序Producer 2.使用Java开发消息读取程序Consumer

lab-classic 实验 10 Kafka 发送接收非结构化数据

知识点: 1.发送和接收图片数据 2.发送和接收视频数据

lab-classic 实验 11 Spark 2 整合 Kafka

知识点: 1.使用Eclipse搭建Spark20开发环境 2.使用Sparkstreaming读取Kafka数据,输出到console

课程介绍

本训练营目标是以 Java 代码实战的方式学习 Kafka。包括 Kafka 的安装配置、Producer API 的使用、Consumer API 的使用以及与第三方框架 Flume、Spark Streaming 的集成开发。对在大数据项目中经常用到的 Kafka 关键知识点,进行全方位、源代码级别的学习,使学员深入理解 Kafka 的内部机制。

适合人群

  • 具有一定的 Java 基础,会使用简单的 Linux Shell 命令的同学。

课程信息

  • 学习周期:课程有效期 2 个月, 2 个月后实验文档一直可以看,但无法进行在线实验。高级会员有效期内可一直学习(部分实验环境因为成本较高会限制次数),高级会员到期后课程失效(不能看文档)。
  • 企业团报:可获得更多支持服务,请点击 购买咨询
课程教师

Sny 共发布过 6 门课程

查看老师的所有课程 >
实验楼楼+
实验楼会员
会员
开通会员,即刻开始学习
公众号
实验楼学习助手 实验楼订阅号