实时处理练习

实时处理练习"/>

实时处理练习

文章目录

• 1 提出任务
• • 1.1 实时数据采集
• 2 完成任务
• • 2.1 创建Flume运行的配置文件
  • 2.2 安装netcat
  • 2.3 启动flume
  • 2.4 启动netcat
  • 2.5 Kafka消费数据
  • 2.5 查看HDFS上的备份数据

1 提出任务

1.1 实时数据采集

1. 在主节点使用 Flume 采集实时数据生成器 10050 端口的 socket 数据，将数据存入到 Kafka 的 Topic 中(Topic 名称为 order，分区数为 4)，使用 Kafka 自带的消费者消费 order(Topic)中的数据，将前 2 条数据的结果截图粘贴至客户端桌面【Release\任务
   D 提交结果.docx】中对应的任务序号下；
2. 采用多路复用模式，Flume 接收数据注入 kafka 的同时，将数据备份到 HDFS 目录/user/test/flumebackup下，将查看备份目录
   下的第一个文件的前 2 条数据的命令与结果截图粘贴至客户端桌面【Release\任务 D 提交