HBase:项目之电信信号强度诊断介绍(第四阶段：实时数据生成及计算)

强度诊断介绍(第四阶段：实时数据生成及计算)"/>

HBase:项目之电信信号强度诊断介绍(第四阶段：实时数据生成及计算)

大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:/,感谢大家的支持,谢谢
送给大家一句话:今日事,今日毕

实时数据生成及计算

目标：实现实时新增数据的添加、实时数据解析、实时数据上传。

1. Mysql 数据写入
2. canal 解析mysql实时数据写入本地
3. Flume收集数据将数据上传至集群
4. SparkStreaming 实时计算

本阶段为实时业务。项目实时数据源是mysql实时新增的数据，系统需要将mysql的新增数据添加到大数据平台中，一份用于离线计算、一份用于实时计算。
实时业务需要实时计算出networkqualityinfo、cell_strength、data_connection三张表实时的数据总条数，并将计算后的总数写入mysql结果数据库。前端界面每隔1秒中到数据库查询一次并显示。

实时业务所需的数据来源需要编写代码实时向开启了binlog的mysql数据库中添加数据。新数据的添加会记录到相应的日志中。Canal实时解析日志中数据的所有变化，将新增的数据解析出来，保存到本地。
Flume监控读取Canal写入本地的数据，将数据写入kafka一份，用于实时业务的计算。写入HDFS一份，用于离线数据的计算。