项目介绍"/>
知行教育项目介绍
文章目录
- 项目一:大数据数仓项目
- 项目描述:
- 核心指标有两个:访问客户量和咨询客户量
- 整体流程:
- 增量方案优缺点:
项目一:大数据数仓项目
项目名称:知行教育数仓项目
项目架构:
数据源:电咨、线下面授、在线教育等OLTP系统的数据,大多存储于mysql。
数据抽取:使用sqoop实现关系型数据库和大数据集群的双向同步。 数据存储:HDFS
数据清洗:数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。
数据分析:数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。
数据同步:使用sqoop实现关系型数据库和大数据集群的双向同步。 OLAP数据服务:采用常用的Mysql数据库。
更多推荐
知行教育项目介绍
发布评论