Kylin入门案例

入门案例"/>

Kylin入门案例

文章目录

• 测试数据表结构介绍
• • 导入测试数据
  • 按照日期统计订单总额/总数量（Hive方式）
  • 按照日期统计订单总额/总数量（Kylin方式）

测试数据表结构介绍

导入测试数据

为了方便后续学习Kylin的使用，需要准备一些测试表、测试数据。
1.Hive中创建表
2.将数据从本地文件导入到Hive
操作步骤
1、使用 beeline 连接Hive

!connect jdbc:hive2://node1:10000

2、创建并切换到 itcast_dw 数据库

create database itcast_kylin_dw;
use itcast_kylin_dw;

3、找到资料中的hive.sql文件，执行sql、创建测试表

# 查看表是否创建成功
show tables;

4、在home目录创建~/dat_file 文件夹，并将测试数据文件上传到该文件夹中
mkdir kylindatas

导入数据到表中

-- 导入数据
LOAD DATA LOCAL INPATH '/root/dat_file/dw_sales_data.txt' OVERWRITE  INTO TABLE dw_sales;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_channel_data.txt' OVERWRITE  INTO TABLE dim_channel;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_product_data.txt' OVERWRITE  INTO TABLE dim_product;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_region_data.txt' OVERWRITE  INTO TABLE dim_region;

5、执行一条SQL语句，确认数据是否已经成功导入

select * from dw_sales limit 5;

按照日期统计订单总额/总数量（Hive方式）

操作步骤：

• 1、使用beeline连接Hive
• 2、切换到itcast_kylin_dw数据库
• 3、编写SQL语句

操作步骤：

• 1、使用beeline连接Hive
• 2、切换到itcast_kylin_dw数据库

use itcast_kylin_dw

• 3、在代码目录中创建sql文件，编写SQL语句

select date1, sum(price) as total_money, sum(amount) as total_amount from dw_sales group by date1,channelid;

按照日期统计订单总额/总数量（Kylin方式）

要使用Kylin进行OLAP分析，需要按照以下方式来进行。
1、创建项目（Project）
2、创建数据源（DataSource）

• 指定有哪些数据需要进行数据分析

3、创建模型（Model）

• 指定具体要对哪个事实表、那些维度进行数据分析

4、创建立方体（Cube）

• 指定对哪个数据模型执行数据预处理，生成不同维度的数据

5、执行构建、等待构建完成
6、再执行SQL查询，获取结果

• 从Cube中查询数据

操作步骤
创建项目（Project）


创建数据源（DataSource）

• 将Hive中的表都导入到Kylin中
• 在添加表名中，指定数据库名

itcast_kylin_dw.dim_channel,itcast_kylin_dw.dim_product,itcast_kylin_dw.dim_region,itcast_kylin_dw.dw_sales

创建模型（Model）

1、 指定模型名称

2、 指定事实表

3、 指定维度表

4、 指定待分析的指标

5、 指定分区和过滤条件


创建立方体（Cube）

1、选择数据模型

2、指定维度



3、指定度量



4、指定刷新设置

5、指定执行引擎



执行构建


运行报错查看日志

如果是空指针多刷新几次

执行SQL语句分析

在Insight选项卡中，执行以下SQL语句

selectdate1,sum(price) as total_money,sum(amount) as total_amount
fromdw_sales
group by date1;

项目/model/cube的关系


设置维度—维度就是sql中GroupBY后面的字段.

设置指标/度量—指标/度量就是sql中select 后面的字段.
整个配置过程都来源于SQL,来源于需求。

配置过程

• 创建项目—引入数据—创建模型—创建cube –编译 – 查询
  
  查看最终计算完毕的结果数据
  
  根据显示的信息，去HBase中查询