Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和优化、存储元数据;S充当计算引擎】

编程入门 行业动态 更新时间:2024-10-22 20:29:38

Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算<a href=https://www.elefans.com/category/jswz/34/1771263.html style=引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和优化、存储元数据;S充当计算引擎】"/>

Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和优化、存储元数据;S充当计算引擎】

 Hive on Spark:

  • Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,
  • 执行引擎变成了Spark,Spark负责采用RDD执行。

Spark on Hive :

  • Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。
  • Hive只作为存储元数据,

1、spark on hive 

hive只作为存储角色,spark 负责sql解析优化,底层运行的还是sparkRDD

具体可以理解为spark通过sparkSQL使用hive语句操作hive表,底层运行的还是sparkRDD,

步骤如下:

1.通过sparkSQL,加载Hive的配置文件,获取Hive的元数据信息

2.获取到Hive的元数据信息之后可以拿到Hive表的数据

3.通过sparkSQL来操作Hive表中的数据

2、hive on spark

hive既作为存储又负责sql的解析优化,spark负责执行

这里Hive的执行引擎变成了spark,不再是MR。

这个实现较为麻烦,必须重新编译spark并导入相关jar包

目前大部分使用spark on hive

HiveSQL和SparkSQL的区别和联系_sparksql和hivesql的区别_万里长江横渡的博客-CSDN博客

更多推荐

Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和

本文发布于:2024-02-12 03:52:19,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1685769.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:引擎   数据   主流   方式   Hive

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!