Hive和Spark设置队列的方法

编程入门 行业动态 更新时间:2024-10-11 07:30:55

Hive和Spark设置<a href=https://www.elefans.com/category/jswz/34/1771257.html style=队列的方法"/>

Hive和Spark设置队列的方法

                                     Hive和Spark设置队列的方法

Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。
  方法一:
  在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,放在${HIVE_HOME}/conf目录下。里面可以对一些配置进行个性化设定。在hive-site.xml设置:
  所有的配置都是放在标签之间,一个configuration标签里面可以存在多个标签。标签里面就是我们想要设定属性的名称;标签里面是我们想要设定的值;<标签是描述在这个属性的,可以不写。绝大多少配置都是在xml文件里面配置的,因为在这里做的配置都全局用户都生效,而且是永久的。用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。
  方法二:
  在启动Hive cli的时候进行配置,可以在命令行添加-hiveconf param=value来设定参数,例如:
[wyp@master ~]$ hive --hiveconf mapreduce.job.queuename=queue1
这样在Hive中所有MapReduce作业

更多推荐

Hive和Spark设置队列的方法

本文发布于:2024-03-06 01:09:43,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1713958.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:队列   方法   Hive   Spark

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!