最简单的安装】"/>
spark的集群安装【最简单的安装】
spark的集群安装
1 上传解压
1.1 hadoop2.7.7环境,安装spark3.1.3
[root@hadoop111 software]# tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz -C /opt/module/
1.2 重命名
[root@hadoop111 module]# mv spark-3.1.3-bin-hadoop2.7/ spark-3.1.3
1.3删除cmd文件(可选)
rm -rf *.cmd
2 修改配置文件
2.1 spark-env.sh
cd /opt/module/spark-3.1.3/conf/vim spark-env.sh# 添加jdk
export JAVA_HOME=/opt/module/jdk1.8
# standalone模式Master启动的机器主机名
SPARK_MASTER_HOST=hadoop111
# standalone模式Master启动的服务端口
SPARK_MASTER_PORT=7077
# standalone模式Master的Web界面的端口
SPARK_MASTER_WEBUI_PORT=8080
2.2 spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.confvim spark-defaults.conf# Spark默认使用的MasterURI
spark.master spark://hadoop111:7077
2.3 workers
cp workers.template workersvim workers# 配置需要启动worker进程的所有机器
hadoop111
hadoop112
hadoop113
2.4 修改spark的start-all.sh和stop-all.sh文件名
[root@hadoop111 sbin]# mv start-all.sh start-spark-all.sh[root@hadoop111 sbin]# mv stop-all.sh stop-spark-all.sh
3 分发
#执行rxyncrsync远程同步工具脚本xsync(名字随意改)
/home/lizi/bin/xsync /opt/module/spark-3.1.3
3.1 脚本2
#!/bin/bash
MY_HOSTNAME=`hostname`
HOSTS=`cat /etc/hosts | grep bd | awk '{print $2}' | grep -v $MY_HOSTNAME`
for HOST in $HOSTS
doecho "正在将${1}发送到${HOST}的${2}..."scp -rq $1 $HOST:$2echo "done.."
done
4 配置环境变量
echo 'export SPARK_HOME=/opt/module/spark-3.1.3' >> /etc/profile.d/my_env.sh
echo 'export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH' >> /etc/profile.d/my_env.sh
source /etc/profile
5 启动环境
start-spark-all.sh
6 Spark-shell
# 启动spark-shell
spark-shellCOPY
更多推荐
spark的集群安装【最简单的安装】
发布评论