admin管理员组文章数量:1597897
Hadoop的安装脚本
蓝奏云:https://ydfei.lanzous/iLgZqd9mihe
Hadoop链接:https://pan.baidu/s/1vx2xEGNEK3hQQauOaCJrgQ
提取码:cnvu
脚本使用方法:
要求:1.已安装jdk1.8 2.hadoop版本为hadoop-2.6.0-cdh5.14.2.tar.gz
参数:1.安装目录(Hadoop安装包要在安装目录下,如:/opt)2.ip地址
命令格式参考:./hadoop.sh /opt 192.168.20.150
注:别忘记修改脚本权限为777
安装详解
以安装在/opt下为例
一、前期准备
1.下载并解压
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
2.移动并改名
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
3.进入hadoop目录
cd hadoop260/etc/hadoop
二、修改Hadoop的配置文件
i) hadoop-env.sh
修改export JAVA_HOME=/opt/soft/jdk180 (jdk目录)
ii) core-site.xml
第一个配置含义:指定namenode的hdfs协议的文件系统通信地址, 定义文件系统的实现,默认是file:///本地文件系统 ,需要我们改成 hdfs://分布式文件存储系统
第二个配置含义:指定hadoop临时目录,用于存放hadoop在运行过程中的临时文件或缓冲等
iii) hdfs-site.xml
iv) mapred-site.xml
首先复制template生成mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
然后在指定mr框架为yarn
v) yarn-site.xml
第一个配置:指定resourceManager运行在哪台机器上面
第二个配置:NodeManager的通信方式
注:第一个配置的value如果写localhost,可能会导致以后nodeManager不启动,这时候就改成ip地址
错误提示:ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
三、增加环境变量(以便能在任意地点启动命令)
在/etc/profile 最后面添加
重启环境变量
source /etc/profile
四、对网络磁盘(文件系统)格式化
hadoop namenode -format
五、启动Hadoop
start-all.sh
测试1:显示当前系统的java进程情况及进程
jps
出现5个进程(Elasticsearch,Jps不是)
测试2:网页中输入http://192.168.56.100:50070
注:测试前先关闭防火墙
版权声明:本文标题:Hadoop伪分布式安装与配置详解(附脚本) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dianzi/1728299589a1152848.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论