Hadoop集群配置出现的问题

集群配置出现的问题"/>

Hadoop集群配置出现的问题

一、Attempting to operate on yarn resourcemanager as root.
yarn无法正常启动resourcemanager。
Cause by: java.BindException: Port in use: hadoop103:8088
解决方法：自己最开始在虚拟机中装的是java1.16 需要将java1.16改为java1.8

二、启动 sbin/start-dfs.sh 之前 只启动了 NodeManager，DataNode启动失败：
Cauese by:java.io.IOException: error=0,Failed to exec spawn helper: pid: 28314, exit value: 127
出现问题的原因：一般来说namenode只格式化一次，因为每次格式化之后namenode都会重新生成一个clusterID，但是datanode的clusterID还是旧的，两个ID不同就会造成datanode无法启动，所以可以手动将两者的ID修改一样。
默认情况下
namenode的clusterID写在/opt/module/hadoop-3.1.3/dfs/name/current/VERSION文件中
datanode的clusterID写在/opt/module/hadoop-3.1.3/dfs/data/current/VERSION文件中

clusterID不一致导致datanode无法启动，只要把这两文件中的clusterID改一致就能正常启动了。修改namenode的clusterID或修改datanode的clusterID都行，但在集群情况下datanode的数量多，还是改namenode的clusterID比较方便。

日志查询
来到logs目录下找到相应的进程的.log文件从中搜索error部分。找到错误种类方便寻找解决方案。
比如：datanode出现问题 就打开 hadoop-root-datanode-hadoop103.log 文件去寻找error部分。