虚拟机+ubuntu+Hadoop配置+win10下eclipse与虚拟机的通信"/>
虚拟机+ubuntu+Hadoop配置+win10下eclipse与虚拟机的通信
最近,要在eclipse实现一个Hadoop工程,并传给虚拟机的hadoop运行,查了好多博客,记录一下出错的地方。
一:虚拟机里面配置Hadoop(特别提醒不要下最新的Ubuntu和hadoop,出错了的坑巨多且网上还不好找到解决办法)
首先,配置hadoop参照了这位朋友的:
hadoop的伪分布式集群配置
可能出现的坑:
1、一定要按上面配置好ssh,不然后面肯定出现问题。
2、注意jdk、hadoop、ubuntu(或者其他linux系统)版本是否匹配。
3、最好创建一个hadoop用户,并给予权限,类似这样“sudo chown -R hadoop ./hadoop”
4、在单机执行wordcount时,可能share/hadoop下没有mapreduce,不要纠结,直接在网上下载一个版本匹配的wordcount的jar包,给复制到这个目录下。
如果单机还是运行wordcount失败,也不要纠结,先把伪分布集群配置好,在集群中执行(我是在伪集群中执行成功了)
5. 布置完成后,格式化开启集群后,输入jps发现没有datanode节点,可能时是原来的格式化失败留下的namenode节点没删掉,去自己hadoop目录tmp往下走,把namenode删掉
更多推荐
虚拟机+ubuntu+Hadoop配置+win10下eclipse与虚拟机的通信
发布评论