如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

编程入门 行业动态 更新时间:2024-10-12 12:23:09

如何解决Yarn管理<a href=https://www.elefans.com/category/jswz/34/1771336.html style=页面的ApplicationHistory / History无法跳转到指定页面的问题"/>

如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

在介绍问题之前我先将自己搭建的大数据机器环境介绍一下:这里我是用VM-version12虚拟出了三台集群机器,分别是master --> ip:192.168.153.10, slave1 --> ip:192.168.153.11, slave2 --> 190.168.153.12;在这三台机器上我分别搭建了Hadoop2.x的环境jdk1.8.0_172 等工具。

之前我在跑MapReduce任务登陆Yarn管理页面的时候,发现从本地计算机(Windows系统)可以通过master地址进入Yarn管理页面的首页,但是无法通过该页面继续进入其他管理页面,这让我感到很困惑以为是通过Client端进入有权限限制,于是在master机器上查看发现任然存在这个问题,后来查阅资料找到一些结局办法,现在我将我的解决的过程整理如下:

1.需要在集群上搭建历史服务器,并在启动Hadoop集群之前将历史服务器启动,过程如下:

进入Hadoop安装目录的/usr/local/src/hadoop-2.6.5/etc/hadoop下,修改mapred-site.xml文件在mapred-site.xml文件添加如下内容。

        <property><name>mapreduce.jobhistory.address</name><value>master:10020</value><description>MR JobHistory Server管理的日志的存放位置</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value><description>查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行</description></property><property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value><description>MR JobHistory Server管理的日志的存放位置,默认:/mr-history/done</description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/mapred/tmp</value><description>MapReduce作业产生的日志存放位置,默认值:/mr-history/tmp</description></property>

如果在这一步修改之后报这个Aggregation is not enabled.Try the nodemanager at xxxx:xxxx错误的话,需要修改yarn-site.xml文件,在yarn-site.xml文件中添加如下内容

        <property>  <name>yarn.log-aggregation-enable</name><value>true</value></property>

当我们配置完成后,需要启动日志(历史)服务器,启动地址在如下目录

启动命令如下:

mr-jobhistory-daemon.sh start historyserver
#启动后可在监控页面查看:http://master:19888/jobhistory

监控页面地址:http://master:19888/jobhistory

到了这一步就可以在集群机器的浏览器中碎银访问了,下面是效果图

在这里我们可以在集群机器上直接相互访问,但是还不能通过Windows系统直接访问。

3.想要在Windows主机上的浏览器直接访问的话我们还需要修改C:\Windows\System32\drivers\etc路径下的hosts配置文件如下。

127.0.0.1 localhost
192.168.153.10 master
192.168.153.11 slave1
192.168.153.12 slave2

到了这里就可以在Client(Windows)下随意访问了。

好了到了这一步,我的问题都解决了,希望对你有所帮助~

更多推荐

如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

本文发布于:2024-02-25 08:45:57,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1698405.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:页面   如何解决   跳转到   Yarn   ApplicationHistory

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!