SparkUI网址将成为火花独立的应用程序模式完成后不活动

编程入门 行业动态 更新时间:2024-10-18 14:15:09
本文介绍了SparkUI网址将成为火花独立的应用程序模式完成后不活动的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述

我很新的火花,我想在火花运行SimpleApp.py。当我使用的火花壳./bin/pyspark,网址 192.168.0.11:4040/ 保持不变,直到时间,外壳是积极的,但是当我杀了外壳并尝试运行火花独立的应用程序

I am very new to Spark and I am trying to run the SimpleApp.py in spark. When I use spark-shell ./bin/pyspark , the url 192.168.0.11:4040/ remains intact till the time, the shell is active , but when I kill the shell and try to run spark standalone application

./bin/spark-submit --master yarn examples/SimpleApp.py

链接 192.168.0.11:4040/ 仅在作业运行的活动。当它完成我无法访问的URL。如何保持URL总是火花独立模式下运行。

the url 192.168.0.11:4040/ is only active when the job is running. When it finishes I can't access the url. How to keep the url always running in spark standalone mode.

我使用的火花从官方网站的火花1.1.1彬hadoop2.4和的Mac OS上运行相同

I am using spark-1.1.1-bin-hadoop2.4 from spark official site and running the same in Mac-os

推荐答案

打开注释成一个答案......

Turning the comment into an answer...

您可以按照监控文档要启用登录您的应用程序,你就可以使用星火历史服务器来渲染完成应用程序的UI。

You can follow the Monitoring docs to enable event logging for your application, and you can then use Spark's History Server to render the UI of finished applications.

更多推荐

SparkUI网址将成为火花独立的应用程序模式完成后不活动

本文发布于:2023-11-14 09:49:57,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1586892.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:应用程序   火花   独立   模式   网址

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!