如何使EMR保持运行

编程入门 行业动态 更新时间:2024-10-16 18:35:13
本文介绍了如何使EMR保持运行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述

可能重复:   再利用亚马逊的弹性麻preduce实例

我可以保持一个推出EMR集群运行和不断提交新的就业机会,直到我(之后几天再说)完成,然后关闭集群或做我必须lanuch在EC2我自己的群集这样做?

Can I keep a launched EMR cluster running and keep submitting new jobs to it until I am done (say after a couple of days) and then shut down the cluster or do I have to lanuch my own cluster in EC2 to do so?

推荐答案

是的。

在特别的,我用的是CLI客户端。下面是我的脚本一个片段:

In particular, I use the CLI client. Here is a snippet from one of my scripts:

JOBFLOW_ID=`elastic-mapreduce --create --alive --name cluster --num-instances $ COUNT --hadoop-version 0.20.205 --ami-version 2.0 --plain-output --debug --log-uri $LOG_ URI` echo "Launched --jobflow $JOBFLOW_ID" elastic-mapreduce -j $JOBFLOW_ID --ssh

您可以终止与-j --term,使用--ssh发布CLI命令到主。甚至还有一个在DevGuide(你应该真正读懂它)有关添加超过256个步骤(在已经推出的情况下完成的,记住),所以它真的不是一个巨大的关注。

You could terminate with -j --term, issue cli commands to the master using --ssh. There is even a page in the DevGuide (which you should really read it) about adding more than 256 steps (done on a already launched instance, mind that), so its really not a huge concern.

更多推荐

如何使EMR保持运行

本文发布于:2023-11-23 20:25:24,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1622776.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:EMR

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!