【问题标题】:How to make EMR to keep running [duplicate]如何使 EMR 继续运行 [重复]
【发布时间】:2012-06-13 16:59:25
【问题描述】:

可能重复:
Re-use Amazon Elastic MapReduce instance

我能否让已启动的 EMR 集群继续运行并继续向其提交新作业,直到我完成(比如几天后)然后关闭集群,或者我是否必须在 EC2 中启动我自己的集群才能这样做?

【问题讨论】:

    标签: amazon-web-services amazon-emr emr


    【解决方案1】:

    是的。

    特别是,我使用 CLI 客户端。这是我的一个脚本中的一个 sn-p:

    JOBFLOW_ID=`elastic-mapreduce --create --alive --name cluster --num-instances $
    COUNT --hadoop-version 0.20.205 --ami-version 2.0 --plain-output --debug --log-uri $LOG_
    URI`
    
    echo "Launched --jobflow $JOBFLOW_ID"
    
    elastic-mapreduce -j $JOBFLOW_ID --ssh
    

    您可以使用 -j --term 终止,使用 --ssh 向主服务器发出 cli 命令。 DevGuide 中甚至还有一个页面(你真的应该阅读它)about adding more than 256 steps(在已经启动的实例上完成,请注意),所以它真的不是一个大问题。

    【讨论】:

    • 嘿,有没有一种方法可以让我使用 aws sdk 重用实例,我可以在其中设置 jobflowid(我认为 aws sdk 中的某些类可能有 setjobflowid 函数)。这是我的问题:stackoverflow.com/questions/25994449/… 我无缘无故地投了反对票。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-05
    • 2019-02-01
    • 2015-01-18
    • 2010-10-31
    • 1970-01-01
    • 2019-10-15
    相关资源
    最近更新 更多