如何在多个子网上运行AWS EMR集群?

编程入门 行业动态 更新时间:2024-10-11 23:18:21
本文介绍了如何在多个子网上运行AWS EMR集群?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 目前,我们正在使用EMR中的config.json文件创建实例来配置集群。此文件指定了一个子网("Ec2SubnetID")。

我的所有EMR实例最终都使用此子网...我如何让它使用多个子网? 这是我推送到S3的Terraform模板。

{ "Applications": [ {"Name": "Spark"}, {"Name": "Hadoop"} ], "BootstrapActions": [ { "Name": "Step1-stuff", "ScriptBootstrapAction": { "Path": "s3://${artifact_s3_bucket_name}/artifacts/${build_commit_id}/install-stuff.sh", "Args": ["${stuff_args}"] } }, { "Name": "setup-cloudWatch-agent", "ScriptBootstrapAction": { "Path": "s3://${artifact_s3_bucket_name}/artifacts/${build_commit_id}/setup-cwagent-emr.sh", "Args": ["${build_commit_id}"] } } ], "Configurations": [ { "Classification": "spark", "Properties": { "maximizeResourceAllocation": "true" } ], "Instances": { "AdditionalMasterSecurityGroups": [ "${additional_master_security_group}" ], "AdditionalSlaveSecurityGroups": [ "${additional_slave_security_group}" ], "Ec2KeyName": "privatekey-${env}", "Ec2SubnetId": "${data_subnet}", "InstanceGroups": [ 推荐答案

您当前无法实现您正在尝试的操作。电子病历群集最终总是将其所有节点放在同一子网中。

使用实例队列,您确实能够配置一组子网。但在启动时,AWS将选择最好的并将您的所有实例放在那里。

从EMR Documentation的"使用控制台配置实例队列"下:

  • 为网络输入值。如果您为网络选择私有网络,请选择单个EC2子网,或按住CTRL并单击以选择多个EC2子网。您选择的子网必须是相同类型(公有或私有)。如果您只选择一个,您的群集将在该子网中启动。如果选择组,则在群集启动时将从组中选择最适合的子网。
  • 更多推荐

    如何在多个子网上运行AWS EMR集群?

    本文发布于:2023-11-23 20:22:40,感谢您对本站的认可!
    本文链接:https://www.elefans.com/category/jswz/34/1622767.html
    版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
    本文标签:多个   集群   如何在   网上   EMR

    发布评论

    评论列表 (有 0 条评论)
    草根站长

    >www.elefans.com

    编程频道|电子爱好者 - 技术资讯及电子产品介绍!