【发布时间】：2021-12-07 15:26:11
【问题描述】：
我目前的一些未知数
- 在运行
spark-submit和执行业务逻辑的作业（完成所有初始化之后）之间会发生哪些步骤？ - 哪些因素可以增加/减少初始化持续时间？
- 任何 EMR 特定因素？
我之所以这么问，是因为我想知道让工作在提交后几秒钟内开始运行业务逻辑是否现实。
注意：我们可以假设集群上没有其他作业在运行。
【问题讨论】：
【发布时间】：2021-12-07 15:26:11
【问题描述】：
考虑到所有初始化都已完成，我认为您正在谈论 EMR 设置。如果我们认为他们不是其他工作，那就不多了。
在一秒钟内它是可能的，但它不是被授予的。你的工作需要依赖吗？如果是，那么您指定的数量会更长一些。 您的主脚本/jar 也存储在哪里。通常您通过 AWS EMR SDK 提交作业，而不是直接通过 spark-submit 提交（即使最终是相同的）。在一分钟之内，对于小型工作来说应该不是问题
对于第二个问题，初始化持续时间我认为您在谈论 EMR 启动。将取决于您是否有引导操作或未设置。如果没有，如果 AWS 可以轻松找到资源（EC2 实例），它将持续大约 10 分钟
【讨论】：