资源报价如何与 mesos 一起用于 Spark 流应用程序？

Question

据我了解，通过 mesos 文档阅读，资源提供是针对应用程序/框架完成的，并且由应用程序接受/拒绝提供。

我有一个“永无止境”的火花流应用程序，我在其中配置了我需要并行性的执行器/核心/内存。当我的 spark-app 启动时，这些资源不是只获得一次吗？也就是说，假设我的执行者空闲，他们会被交还给 mesos 吗？

在火花流的情况下，资源提供和接受是否只发生一次？

同样的问题可以扩展到其他长期运行的框架，例如 mesos 上的 cassandra 或 YARN。

我的理解是，当 spark-streaming 在粗粒度模型上运行时，资源交换发生一次，并且资源在 spark 应用程序的生命周期内专用于执行器

Answer 1

Spark on Mesos 的最佳来源是the spark docs site here。 在粗粒度部分中，您可以看到以下内容回答了您的问题：

粗粒度模式的好处是启动开销要低得多，但代价是在整个应用程序期间保留 Mesos 资源。要配置您的作业以动态调整其资源需求，请查看动态分配。

如果您查看Dynamic resource allocation，您可能会通过 Spark Shuffle 服务移动执行器资源。这可以通过 Spark 服务提供的脚本或 Marathon 来实现。