如何使用单节点 MemSql 集群设置 Spark？

【问题标题】：How to set up Spark with a single-node MemSql cluster?如何使用单节点 MemSql 集群设置 Spark？
【发布时间】：2016-01-28 15:06:01
【问题描述】：

我有一个单节点 MemSql 集群：

我在这个 Memsql 上部署了 Spark 用于 ETL。

我无法在 Memsql 上配置 spark。

如何为已部署在 Memsql 集群上的 Spark 设置不同的配置设置？

【问题讨论】：

【解决方案1】：

希望以下内容可以解决您的问题：

见spark.worker.cleanup.enabled及相关配置选项：https://spark.apache.org/docs/1.5.1/spark-standalone.html
可以在/var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf 中更改配置。更改配置后，您必须使用memsql-ops spark-component-stop --all 重新启动 spark 集群，然后使用 memsql-ops spark-component-start --all

【讨论】：

设置这些参数没有帮助，我添加了更多参数 spark.worker.cleanup.interval 1800 spark.worker.cleanup.appDataTtl 14400 将检查是否有帮助
如果这些额外的配置有帮助，请告诉我。您是否尝试在我提到的配置文件中设置更大的执行程序内存值？这应该可以解决您的记忆问题。