【发布时间】：2019-03-25 22:15:15
【问题描述】：
在 emr 上运行 spark-submit 作业时，如何指定我希望 jvm 使用 MarkSweep gc？我可以将它与作业一起提交（即spark-submit -- conf...）吗？如果可以，命令是什么？这是否必须在 spark 启动时设置，如果是，我如何在 emr 配置中指定？
谢谢！
【问题讨论】：
标签： apache-spark garbage-collection jvm amazon-emr
【发布时间】：2019-03-25 22:15:15
【问题描述】：
您可以在--conf "spark.driver.extraJavaOptions=<YourJavaOptionsHere>" 后面的spark-submit 中指定JVM 选项。
例如，使用 ParallelScavenge GC 运行 graphX 的 PageRank 示例如下：
spark-submit run-example --conf "spark.driver.extraJavaOptions=-XX:+UseParallelGC" graphx.PageRankExample
更多信息在https://spark.apache.org/docs/latest/configuration.html#runtime-environment
【讨论】：