【发布时间】：2021-08-10 05:57:57
【问题描述】：
我有一个由 slurm 管理的 aws HPC 自动缩放集群，我可以使用 sbatch 提交作业，但是我想在这个集群上使用 spraklyr，以便 slurm 根据 R 脚本中 sparklyr 代码的工作负载增加集群大小.这可能吗？
【问题讨论】：
标签： rstudio autoscaling slurm sparklyr
【发布时间】：2021-08-10 05:57:57
【问题描述】：
嗨，Amir，您在这里使用 slurm 是有原因的吗？ Sparklyr 与 Apache Spark 有更好的集成，建议在 spark 集群上运行它。您可以按照此博客了解使用 Amazon EMR 进行设置的步骤，这是一项在 AWS 上运行 Spark 集群的服务 - https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r-interface-to-spark-on-amazon-emr/
【讨论】：
-
感谢 Austin，唯一的原因是我可以访问的集群已经安装了 slurm！