【问题标题】：Build sparkSession with master('yarn') takes forever, how about master('local')?使用 master(\'yarn\') 构建 sparkSession 需要很长时间，那么 master(\'local\') 呢？
【发布时间】：2023-01-11 14:29:55
【问题描述】：
我必须继续数据处理，之前的开发人员使用 master('yarn') 来构建 spark 会话。但今天我运行它，它需要很长时间，我搜索了解决方案，他们说我应该将“纱线”更改为本地。它成功了。但这会改变什么吗？我已经搜索了差异，但仍然不明白。任何人都可以用婴儿语言解释有什么区别，它是否会影响我的项目？
谢谢
【问题讨论】：
标签：
python
apache-spark
pyspark
apache-spark-sql
hive
【解决方案1】：
如果您将 local 设置为 master，您将根本无法获得并行性。使用 local 作为 master 可能适用于开发或测试目的。但这不是提交用于生产的 Spark 作业的正确方法。
如果将 master 设置为 yarn，则 spark 作业在 yarn 集群上运行，并且由于配置参数，您将能够获得并行性。
如果您需要更多信息，请访问the official document about master urls