SparkSubmit 可以在本地运行吗？

Question

当我使用以下命令运行以下代码时

spark-submit prepiadstream_sample.py --master local[3] --name prepiadstream_sample --num-executors 5 --executor-memory 5g --driver-memory 5g

我发现代码中打印出的配置返回部署模式作为客户端，虽然我在 Spark 提交中本地运行它，但不应该在命令行中使用配置

spark.master 纱线

spark.submit.deployMode 客户端

import os
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
import time
from pyspark.sql import Row


print("Creating Spark Session")

spark = SparkSession.builder\
    .getOrCreate()

<b> print(spark.sparkContext.getConf()) </b>

Answer 1

问题在于参数的顺序。为了让我的应用程序读取我的参数，我应该在应用程序名称之前传递所有 spark 配置参数，否则应用程序将使用 spark 的 默认配置。命令需要发送如下：

spark-submit  --master local[3] --name applicationstream_sample \
--num-executors 5 --executor-memory 5g \
--driver-memory 5g applicationstream_sample.py

我们可以在Spark Submitting 文档中找到正确编写命令的方法，并注意他们在 commanfd 中设置应用程序名称的位置

Answer 2

通常您在生产模式下使用 spark-submit。提交您的 spark 作业允许设置针对您的环境优化的特定选项。 --deploy-mode 用于指定运行 spark 应用程序驱动程序的位置。如果在客户端模式下，驱动程序在本地运行，即运行 spark 提交的机器。它应该用于调试目的。请注意，执行器在不同的机器上运行。