SparkSubmitOperator 部署模式

Question

我正在使用 SparkSubmitOperator，但我没有看到任何等效于 Spark 的部署模式。如何指定是客户端还是集群？

这是 SparkSubmitOperator 的 ctor 的签名：

@apply_defaults
def __init__(self,
             application='',
             conf=None,
             conn_id='spark_default',
             files=None,
             py_files=None,
             archives=None,
             driver_class_path=None,
             jars=None,
             java_class=None,
             packages=None,
             exclude_packages=None,
             repositories=None,
             total_executor_cores=None,
             executor_cores=None,
             executor_memory=None,
             driver_memory=None,
             keytab=None,
             principal=None,
             proxy_user=None,
             name='airflow-spark',
             num_executors=None,
             status_poll_interval=1,
             application_args=None,
             env_vars=None,
             verbose=False,
             spark_binary="spark-submit",
             *args,
             **kwargs):

我在 Google 中搜索了几个小时，但没有找到任何东西。

Answer 1

进入管理->连接菜单：

编辑 spark-default 参数和额外字段

{“部署模式”：“集群”}