为什么火花执行器不会死

Question

这是我的设置：

运行airflow的Kubernetes集群，它将spark作业提交给Kubernetes集群，作业运行良好，但是一旦作业完成，容器应该会死掉，但它们仍然挂在那里。

1. Airflow Setup 出现在 K8S 集群上。
2. Dag 在气流泊坞窗图像中烘焙，因为不知何故我无法从 s3 同步 dag。出于某种原因，cron 无法运行。
3. 将spark作业提交到K8S集群，作业运行良好。
4. 但现在它仍然挂起，而不是在执行后和作业完成后死亡。

这是我的SparkSubmitOperator 函数

spark_submit_task = SparkSubmitOperator(
    task_id='spark_submit_job_from_airflow',
    conn_id='k8s_spark',
    java_class='com.dom.rom.mainclass',
    application='s3a://some-bucket/jars/demo-jar-with-dependencies.jar',
    application_args=['300000'],
    total_executor_cores='8',
    executor_memory='20g',
    num_executors='9',
    name='mainclass',
    verbose=True,
    driver_memory='10g',
    conf={
        'spark.hadoop.fs.s3a.aws.credentials.provider': 'com.amazonaws.auth.InstanceProfileCredentialsProvider',
        'spark.rpc.message.maxSize': '1024',
        'spark.hadoop.fs.s3a.impl': 'org.apache.hadoop.fs.s3a.S3AFileSystem',
        'spark.kubernetes.container.image': 'dockerhub/spark-image:v0.1',
        'spark.kubernetes.namespace' : 'random',
        'spark.kubernetes.container.image.pullPolicy': 'IfNotPresent',
        'spark.kubernetes.authenticate.driver.serviceAccountName': 'airflow-spark'
        },
    dag=dag,
)

Answer 1

发现问题是我的错误我没有关闭spark session，添加了以下内容

session.stop();