使用 cron 作业的 pyspark 自动化答案

【问题标题】：pyspark automation using cron job使用 cron 作业的 pyspark 自动化
【发布时间】：2023-04-04 23:33:01
【问题描述】：

我有一个 cron 作业，每两分钟调用一次该作业的目的是检查新请求并触发 Spark 作业。 Cron 作业 --> 调用 shell 脚本 --> 调用 spark-submit

source /etc/hadoop/conf/hadoop-env.sh
source /etc/spark/conf/spark-env.sh
spark-submit  --executor-memory 2g --num-executors 1 --packages com.databricks:spark-csv_2.10:1.5.0 \
                                  --py-files <some egg files location>  \
                                  <python main script> \
                                  <configuration file> <Input Parameters>

手动触发时，脚本工作正常，但通过 cron 触发时，它会进入死锁，试图获取 spark 上下文。

任何人都可以指点我吗？

【问题讨论】：

使用http://airbnb.io/projects/airflow/，cron不可靠
你是如何配置 cron 作业的？
@MedAli ：我使用 crontab -e ，然后放入语句 */2 * * * * sh /path/script.sh
@KarolSudol ：感谢您的评论，我一定会看看它，但目前我还没有引入新组件的情况。

标签： apache-spark cron pyspark

【解决方案1】：

问题出在 kerbeos 上。链接有答案 Click Here

【讨论】：